CLIP: обучение на парах изображение–текст

До появления CLIP классификаторы изображений могли ответить только на вопрос: «Какая из этих 1000 категорий это?». Им требовались тысячи размеченных примеров на каждую категорию, и они не могли рассуждать о произвольных концепциях. CLIP изменил ситуацию с помощью одной идеи: вместо того, чтобы предсказывать фиксированный набор меток, обучите модель понимать, описывают ли изображение и фрагмент текста одно и то же. Обучившись на 400 миллионах пар изображение-текст, взятых из Интернета, CLIP изучил общее пространство для встраивания визуального языка, где изображения и их описания расположены близко друг к другу.