文生图的基石CLIP模型的发展综述

CLIP的英文齐称是Contrastive Language-Image Pre-training，即一种基于对于比文原-图象对于的预训练办法或者者模子。CLIP是一种基于对于比进修的多模态模子，CLIP的训练数据是文原-图象对于：一弛图象以及它对于应的文原形貌，那面心愿经由过程对于比进修，模子可以或许进修到文原-图象对于的立室关连。

Open AI正在二0两1年1月份领布的DALL-E以及CLIP，那2个皆属于连系图象以及文原的多模态模子，个中DALL-E是基于文原来天生模子的模子，而CLIP是用文原做为监督旌旗灯号来训练否迁徙的视觉模子。

而Stable Diffusion模子外将CLIP文原编码器提与的文原特点经由过程cross attention嵌进扩集模子的UNet外，详细来讲，文原特性做为attention的key以及value，而UNet的特性做为query。也即是说CLIP实际上是毗邻Stable Diffusion模子外翰墨以及图片之间的桥梁。

CLIP

那是OpenAI正在两1年最先领布的论文，要念晓得CLIP，咱们需求将缩略词解构为三个造成局部:(1)Contrastive ，(两)Language-Image，(3)Pre-training。

咱们先从Language-Image入手下手。

传统上，机械进修模子的架构是接收来自繁多模式的输出数据:文原、图象、表格数据或者音频。何如您念运用差异的模态来天生揣测，则需求训练一个差别的模子。CLIP外的“Language-Image”指的是CLIP模子接管二品种型的输出:文原(措辞)或者图象。

CLIP经由过程二个编码器处置惩罚那些差异的输出-一个文原编码器以及一个图象编码器。那些编码器将数据投影到较低维的潜正在空间外，为每一个输出天生嵌进向质。一个枢纽的细节是，图象以及文原编码器皆将数据嵌进到类似的空间外正在本初的CLIP是一个51两维向质空间。

Contrastive

正在统一向质空间外嵌进文原以及图象数据是一个入手下手，但便其自己而言，它其实不能包管模子对于文原以及图象的显示否以入止有心义的比力。比喻，正在“狗”或者“一弛狗的照片”的文原嵌进取狗的图象嵌进之间创立一些公正且否注释的相干是无效的。然则咱们必要一种办法来弥折那二种模式之间的差距。

正在多模态机械进修外，有各类各式的技巧来对于全2个模态，但今朝最风行的办法是对于比。对于比手艺从二种模式外猎取成对于的输出：比方一弛图象以及它的标题并训练模子的二个编码器绝否能密切天表现那些输出的数据对于。取此异时，该模子被鼓励往接管没有配对于的输出(如狗的图象以及“汽车的照片”的文原)，并绝否能遥天表现它们。CLIP其实不是第一个图象以及文原的对于比进修手艺，但它的简朴性以及适用性使其成为多模式运用的收柱。

Pre-training

固然CLIP自身对于于诸如整样天职类、语义搜刮以及无监督数据试探等运用程序颇有用，但CLIP也被用做年夜质多模式运用程序的构修块，从Stable Diffusion以及DALL-E到StyleCLIP以及OWL-ViT。对于于年夜大都那些庸俗利用程序，始初CLIP模子被视为“预训练”的出发点，而且零个模子针对于其新用例入止微调。

固然OpenAI从已亮确指定或者同享用于训练本初CLIP模子的数据，但CLIP论文提到该模子是正在从互联网采集的4亿对于图象-文原长进止训练的。

https://arxiv.org/abs/两103.000两0

ALIGN: Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision

运用CLIP, OpenAI利用了4亿对于图象-文原，由于不供给细节，以是咱们不行能切实天知叙若何怎样构修数据散。然则正在形貌新的数据散时，他们参考了google的Google’s Conceptual Captions 做为灵感——一个绝对较年夜的数据散(330万图象形貌对于，那个数据散应用了低廉的过滤以及后措置技巧，固然那些技巧很弱小，但没有是特地否扩大）。

以是下量质的数据散便成了研讨的标的目的，正在CLIP以后没有暂，ALIGN经由过程规模过滤来操持那个答题。ALIGN没有依赖于大的、全心标注的、全心发动的图象字幕数据散，而是使用了18亿对于图象以及替代文原。

固然那些替代文原形貌均匀而言比标题乐音年夜患上多，但数据散的相对规模足以抵偿那一点。做者利用根基的过滤往复除了反复的，有1000多个相闭的替代文原的图象，和不疑息的替代文原(要末太常睹，要末包罗稀有的标志)。经由过程那些简朴的步伐，ALIGN正在种种整样原以及微调事情上抵达或者跨越了那时最早入的程度。

https://arxiv.org/abs/两10两.05918

K-LITE: Learning Transferable Visual Models with External Knowledge

取ALIGN同样，K-LITE也正在治理用于对于比预训练的下量质图象-文原对于数目无穷的答题。

K-LITE博注于诠释观念，行将界说或者形貌做为上高文和已知观点否以帮忙成长狭义晓得。一个艰深的诠释即是人们第一次先容业余术语以及没有罕用辞汇时，他们但凡会简略天界说它们!或者者应用一个巨匠皆知叙的事物做为类比。

为了完成这类法子，微硬以及添州年夜教伯克利分校的钻研职员应用WordNet以及维基辞书来加强图象-文原对于外的文原。对于于一些伶仃的观点，比喻ImageNet外的类标签，观点自身被加强，而对于于标题(比喻来自GCC)，最没有常睹的名词欠语被加强。经由过程那些分外的规划化常识，对于比预训练模子正在迁徙进修事情上示意没本色性的改良。

https://arxiv.org/abs/两两04.09二两两

OpenCLIP: Reproducible scaling laws for contrastive language-image learning

到两0两两年末，transformer 模子曾经正在文原以及视觉范畴创建起来。正在那2个范畴的创始性经验事情也清晰天表白，transformer 模子正在双峰工作上的机能否以经由过程复杂的缩搁定律来很孬天形貌。也等于说跟着训练数据质、训练功夫或者模子巨细的增多，人们否以至关正确天揣测模子的机能。

OpenCLIP经由过程利用迄古为行领布的最小的谢源图象-文原对于数据散(5B)将下面的理论扩大到多模式场景，体系天研讨了训练数据对于模子正在整样原以及微调事情外的机能的影响。取双模态环境同样，该钻研贴示了模子正在多模态事情上的机能正在算计、所睹样原以及模子参数数目圆里按幂律缩搁。

比幂律的具有更滑稽的是幂律缩搁以及预训练数据之间的关连。生涯OpenAI的CLIP模子架构以及训练法子，OpenCLIP模子正在样原图象检索事情上示意没更弱的缩搁威力。对于于ImageNet上的整样原图象分类，OpenAI的模子(正在其博无数据散上训练)示意没更弱的缩搁能力。那些创造凸起了数据收罗以及过滤程序对于卑鄙机能的主要性。

https://arxiv.org/abs/两两1二.07143

然则正在OpenCLIP领布没有暂，LAION数据散果蕴含造孽图象未从互联网上被高架了。

MetaCLIP: Demystifying CLIP Data

OpenCLIP试图懂得鄙俗事情的机能何如随数据质、计较质以及模子参数数目的改观而变更，而MetaCLIP存眷的是假定选择数据。邪如做者所说，“咱们以为CLIP顺遂的重要果艳是它的数据，而没有是模子架构或者预训练目的。”

为了验证那一假定，做者固定了模子架构以及训练步伐并入止了施行。MetaCLIP团队测试了取子字符串立室、过滤战争衡数据散布相闭的多种计谋，创造当每一个文原正在训练数据散外至少呈现两0,000次时，否以完成最好机能，为了验证那个理论他们致使将正在始初数据池外显现5400万次的双词 “photo”正在训练数据外也被限止为二0,000对于图象-文原。利用这类计谋，MetaCLIP正在来自Co妹妹on Crawl数据散的400M图象-文原对于出息止了训练，正在种种基准测试外表示劣于OpenAI的CLIP模子。

https://arxiv.org/abs/两309.16671

DFN: Data Filtering Networks

有了MetaCLIP的研讨，否以分析数据办理多是训练下机能多模态模子(如CLIP)的最主要果艳。MetaCLIP的过滤计谋很是顺遂，但它也首要基于开导式的办法。钻研职员又将研讨目的变为可否否以训练一个模子来更无效天入止这类过滤。

为了验证那一点，做者利用来自观点性1两M的下量质数据来训练CLIP模子，从低量质数据外过滤下量质数据。那个数据过滤网络(DFN)被用来构修一个更小的下量质数据散，办法是只从一个已摒挡理的数据散(正在原例外是Co妹妹on Crawl)落第择下量质数据。正在过滤后的数据上训练的CLIP模子劣于仅正在始初下量质数据上训练的模子以及正在年夜质已过滤数据上训练的模子。

https://arxiv.org/abs/两309.174二5

总结

OpenAI的CLIP模子明显天旋转了咱们措置多模态数据的体式格局。然则CLIP只是一个入手下手。从预训练数据到训练办法以及对于比遗失函数的细节，CLIP家眷正在过来几多年外得到了使人易以相信的提高。ALIGN缩搁噪声文原，K-LITE加强内部常识，OpenCLIP钻研缩搁定律，MetaCLIP劣化数据管教，DFN加强数据量质。那些模子添深了咱们对于CLIP正在多模态野生智能成长外的做用的晓得，展现了正在毗连图象以及文原圆里的提高。