画像工学研究専門委員会
画像と言語のマルチモーダル対照学習（CLIP）
鈴木聡志（NTT）
satoshixv.suzuki@ntt.com
1．CLIPとは
CLIP（Contrastive Language-Image Pre-training） (1)は，2021年にOpenAIの研究グループによって発表された，画像と言語の統合的な学習手法である．CLIPは画像と言語それぞれの入力を数百次元のベクトル（埋め込みと呼ばれる）に変換する二つのエンコーダ（符号器）で構成されるモデル（以下，CLIPモデル）を約4億組の画像とテキストのペアデータを用いて学習する．学習には対照損失（定式化は後述）が用いられ，画像及びテキストの埋め込み類似度に基づき，ペアとなる画像─テキスト間では類似度が高く，非ペア間では類似度が低くなるように最適化される．この損失関数によって学習されたCLIPモデルは，画像とテキストが意味的に対応するような埋め込み空間を獲得することが期待される．CLIPの大きな特徴として，学習時に特定のクラスを定めることなく，任意のクラスに対して画像を分類すること（ゼロショット分類）が可能になる点が挙げられる．従来の教師あり学習では，あらかじめ分類対象となるクラスを定義し，画像とそのクラスラベル（インデックス）を対応付けて学習を行う形式が一般的であり，そのため用途が限定されるという課題があった．一方，ゼロショット分類では，未知のカテゴリーに対しても柔軟に対応できるという利点がある．本稿では，CLIPの学習とゼロショット分類について概説したのち，CLIPにおける幾つかの研究課題について紹介する．
2．CLIPの学習とモデル構造
まず，CLIPの学習について説明する．図1（a）にCLIPの概要を示す．CLIPモデルに入力する
組の画像─テキストのペアの
番目のペアから抽出される画像とテキストの埋め込みをそれぞれ
，
とする．ここで，とは同じ次元のベクトルとし，L2正規化されているものとする．このとき，CLIPが学習に利用する損失
は下記のように定義される．
ここで，
は温度パラメータと呼ばれる正の実数値である．上記の損失では，第一項，第二項のいずれも分子は
となっている．上述のとおり，埋め込みとはL2正規化されているため，その内積はコサイン類似度と一致する．したがって，分子は番目の画像─テキストペアの埋め込みの類似度を示している．はこの類似度の大きさを調整するパラメータとみなせる．一方，第一項の分母は，番目の画像埋め込みに対する全てのテキスト埋め込みの類似度の総和，第二項の場合は番目のテキスト埋め込みに対する全ての画像埋め込みの類似度の総和と解釈できる．それぞれの項の係数がマイナスであることを考慮すると，この損失を最小化するには，を最大化しつつ，
と
を最小化する必要がある．つまり，はペアとなる画像─テキスト間では類似度が大きく，非ペアとなる画像─テキスト間では類似度が小さくなるような損失であると言える．この損失とWebから収集した約4億組の画像とテキストのペアデータを用いて学習することで画像と対応する言語的なコンセプトが類似した埋め込みを有し，画像とテキストの対応関係を明示的に学習したモデルを用意することができる．
なお，とを出力する画像とテキストのエンコーダは，任意のモデルを利用可能であるが，OpenAIの提供するモデルでは画像エンコーダはResNet-50 (2)若しくはVision Transformer (3)に基づいて構築されたネットワーク，テキストエンコーダはTransformer (4)に基づく12層のネットワークが利用されている．CLIPモデルの画像エンコーダのネットワーク構造によって，例えば，“CLIP ViT-B/32”のようにモデルを呼称することが一般的である．
3．CLIPのゼロショット分類
3.1 ゼロショット分類の基礎
CLIPによって学習されたモデルの最も大きな特徴の一つとしてゼロショット分類が可能である点が挙げられる．ゼロショット分類とは，学習時には明示的に与えられなかった未知のクラスカテゴリーに対する分類である．図1（b）及び（c）に，ゼロショット分類の概要を示す．まず，“a photo of a”のようなテキストと，分類したい候補のクラス（例えば，plane, car, dog, …, bird）を連結し，候補のクラスを表現するテキスト（プロンプトと呼ばれる）を用意する．候補となるクラスのプロンプトをテキストエンコーダに入力することで，各クラスに対応するテキスト埋め込みを得る．その後に分類したい画像の埋め込みを算出し，最も埋め込み間の類似度（画像埋め込みとテキスト埋め込みの内積）の大きいクラスを分類結果とする．このようなCLIPに基づくゼロショット分類は単純な仕組みでありながら，多くのデータセットに対して高い分類性能を示すことが知られている．CLIPを活用して，画像分類以外の物体検出や領域分割といった画像認識タスクにおいても，事前に明確に定義されていないクラスに対する認識性能を向上させる研究が多く生まれている(5),(6),(7)．
3.2 プロンプトエンジニアリング
上記のようにプロンプトを介してゼロショット分類を行う場合，どのようなプロンプトを用いるかは重要な問題となる．これは，ChatGPT等で行われるプロンプトエンジニアリングと同様である．CLIPモデルに対するプロンプトエンジニアリングでは，“a photo of a［クラス名］”のようなプロンプト以外に“a bad photo of the［クラス名］”や“a photo of the large［クラス名］”といった複数のプロンプトを用い，テキスト埋め込みの平均値を用いるアプローチでImageNetデータセットのゼロショット分類性能が大きく向上することが知られている．OpenAIがImageNetの分類用に用意したプロンプトの数は80に及ぶ．
4．CLIPの課題
最後に，CLIPにおける研究課題を二つ紹介する．
4.1 モダリティギャップ
2．で説明したは，理想的には，ペアとなる画像とテキストの埋め込みは類似度が高く（近傍に存在する），ペアでない画像やテキストの埋め込みは類似度が低く（近傍に存在しない）なるように制約する．しかし，幾つかの研究において，画像埋め込み同士及びテキスト埋め込み同士でクラスタを形成するモダリティギャップと呼ばれる現象がCLIPで発生することが報告されている (8)．これは，画像埋め込み同士及びテキスト埋め込み同士でクラスタが形成され，結果としてペアとなる画像─テキスト間よりも，非ペアの画像─画像またはテキスト─テキスト間の類似度が高くなることを意味する．モダリティギャップの発生要因については，これまでに幾つかの説が提示されているが，完全な解明には至っていない (8),(9)．モダリティギャップの存在は「画像と言語の共通的な埋め込み表現を獲得する」というCLIPの目的が十分に果たされていないことを意味しているため，モダリティギャップを緩和する手法が幾つか提案されている (10),(11)．
4.2 Fine-tuningとモデルマージ
3．で，CLIPモデルが優れたゼロショット分類性能を示すことを説明したが，幾つかのデータセットでは，依然として性能が不十分であることが知られている．例えばMNISTと呼ばれる手書き数字分類データセットの性能はCLIP ViT-B/16でおおむね60%程度である (1)．通常の教師あり学習で学習した場合，多くのモデルで99%以上の分類性能を実現できることを考えると，非常に低い性能であると言える．このようなケースでは，ダウンストリームタスクのデータを用いて，CLIPモデルを再度学習するFine-tuningが性能向上に有効である．
しかし，単純にFine-tuningを行うと，CLIPによる学習で獲得した幅広い知識が失われてしまう，という課題が存在する．例えば，ImageNetデータセットでFine-tuningした場合，CLIP ViT-B/16のゼロショット分類性能は平均で66.0%から35.5%に低減するという報告もある (12)．これを解決するための一つのアプローチがモデルマージ (13)である．モデルマージはFine-tuning前後の二つのモデルをアンサンブルし，モデルの持っているパラメータを線形平均で統合することで，Fine-tuning前の汎用的な知識とFine-tuning後のダウンストリームタスクに対する専門的な知識を両立する．単純な方法ではあるが，性能面で高い有効性を示すことから多くの後続研究が存在する(14),(15)．
文 献
（１）A. Radford, J.W. Kim, C. Hallacy, A. Ramesh, G. Goh, S. Agarwal, G. Sastry, A. Askell, P. Mishkin, J. Clark, G. Krueger, and I. Sutskever, “Learning Transferable Visual Models From Natural Language Supervision,” Proc. ICML, 2021.
（２）K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” Proc. CVPR, 2016.
（３）A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, “An image is worth 16x16 words : Transformers for image recognition at scale,” Proc. ICLR, 2021.
（４）A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.N. Gomez, L. Kaiser, and I. Polosukhin, “Attention is all you need,” Proc. NIPS, 2017.
（５）L. Harold Li, P. Zhang, H. Zhang, J. Yang, C. Li, Y. Zhong, L. Wang, L. Yuan, L. Zhang, J.-N. Hwang, K.-W. Chang, and J. Gao, “Grounded language-image pre-training,” Proc. CVPR, 2022.
（６）S. Liu, Z. Zeng, T. Ren, F. Li, H. Zhang, J. Yang, Q. Jiang, C. Li, J. Yang, H. Su, J. Zhu, and L. Zhang, “Grounding DINO : Marrying DINO with grounded pre-training for open-set object detection,” arXiv 2303.05499, 2023.
（７）A. Kirillov, E. Mintun, N. Ravi, H. Mao, C. Rolland, L. Gustafson, T. Xiao, S. Whitehead, A.C. Berg, W.-Y. Lo, P. Dollár, and R. Girshick, “Segment anything,” Proc. ICCV, 2023.
（８）W. Liang, Y. Zhang, Y. Kwon, S. Yeung, and J. Zou, “Mind the gap : Understanding the modality gap in multi-modal contrastive representation learning,” Proc. NeurIPS, 2022.
（９）S. Schrodi, D.T. Hoffmann, M. Argus, V. Fischer, and T. Brox, “Two effects, one trigger : On the modality gap, object bias, and information imbalance in contrastive vision-language models,” Proc. ICLR, 2025.
（10）S. Goel, H. Bansal, S. Bhatia, R.A. Rossi, V. Vinay, and A. Grover, “CyCLIP : Cyclic contrastive language-image pretraining,” Proc. NeurIPS, 2022.
（11）S. Yamaguchi, D. Feng, S. Kanai, K. Adachi, and D. Chijiwa, “Post-pre-training for modality alignment in vision-language foundation models,” Proc. CVPR, 2025.
（12）J. Han, Z. Lin, Z. Sun, Y. Gao, K. Yan, S. Ding, Y. Gao, and G.-S. Xia, “Anchor-based robust finetuning of vision-language models,” Proc. CVPR, 2024.
（13）M. Wortsman, G. Ilharco, J.W. Kim, M. Li, S. Kornblith, R. Roelofs, R. Gontijo-Lopes, H. Hajishirzi, A. Farhadi, H. Namkoong, and L. Schmidt, “Robust fine-tuning of zero-shot models,” Proc. CVPR, 2022.
（14）G. Ilharco, M. Wortsman, S.Y. Gadre, S. Song, H. Hajishirzi, S. Kornblith, A. Farhadi, and L. Schmidt, “Patching open-vocabulary models by interpolating weights,” Proc. NeurIPS, 2022.
（15）M. Wortsman, G. Ilharco, S.Y. Gadre, R. Roelofs, R. Gontijo-Lopes, A.S. Morcos, H. Namkoong, A. Farhadi, Y. Carmon, S. Kornblith, and L. Schmidt, “Model soups : averaging weights of multiple fine-tuned models improves accuracy without increasing inference time,” Proc. ICML, 2022.
（2025年10月21日受付）
