Perplexityは10月7日、テキストや画像、PDFのページをOCRやチャンク分割なしにそのまま検索できるマルチモーダル埋め込みモデル「pplx-embed-v2-late」を、Hugging Face上でMITライセンスのもと公開した。軽量な0.6Bモデルと、より高精度な9Bモデルの2サイズを用意し、いずれもColBERTスタイルの設計を採用。トークンごとに128次元のベクトルを出力し、MaxSimというスコアリング手法で類似度を計算する仕組みで、テキスト・画像・PDFページを同じ埋め込み空間上で検索できるという。
社内ベンチマーク「MADQA」(実際の800件のPDF・1.8万ページ超から作成した500問の質問セット)では、9BモデルがMixedbreadのリトリーバーを3.5ポイント上回る92.4%のスコアを記録し、0.6Bモデルも90.1%を記録したとしている。現時点ではホスティングされたAPIエンドポイントは未公開で、まずは自前でモデルをホストする開発者向けの公開となる。
Perplexityはこれまでも検索・リトリーバル分野への投資を続けてきた企業で、今回のオープンソース公開は、大量の文書を画像として扱いながら高精度に検索できるマルチモーダル検索技術を外部の開発者にも広げる狙いとみられる。ただし数値はいずれも自社発表によるもので、技術レポートは未公開。画像検索のベンチマーク「ViDoRe v3」では、Tencentの「EVIE」が上回っているとの指摘もある。
出典: MarkTechPost
