5月上旬はGPT-4o, Gemini Flashと商用MLLMの発表が相次いだ（Hello GPT-4o | OpenAI、Google Gemini updates: Flash 1.5, Gemma 2 and Project Astra (blog.google)）。公式、非公式を問わず検証結果が発表されており、いつものデータセットで性能を検証してみた。
性能評価に使用したデータは以前（DAMO PolyLM-13Bの機械翻訳性能 | ぷるーふおぶこんせぷと (staka.jp)）と同じ。なお、GPT-4oのoでもあるテキスト以外の情報は使っていないため性能評価としては参考程度である[1]。
評価指標はBLEU、使用したツールやtokenizerは以前と同じ（sacrebleu –tokenize ja-mecab）である。「0 shot」と「1 shot」の比較でin context learningの有効性をザックリとみる事ができる[2]。
| モデル | 0 shot | 1 shot | コスト（USD） [3] 1Mトークン、入力/出力別 |
| GPT-4o | 31.8 | 42.5 | 5 / 15 |
| GPT-4 Turbo | 29.4 | 35.4 | 10 / 30 |
| 【参考】 GPT-3.5 Turbo | 27.1 | 37.1 | 0.5 / 1.5 |
| Gemini 1.5 Pro / gemini-1.5-pro-preview-0514 | 26.8 | 43.4 | 3.5 – 7.0 / 10.5 – 21.0 [4] |
| Gemini 1.5 Flash / gemini-1.5-flash-preview-0514 | 29.4 | 34.8 | 0.35 – 0.70 / 1.05 – 2.10 [4] |
| 【参考】Gemini 1.5 Pro / gemini-1.5-pro-preview-0409 | 34.4 | 50.1 | 3.5 – 7.0 / 10.5 – 21.0 [4] |
結果
GPT-4oは高速・低コストであるにもかかわらず以前のGPT-4 Turboより高い性能を示した。tokenizerもGPT-4 Turboより日本語に適しているためGPT-4 Turboからの置き換えが進むだろう。
Gemini Proは以前よりもスコアが低くなっているが、「出力にMarkdownの装飾が混ざる」「一文毎に訳する形になる」など出力形式が揺れていることが原因である。プロンプトを調整すれば性能は向上すると思われる[5]。Gemini Flashは高い性能を持つが安価と発表の通りコストパフォーマンスが非常に高い。
GPT-3.5 TurboとGemini 1.5 Flash、GPT-4oとGemini 1.5 Proは競合しており、それぞれに特色がある。用途によって選定することになるのではないかと思う。
その他
今使っているデータ・評価指標ともに完璧なものだとは思っていないが、複数のモデルを同じように比較できるのは便利。間違いの分析やモデル特性の変化を検知できることも重要である。
検証に使っているデータは外務省（GPT-4を用いた翻訳の検証（vs GPT-3.5 vs FuguMT） | ぷるーふおぶこんせぷと (staka.jp)、MPT-30B-Chat + In-Context Learningの性能 | ぷるーふおぶこんせぷと (staka.jp)）のものでライセンス的な問題はないため、データ構築過程を自動化し公開しようかと思わなくもない[6]。時系列変化や（Leakageが入らないと思われる）最新データでの比較なども可能など、便利なデータであるはず[6]。
脚注
[1] 評価指標が色々と問題あるBLEUであり、Leakageの心配もあって本当に参考の参考
[2] こちらもざっくりとしか見れない
[3] tokenizerが異なるため一律比較はできない、2024-05-18時点の情報で「Pricing | OpenAI」「Gemini API の料金 | Google AI for Developers | Google for Developers」から取得。
[4] Gemini 1.5はプロンプトの長さで価格が異なる
[5] 適切な評価データを持つ、出力の分析をすることが重要
[6] 1年以上前にも同じことを言っていて結局公開しない可能性もあるが…
0 Comments.