最近、蒸留が可能な大規模モデルが増加している[1] 。敬語変換を対象にSLM[2]をPost trainigすることで実用的なモデルが構築可能か試してみた。結果、Post training後の2Bのモデル（Gemma-2-Llama-Swallow 2B）が10倍以上の規模のローカルLLM（Gemma 4 31B / 1-shot）を超えるだけでなく、フロンティアモデル（Claude Opus 4.6 / 1-shot）に近い性能を出すことができた。
| モデル / 手法 | BLEU | chrF | LLM as a judge |
|---|---|---|---|
| Claude Opus 4.6 / 1-shot | 71.54 | 75.34 | 4.69 |
| Gemma-2-Llama-Swallow 2B / QLoRA + DPO | 77.28 | 74.56 | 4.64 |
| Gemma 4 31B / 1-shot | 67.35 | 71.73 | 4.60 |
手法
敬語変換モデル構築を対象として、教師モデルを用いたデータ合成後、Post trainingを行うことでSLMを強化する。データ合成はペルソナやコンテキストを事前作成し参照データを使いながら複数モデルでAgenticに行う。Post trainingはFine tuningとReinforcement learningを用いる。
- 敬語ルールを機械可読に変換する
文化庁が出している「敬語の指針」をAIに読み込ませ、敬語の運用原則とチェックリスト、典型的な誤用をリスト化した。このデータはデータ合成と評価ルーブリック作成に用いた。 - ペルソナとコンテキストの合成
架空の氏名、会社、部署、役職、社内外関係を持つペルソナを1,000人分作成。さらにIT/SaaS、製造、物流、教育、医療、行政、小売など15ドメイン、20種類のシナリオから900件のコンテキストを作成した。 - メールスレッドの作成
ペルソナとコンテキストをランダムに選択し、複数通のメールのやりとりを合成した。合成時に軽微な敬語の誤り、典型的な誤り、失礼な表現を含む状況を入れ込み教師データを作成した。これらのプロセスでは1.のデータを参照、複数のモデルをAgenticに用い相互レビューと修正を行うことで品質を高めた。
1.、2.を含め合成時に使用したモデルはDeepSeek V4 Flash（https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash）[3]、Mistral Large 2512（https://huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512）[4]である。 - Post training用データと評価ルーブリックの作成
合成した30,000件のデータのうち29,600件をPost trainingに、200件をtraining中の検証用に、200件をテスト用に分割した[5]。評価用データには評価ルーブリックを入れ込みLLM as a judgeで判定しやすくした。評価データは全量目検証している[6]。 - Post trainingと評価
合成したデータを用いてGemma-2-Llama-Swallow 2B（https://swallow-llm.github.io/gemma2-llama-swallow.ja.html）[7]とGemma 4 E2B（https://huggingface.co/google/gemma-4-E2B）[8]に対してfine tuningを行った。Gemma-2-Llama-Swallow 2BではFull Fine-TuningとQLoRAを行い、Gemma 4 E2BはUnsloth LoRAを利用した。成績の良かったGemma-2-Llama-Swallow 2B + QLoRAに対してはDPO（Direct Preference Optimization）を用いたRLを追加的に実施した[9]。学習環境はNVIDIA RTX Pro 6000である[10]。
評価はBLEUなどの機械評価の他、GPT-5.5を用いたLLM as a judgeで行った（目検も実施している）[11]。比較対象としてGemma 4 31B（規模が大きく日本語に強いローカルモデル）とClaude Opus 4.6（フロンティアモデル）を用いた。これらは1-shot構成でCodexによるプロンプトチューニングを実施している[12]。
結果
結果は下表のとおり。最終モデルは2Bで31BのGemma 4を超え、Opus 4.6に迫る性能を出せた[13]。また、教師モデルであるMistral Large、Deepseek V4 Flash単体の性能を超えており、参照ドキュメントの活用やAgenticなデータ合成に効果があったことがうかがえる。
| モデル / 手法 | BLEU | chrF | LLM as a judge |
|---|---|---|---|
| 正解データ | 100.00 | 100.00 | 5.00 |
| Claude Opus 4.6 / 1-shot | 71.54 | 75.34 | 4.69 |
| Gemma-2-Llama-Swallow 2B / QLoRA + DPO | 77.28 | 74.56 | 4.64 |
| Gemma 4 31B / 1-shot | 67.35 | 71.73 | 4.60 |
| Gemma-2-Llama-Swallow 2B / QLoRA | 79.76 | 82.37 | 4.60 |
| Gemma-2-Llama-Swallow 2B / Full FT | 79.21 | 82.00 | 4.53 |
| Gemma 4 E2B / Unsloth LoRA final | 76.37 | 78.60 | 4.35 |
| Mistral Large 2512 | 49.69 | 51.44 | 4.27 |
| Deepseek V4 Flash | 52.75 | 59.30 | 3.84 |
| Gemma-2-Llama-Swallow 2B / Post training前 | 44.83 | 62.98 | 2.72 |
| Gemma 4 E2B / Post training前 | 16.73 | 44.14 | 2.35 |
※ 太字は本件でPost trainingを行った結果。下線はPost training前の値。
所感
データ合成に50 USD、数時間の学習という規模で、2Bのモデルがフロンティアモデルのone shotに肉薄する性能となったのは正直驚きだった。敬語変換という狭く特化したタスクであるとはいえ、「蒸留可能な教師モデルで工夫したデータを合成し、SLMをPost trainingする」というレシピの費用対効果は高そう。
Kimi K3やDeepSeek V4 Flash 0731など高性能な大規模公開モデルが増加している、蒸留可能なモデルが増えてきている、SLMの性能が上がっている、APIコストが高くなってきている、…などなど最近の雰囲気からこの手のパイプラインも重要になりそう[14]。
脚注
[1] https://openrouter.ai/models?distillable=true、Open router的にはdistillableとなっているKimi K3やDeepSeek V4にとても期待が高い（実態としては利用規約を要確認）
[2] Small Language Model、スモールの定義はなんとなく10B以下くらいだと思うが「10Bが小規模なのか？」は謎である。
[3] 284B, 13B ActiveのLLM、MITライセンス、
DeepSeek-AI, et al, “DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence,” 2026.
[4] 675B, 41B ActiveのLLM、Apache-2 ライセンス、
Mistral AI, “Mistral Large 3 Model Card,” , 2025.
[5] データ合成で使用したコストは50 USD程度。
[6] 敬語変換の妥当性は確認、学習データとペルソナ・コンテキストの被りがないことも確認はしているが、合成データであるのでその分布とのLeakageは避けられないとは思う。
[7] 2BのSLM、https://ai.google.dev/gemma/terms & Llama3.3ライセンス（https://developer.meta.com/ai/llama3_3/license/）に沿って利用可能、
Kazuki Fujii, et al, “Continual Pre-Training for Cross-Lingual LLM Adaptation:Enhancing Japanese Language Capabilities,” in Proceedings of the First Conference on Language Modeling, 2024, pp. (to appear).
Naoaki Okazaki, et al, “Building a Large Japanese Web Corpus for Large Language Models,” in Proceedings of the First Conference on Language Modeling, 2024, pp. (to appear).
Youmi Ma, et al, “Building Instruction-Tuning Datasets from Human-Written Instructions with Open-Weight Large Language Models,” 2025.
[8] 実質5.1BのSLM、Apache-2 ライセンス、
Gemma Team, et al, “Gemma 4 Technical Report,” 2026.
[9] SFT済みadapterを出発点にDPO。強化学習では、正解メールをchosen、事実を壊す、敬語の誤用を入れる、余計な説明を混ぜる、構造を欠落させる、といったhard negativeをrejectedとした。
[10] パラメータにもよるのだろうが、長くても数時間で実行可能。SFTのみでもかなりの効果があったためRLは最終調整として実施している。
[11] データ合成時に「敬語の指針」を用い評価ルーブリックを作成しているため、LLM as a judgeと目検はほとんど整合していた。
[12] 検証時点で性能の良いものとして活用。JudgeがGPT-5.5であるため、Familyバイアスを避けるためOpenAI系列ではないものを使っている。
[13] Gemma-2-Llama-Swallow 2Bはとても性能が高い。日本語での継続学習等が効果を発揮しているように見える（このタスクとの相性もよさそうに思える）。適当なデータを入れてみた感じの動作も悪くなさそうなので、実データを使った検証をしてみたいところ。手作成データでしっかり検証したい気持ちもなくはないが、ぷるーふおぶこんせぷととしてはいったんこの結果で良いかなと思っている。（合成データの限界とLeakage疑いは避けられないのでスコアの評価は誇大広告気味である）
[14] 実際のところは良くわからないが、うまくデータ合成して使えるSLMを作るという方向性は悪くなさそうな予感。