モデルを「賢く使い分ける」AI対話のアプローチ
研究開発本部 海老原樹
はじめに
本記事では、人工知能学会で発表した「LLMモデルルーティング」に関する研究[1]をご紹介します。
私たちは、人に寄り添う心地よいAI対話体験の実現を目指して研究開発を行っています。近年の大規模言語モデル（LLM）を用いれば高品質な応答が可能になった一方で、心地よい対話には、応答の速さや運用コストも欠かせない要素です。すべての入力を高性能モデルで処理するのが最適とは限らず、入力に応じてモデルを使い分けるアプローチが重要になってきています。
こうした背景のもと、シャープではクラウドとエッジを組み合わせたAI活用（CE-LLM[2]）に取り組んでおり、本研究はその具体的な技術の一つである「モデルルーティング」に焦点を当てたものです。
研究の背景：なぜLLMを使い分けるのか
高性能なLLMを対話システムにそのまま用いると、
高性能モデルはコストが高い
応答に時間がかかる場合がある
といった課題があります。
例えば、簡単な質問に対しても常に最も高性能なモデルを使用する必要があるでしょうか。多くの場合、より軽量なモデルでも十分な品質の応答を返すことができます。
このように、「入力に応じて適切なモデルを選択する」ことで、品質・コスト・応答速度のバランスを取ることが重要になります。
入力内容に応じてエッジ上の軽量LLMとクラウド上の高性能LLMを使い分けるイメージシャープが取り組むCE-LLMも、まさにこの考え方に基づいており、クラウド上の高性能モデルとエッジ上の軽量モデルを状況に応じて使い分けることを目指しています。本研究では、その中でも「入力ごとにどちらのモデルを使うか」を判断する仕組み――モデルルーティング――に焦点を当てました。
研究の概要：モデルルーティングとは
本研究で扱った「モデルルーティング」とは、ユーザーの入力内容に応じて、複数のLLMの中から最適なモデルを選択する技術です。
今回はシンプルな設定として、
高品質だが高コストな「強モデル」
軽量で低コストな「弱モデル」
の2つを用意し、「どちらを使うべきか」を自動で判断する仕組みを検討しました。
具体的には、過去の類似クエリを参考にして判断を行うkNNベースの手法を用いています。過去に似た質問に対して、どちらのモデルの方が良い応答をしていたかをもとに、新しい入力に対する最適な選択を行います。
実験の全体像。kNNベースのルーターを用いて、複数の日本語のベンチマークにおいて、ルーティングによるコストと品質のトレードオフを評価。実験結果：シンプルな方法でも有効なケースがある
日本語のテキスト生成タスクにおいて評価を行った結果、いくつかの興味深い点が分かりました。
まず、比較的シンプルな方法でも、実用的なモデルルーティングが可能であることが確認されました。特に、軽量モデルの応答品質をもとにした方法では、コストを抑えながら品質を改善できるケースが見られました。
ルーティングのコスト（横軸）と品質（縦軸）のトレードオフを評価した結果の一部。緑線がルーティング結果。全体の約3割だけ高性能モデル（強モデル）を使うことで、 軽量モデル（弱モデル）だけの場合に比べて、性能差の半分程度を取り戻せている。一方で、すべてのタスクで有効というわけではなく、タスクの性質やモデル間の性能差によって効果が大きく変わることも分かりました。
考察：モデルを「どう使うか」の重要性
今回の結果から見えてきたのは、LLMの性能そのものだけでなく、複数のモデルをどう使い分けるかという視点の重要性です。
近年は、性能やコストの異なるさまざまなLLMが登場しており、入力の難易度や性質に応じてモデルを切り替えることで、全体としての効率や品質をうまくバランスできる可能性があります。実際、簡単なクエリであれば小規模なモデルでも十分対応できる一方で、より複雑なタスクでは高性能なモデルが必要になるケースも多く見られます。
また、利用できるモデル自体も日々更新されており、単一のモデルに依存した構成では変化に対応しづらいという側面もあります。そうした中で、複数モデルを前提にした柔軟な設計は、現実的な選択肢の一つと考えられます。
本研究で扱ったモデルルーティングもその一例ですが、効果はタスクやモデルの組み合わせに依存することが分かりました。そのため、万能な仕組みというよりは、状況に応じて設計を最適化していくアプローチが重要になります。
このように、LLMの活用においては、単にモデルを選ぶだけでなく、どう組み合わせて使っていくかが今後の重要なテーマの一つになっていくと考えています。
今後に向けて/おわりに
今回の研究では、シンプルな手法でも一定の有効性を確認できた一方で、タスクやモデルの組み合わせによって効果が大きく変わることも分かりました。
今後は、より適切なラベル付け手法の検討やデータの拡充に加え、実際のサービスへの適用を見据えた検証も進めていく予定です。
シャープでは、クラウドとエッジを組み合わせたAI活用（CE-LLM）に取り組んでおり、本研究もその一部として位置付けられます。ユーザーにとって心地よいAI体験を実現するために、今後もこうした技術の研究開発を進めていきます。
本記事では、人工知能学会で発表したモデルルーティングの研究について、その背景や考え方をご紹介しました。
LLMの進化に伴い、「どのモデルを使うか」だけでなく「どう使い分けるか」という視点が、今後ますます重要になっていくと考えています。
私たちは、こうした技術を通じて、誰もが自然に、ストレスなく使えるAI体験の実現を目指していきます。
参考リンク
[1]
（
プログラム）
[2]