「うんうん」「そうだね」をもっと自然に ～AI対話システムの「いい相槌」を探求する～
研究開発本部 後藤裕也
『心地よい会話』実現のために
この記事は、2025年度人工知能学会全国大会(第39回)にて我々が行った研究発表の紹介記事です。
現在シャープは『CE-LLM』を開発中であり、人と家電との心地よい対話を実現するシステムの構築を目指しています。シャープで開発中の『CE-LLM』は、生成AIで用いられる大規模言語モデルをエッジで活用することを目指したAIです。ネットワークを介すことなく、それぞれの端末のなかで様々な処理を行うことで、リアルタイム性を高め、より自然なコミュニケーションを実現することを目指しています。本記事では、心地よい会話を作るための取り組みの一環として相槌を取り上げました。CE-LLMを用いて心地よい相槌を生成する事を目標として、それに向けた基礎的な取り組みをご紹介します。
対話システム開発の流れ
はじめに
最近、AIとのおしゃべりがどんどん自然になってきました。ですが、会話を気持ちよく進めるには、聞き手側――つまりAI側からの返答内容だけでなく、「相槌」がとても大切なのです。
「へー」「なるほど」のように上手な相槌だと、話し手は「ちゃんと聞いてもらえてるな」と感じて、会話がはずみます。逆に、相槌がなかったり、タイミングや内容がおかしかったりすると、会話としては不自然で、話し手は不安を感じてしまうこともあります。この研究では、そんなAI対話システムにおける「いい相槌」って何だろう？どうすれば評価できるだろう？というテーマに取り組みました。
なぜ「いい相槌」の評価が必要なの？
AI対話システムがもっと人間らしく、私たちと自然にコミュニケーションできるようになるためには、応答の内容だけでなく、相槌の質も重要です。相槌なのに直前の内容と関係なかったり、長すぎたり、口調がぶれていたりしたら違和感がありますよね。このような問題は人間同士の会話ではほとんど起きないのですが、こと比較的小規模なLLMを用いて相槌を生成しようとすると発生します。
「このAI、ちょっと相槌が下手だな…」と感じた経験、ありませんか？そんな「いい相槌」かどうかを判断するには、これまでは人が実際に会話を聞いたり読んだりして評価するしかありませんでした。でも、たくさんの会話を一つ一つ評価するのは、ものすごく手間がかかるのです。
そこで私たちが「人間の感覚に近い『いい相槌』の基準を見つけて、その基準で相槌の質を自動的に、しかも数値で評価できるシステムを作りたい！」と考えたのが、この研究の出発点です。対話システムをもっと良くするための開発を後押ししたい、というモチベーションがありました。
「いい相槌」の基準を見つける、これが大変でした！
では、「いい相槌」って具体的にどんな相槌なのでしょうか？ これが実は、明確な基準が定まっていないんです。
いい相槌の要素とは？いい相槌の要素は様々挙げられますが、それらは主に「テキスト的要素」「音声的要素」「非言語的要素」の３要素に分けられます。シャープとしてはどの要素も欠かすことはできないと考えており、本研究ではそのうちのテキスト的要素に着目して検討を行います(なお、音声的要素については別途研究が進んでおり、本アカウントから別記事が上がる予定です)。
私たちはまず、人間がどんな相槌を「いい」と感じるのかを知るために、ある実験をしました。いくつかの会話シナリオを作り、そこに様々なパターンの相槌を挿入しました。例えば、
一般的で適切な相槌
文脈に合わない相槌
長すぎる、あるいは短すぎる相槌
それまでの口調と異なる相槌
といったバリエーションを用意したのです。そして、参加者の方々に「この相槌とこの相槌、どっちの方が会話が気持ちよく進むかな？」と、2つの相槌をペアで見比べて評価してもらいました。この手法を一対比較法といいます。
一対比較法を用いるメリットなぜ一対比較法を使ったのか？例えば、「『うんうん』という相槌に点数をつけて」と言われても、困ってしまいますよね。違和感があるかないか程度のことならわかるでしょうが、それが「そうだね」や「然り」と比べてどれくらい良いかと言われると難しく、また個人差も大きいでしょう。一対比較法を用いた理由は、絶対的な点数を付けるより、どちらが良いか比較する方が、より感覚に近い評価が得られると考えたためです。
以下に主観評価の結果を示します。各相槌の好ましさの尺度を数直線上にプロットしており、右に行くほど好ましいという風に読み取れます。
各相槌の好ましさの尺度この主観評価の結果から、相槌の品質には「文脈との整合性」、「長さ」、そして「口調の一貫性」という3つの要素が確かに影響していることが分かりました。特に、文脈と口調の影響が大きく、長さはそれに比べて少し小さい影響でした。
自動評価システムはどう作ったの？
人間の「いい相槌」の基準が分かったら、次はそれを自動で評価するシステム作りです。ここでも工夫が必要でした。
会話の文脈や相槌の口調が適切かどうか、明文化されたルールを用意して判定することは難しいため、LLM(GPT-4o)に評価してもらいました。また、相槌の長さについては、「うんうん」「そうだね」のように日本語では4文字くらいの相槌が多いこと、また長くなると急激に違和感が生じることなど、日常的な経験に基づいて、心地よい長さを決めるルールを作りました。
そして、これら「文脈評価」「長さ評価」「口調評価」の3つの評価結果を組み合わせて、最終的な相槌の総合評価点を出します。この総合評価点が、先ほどの人間による主観評価の結果とできるだけ一致するように、それぞれの評価の重要度（重み付け）を細かく調整しました。その結果、人間の感覚と非常に近い評価ができるシステムが完成しました（主観評価との相関係数0.97）。
主観評価と自動評価の相関LLMが作った相槌を実際に評価してみた
今回作成した評価システムの実用性を確かめるべく、5つのLLMに相槌を作らせて、それを評価してみました。LLMにはそれぞれ性能の異なるモデルを選定し、また参考として人間が作成した一般的な相槌も評価させてみました。以下に結果を示します。
LLMが作った相槌の評価結果評価結果を人手で確認したところ、以下の性質が確認されました。
高品質な相槌の評価においては点数が飽和
表の右3つ(GPT3.5 turbo, GPT-4o mini, human)においては、点数には差がついているのですが、人手による確認では各相槌に目立った優劣が確認されず、どれも会話として問題ないという感覚が得られました。この結果は、高品質な相槌に対して本評価システムによる点数が飽和していることを示しています。ざっくり言うと、5点以上の相槌ならなんでもOK、ということです。
低品質な相槌の評価においては評点に応じた不自然さを確認
表の右3つ(Llama-3.2-3b, Llama-3-ELYZA-JP-8B, Llama-3.2-11B-Vision)においては、相槌に評点に応じた不自然さが確認されました。Llama-3-ELYZA-JP-8Bが少し違和感を感じる程度であるのに対し、Llama-3.2-3b、Llama-3.2-11B-Visionの2モデルは会話続行がやや怪しく感じられる相槌が複数含まれていました。低品質領域における評価が人間の感覚に沿っていると言えます。
今後やりたいこと
このシステムを使ってやりたいこと
本評価システムは品質の低い相槌を見つけるのが得意だということが分かりました。これは、新しいAI対話システムを作る際に、生成される相槌の品質を簡単にチェックする「スクリーニング（品質確認）」に役立つ可能性を示しています。シャープとして対話システムを開発する際、そこに搭載する言語モデルの選定に活用していきたいと思います。
このシステムを改善したいこと
今回の研究では相槌評価用台本として、雑談やビジネスなど5つのシチュエーションを用意しましたが、現実世界における会話のバリエーションはとうてい5種には収まりません。今後は幅広い会話ドメインを網羅するように台本を充実させ、評価精度の向上を図りたいと思います。また、台本を増やすことで今回着目した「文脈整合性」「長さ」「口調の一貫性」以外の軸についても評価軸を検討していきたいと思います。
このシステムではできないこと
今回の研究は、主にテキスト（文字）で表現される情報に注目しました。でが、実際の音声対話では、相槌を打つ「タイミング」「間（ま）」、あるいは声のトーンや大きさといった音声の情報も、相槌の自然さや心地よさに大きく影響します。
例えば、話し手が何かを言い終わるか終わらないかの絶妙なタイミングで「うん！」と言ったり、少し間を置いてからゆっくり「なるほどねぇ」と言ったり。こうした音声的な要素は、テキストだけでは捉えきれません。
今回のシステムは、テキスト情報から分かる基準で一定の成果を上げましたが、より人間に近い、本当に自然な相槌を評価するには、これらの音声情報や時間的な要素も考慮する必要があります。
「いい相槌」評価軸の拡張ビジョン関連研究の紹介
人工知能学会では、本研究に関連して「音声アクティビティ予測を利用した音声対話システムの構築と自然さの客観評価」も発表されています。この研究では音声アクティビティ予測(VAP)を用いて自然な相槌を盛り込んだ会話を実現しようとしてます。
将来的には、このような音声的な特徴も私の研究に組み込んで、もっと高精度で包括的な「いい相槌」自動評価システムを開発していきたいと考えています。そうすれば、AI対話システムはさらに自然で、私たちにとって心地よい話し相手になってくれるはずです。こちらの研究も後日投稿予定ですので、ぜひ併せて読んでみてくださいね。
参考文献
本記事の内容は2025年度人工知能学会全国大会にて発表した内容となります。
2025年度 人工知能学会全国大会（第39回）/対話システムにおける相槌の品質評価基準の検討および品質評価システム構築の試み
後日投稿予定の音声アクティビティ予測に関する研究は以下の内容となります。
2025年度 人工知能学会全国大会（第39回）/音声アクティビティ予測を利用した音声対話システムの構築と自然さの客観評価