音声感情データ解析によるコールセンターの応対評価
音声感情データ解析によるコールセンターの応対評価
1. 研究の概要と背景
この論文は、コールセンターにおけるオペレータと顧客の会話の質を自動的に評価するための手法を提案しています。コールセンターでは日々膨大な数の会話が行われており、すべての会話を人力で評価することは困難です。そこで著者らは、音声から抽出された感情データを解析し、オペレータと顧客の感情状態の遷移パターンを抽出することで、応対評価を効率化する方法を提案しています。
研究の背景
コールセンターは企業と顧客の重要な接点であり、その応対の質は顧客満足度に大きく影響します。良い応対は顧客の好感度を上げ、再購入や紹介につながる一方、悪い応対は解約や悪い口コミにつながりかねません。そのため、応対品質の確保は非常に重要です。
しかし、オペレータの応対を評価する際に次のような問題があります：
- 会話数が膨大で人力での評価コストが高い
- すべての業務で明確な応対結果（購入/非購入など）があるわけではない
- 結果が非購入でも、オペレータの応対が良く顧客が満足していたケースは適切に評価されるべき
- 顧客アンケートはコストがかかり、回答の信頼性も不明
2. 提案手法
著者らは音声感情値を用いて、感情状態の遷移に着目したオペレータの応対評価手法を提案しています。
手法の概要
提案手法の流れは以下の通りです：
- 前処理: 音声感情データの正規化
- データの要約1: 隠れマルコフモデル(HMM)による感情状態系列の抽出
- データの要約2: 状態系列からの遷移確率行列の作成
- 会話のクラスタリング: オペレータの遷移確率行列に基づく会話のクラスタリング
- 類似度計算: オペレータと顧客の感情遷移パターンの類似度計算
使用データと問題定義
論文では次のようなデータを扱っています：
- 会話データ: オペレータと顧客の音声から抽出された感情パラメータの時系列データ
- 感情パラメータ: Energy（エネルギー）、Stress（緊張）、Embarrassment（不快感）、Hesitation（快適さ）、Uncertainty（自信の度合い）、Excitement（興奮・高揚）、Concentration（集中度）など
これらのパラメータを用いて、各会話をクラスタリングし、クラスタの特徴を発見することが目的です。
3. 手法の詳細
3.1 前処理
オリジナルデータの各パラメータは取りうる範囲が異なるため、正規化処理を行います。すべての会話データを縦に結合した場合の各列について最大値・最小値を求め、Y = (X - xmin)/(xmax - xmin)の式で正規化します。これにより、各列の値域が0〜1に統一されます。
3.2 データの要約1（隠れマルコフモデルによる状態系列抽出）
正規化したデータに対して隠れマルコフモデル(HMM)を適用し、各セグメントがどの隠れ状態に属するかを示す状態系列を得ます。これにより、複数の感情パラメータの変化を1次元の状態系列として要約できます。
3.3 データの要約2（状態遷移確率行列の作成）
得られた状態系列から、状態間の遷移確率を計算し、状態遷移確率行列を作成します。例えば、状態系列が{0, 0, 1, 2, 2, 3, 0}の場合、状態0から状態0への遷移が1回、状態0から状態1への遷移が1回、といった具合に計数し、遷移確率行列を作成します。
ZtmiOP = [
[0.5, 0.5, 0, 0 ],
[0, 0, 1, 0 ],
[0, 0, 0.5, 0.5],
[1, 0, 0, 0 ]
]
3.4 会話のクラスタリング
オペレータの状態遷移確率行列を1次元ベクトルに変換し、k-means法によりクラスタリングを行います。これにより、類似した感情遷移パターンを持つ会話をグループ化できます。
3.5 オペレータ/顧客の類似度算出
各会話について、オペレータと顧客の状態遷移確率行列の類似度を平均二乗平方根誤差(RMSE)で計算します。この値が小さいほど両者の感情遷移パターンが類似していることを示します。
4. 実験
4.1 データセット
実験には、コールセンターにおけるオペレータと顧客の1,577会話を含む音声感情値データを使用しています。データに含まれるオペレータは計12人で、会話内容は通信販売における定期購入の既存顧客からの入電対応業務です。各会話には次の3種類のラベルが付与されています：
- (解約阻止)成功
- 問い合わせ
- (解約阻止)失敗
4.2 実験条件
実験では、隠れマルコフモデルの状態数(hk)を4、k-meansのクラスタ数(ck)を4に設定しています。
4.3 実験結果
クラスタ毎の会話数
クラスタリングの結果、各クラスタに含まれる会話数は以下のようになりました：
クラスタ毎のRMSE分布
各クラスタにおけるオペレータと顧客の感情遷移の類似度(RMSE)の分布は以下の通りです：
クラスタ毎のラベル分布
各クラスタに含まれる会話のラベル分布は以下の通りです：
表形式では：
| クラスタ | 失敗 | 問合せ | 成功 |
|---|---|---|---|
| 0 | 241 | 137 | 6 |
| 1 | 337 | 122 | 12 |
| 2 | 218 | 91 | 7 |
| 3 | 289 | 111 | 6 |
オペレータ毎のクラスタ分布/クラスタ毎のラベル分布
各オペレータの会話がどのクラスタに分類されているか、また各クラスタ内でのラベル分布は以下の図で示されています：
この図では、各オペレータが2本の棒グラフで表されています： - 上段：当該オペレータの会話が各クラスタに割り当てられた数 - 下段：各クラスタに割り当てられた会話の応対結果ラベルの分布
5. 考察
5.1 クラスタ毎のRMSE分布に関する考察
クラスタリングにより、オペレータの状態遷移が似たものを持つ会話の集合は得られましたが、各クラスタにおけるRMSE分布に有意な差は見られませんでした。これは、オペレータと顧客の感情遷移の差の分布がクラスタ間で大きな違いがないことを示しています。
考えられる原因として、著者らは以下の3点を挙げています：
- パラメータ数(d)が適切でなく、HMMの状態を上手く捉えられていない
- HMM状態数(hk)が適切でなく、感情状態の遷移を上手く捉えられていない
- クラスタ数(ck)が適切でなく、会話のクラスタが上手く分類できていない
2と3については、異なる値(2,4,8,16)で実験を行いましたが、大きな差は見られなかったとのことです。1については、感情把握に適切なパラメータ選定をさらに行う必要があると考えられます。
5.2 クラスタ毎のラベル分布に関する考察
クラスタ毎のラベル分布についても、有意な差は見られませんでした。これは、すべてのオペレータの会話を分類した結果では、解約阻止成功となった会話の感情遷移パターンが特に類似しているというわけではないことを示しています。
5.3 オペレータ毎の分析
オペレータ毎のクラスタ分布においても大きな差は見られませんでしたが、各オペレータの成功ラベルの分布を見ると、特定のクラスタに偏っているオペレータがいることが分かりました。例えば：
- OP Dの場合：解約阻止成功となった会話はすべてクラスタ3に属している
- OP Eの場合：解約阻止成功となった会話はクラスタ0と3に属している
これは、オペレータ毎に解約阻止成功の際の感情遷移が類似しており、そのため成功となった会話が同じクラスタに属したと考えられます。
6. まとめと今後の課題
本研究では、コールセンターの音声感情データを解析することにより、オペレータと顧客の会話の応対評価を効率化する手法を提案しました。具体的には：
- 隠れマルコフモデルを用いて感情パラメータの値の遷移を隠れ状態の遷移として捉え
- 状態遷移確率行列を作成し
- k-meansクラスタリングを用いて会話を分類
実験結果からは、クラスタ間のRMSE分布や全体的なラベル分布に有意差は見られませんでしたが、オペレータ個人レベルでは、成功会話が特定のクラスタに偏る傾向が確認できました。
今後の課題
今後の研究方針として、著者らは以下の点を挙げています：
- 解析するデータ数の追加
- 使用するパラメータの適切な選定
- 応対結果以外の管理者の主観評価などでのクラスタリング評価
- オペレータの顧客に対する共感の姿勢を隠れ状態の遷移で検出する可能性の検討
これらの改善により、より有用な会話分類が可能になると期待されています。