LLMMaps -- A Visual Metaphor for Stratified Evaluation of Large Language Models

• https://arxiv.org/abs/2304.00457
• https://arxiv.org/pdf/2304.00457

---

LLMMaps - 大規模言語モデルの階層的評価のための視覚的メタファー

序論

この論文では、大規模言語モデル（LLM）の性能を詳細に評価するための新しい視覚化手法「LLMMaps」を提案します。特に、質問応答データセットを用いてLLMの知識能力を評価するための方法を提供します。

背景

LLMは多くのタスクで優れた性能を示していますが、誤情報を生成する「幻覚」問題があります。これにより、LLMの評価が重要となっていますが、従来の評価方法は全体的な精度を報告するだけで、詳細な洞察を提供していません。

LLMMapsの設計

LLMMapsは、質問応答データセットとLLMの応答を内部知識構造に変換し、さまざまなサブフィールドにおける性能を可視化します。また、複数のLLMの詳細な比較も可能です。

知識分野の階層化

質問応答データセットを知識階層に基づいて階層化する方法を提案します。この階層化により、LLMの性能をより細かく評価し、開発者が改善すべき分野を特定することができます。

実験と結果

BLOOM、GPT-2、GPT-3、ChatGPT、LLaMa-13Bなどの最新のLLMを用いて、LLMMapsの有効性を確認しました。また、ユーザー評価を通じて、その利便性と限界を検証しました。

結論

LLMMapsは、LLMの知識能力を詳細に評価するための有力なツールです。これにより、開発者はLLMの性能を向上させるための具体的な指針を得ることができます。