コンテンツにスキップ

強化学習

実世界マルチエージェントの手本を用いた強化学習における適応的な行動の活用

序論

本研究では、実世界のマルチエージェントの手本を用いた強化学習における適応的な行動の活用について探求します。特に、追跡逃避課題やサッカーなどの実世界のシナリオにおけるドメイン適応を目指します。

研究背景

強化学習は、エージェントが環境との相互作用を通じて最適な行動方針を学習する手法です。しかし、実世界のデータと仮想環境の間にはドメインギャップが存在し、これが学習の障害となることがあります。

研究目的

この研究の目的は、実世界のデータから学習した行動を強化学習に適応させることで、ドメイン適応問題を解決することです。具体的には、手本の行動を基に強化学習モデルを構築し、未知の環境でも高い性能を発揮することを目指します。

方法

データセット

  • ソースデータ: 実世界のマルチエージェントデータを使用。
  • ターゲットデータ: 強化学習用にシミュレートされたデータを使用。

デバイアス手法

  • 教師あり学習: 手本データを用いた事前学習。
  • 強化学習: 事前学習されたモデルを基に強化学習を実施。

可視化手法

  • 動的時間伸縮法（DTW）: 手本と強化学習の軌跡間の距離を最小化する手法を用いて行動の適応を評価。

結果

実験では、追跡逃避課題とサッカー課題の両方において、提案手法がベースライン手法と比較して高い性能を示しました。特に、手本行動を適応させることで、強化学習モデルの再現性と汎化性能が向上しました。

考察

提案手法は、実世界の複雑な環境に対しても適応可能であり、強化学習のドメイン適応問題を効果的に解決する可能性があります。

結論

本研究は、実世界のマルチエージェントシナリオにおけるドメイン適応のための新しい強化学習手法を提案しました。この手法は、実世界データと仮想環境の間のギャップを埋め、より現実的で高性能な強化学習モデルの構築に寄与するものです。

謝辞

本研究は、科研費 21H05300と 23H03282、及び JSTさきがけ JPMJPR20CAの支援により行われました。

言語モデリングによる行動選択・状態推移確率の推定に基づくサッカーのプレー定量評価指標

序論

サッカーなどのゴール型スポーツにおける行動選択と状態推移確率の推定を言語モデリングを用いて行い、選手やチームの定量評価指標を構築する試みについて説明します。

研究の背景

サッカーの定量的評価指標としては、ボールの位置や近辺の統計データに基づくシンプルな機械学習モデルが主流です。しかし、これらの手法は試合全体の文脈を考慮しておらず、ボール非保持者の動きを評価できていない問題があります。最近では、自然言語処理の分野で注目されている大規模言語モデル（LLM）の応用が試みられています。

研究方法

データセット

本研究では、明治安田生命J1リーグ（2021年、2022年シーズン）のトラッキングデータとイベントデータを使用しました。トラッキングデータは、試合中の選手とボールの位置座標を記録したもので、イベントデータは、ボール保持者のアクションや試合イベントの情報を含みます。

前処理

データのダウンサンプリングや欠損データの補完、イベントデータとトラッキングデータの結合を行いました。また、攻撃シークエンスごとにデータを分割し、学習・検証・評価用データセットを作成しました。

モデル

強化学習モデル

状態、行動、報酬の3要素からなる強化学習モデルを用いました。状態は選手とボールの位置座標、行動は攻撃選手の動きやパス、シュートなど、報酬は得点や期待ゴール値（EPV）に基づいて設定しました。

言語モデル

トークン化された状態と行動の系列を予測する言語モデルを学習しました。各選手やボールの座標と移動方向をトークン化し、GPT-2モデルを用いて学習しました。

結果と考察

チーム評価値と指標との関係

強化学習モデルと言語モデルにより得られた評価指標と2022年シーズンの総得点数との関係を評価しました。言語モデルの指標は、得点機会を創出する行動を捉える可能性が示唆されました。

Q値の評価

言語モデルにより得られた行動選択確率から算出されたQ値は、シーズンの総得点数と正の相関を示し、妥当な評価指標であることが確認されました。

結論

言語モデリングを用いた行動選択確率の推定により、従来の指標では捉えられない情報を含む新しい評価指標を構築できることが示されました。今後の研究では、ゲーム理論の知見や自然言語処理の技術を応用したさらなる改善を目指します。

謝辞

本研究に用いたデータは『情報・システム研究機構統計数理研究所 医療健康データ科学研究センター』『データスタジアム株式会社』により提供されました。