コンテンツにスキップ

2022

Language models generalize beyond natural proteins

序論

この論文では、自然界のタンパク質を超えて新しいタンパク質を生成するための言語モデルの一般化能力について調査します。特に、固定バックボーン設計と構造がモデルからサンプリングされる非制約生成の2つのタンパク質設計タスクに焦点を当てます。

研究の背景

従来のタンパク質設計は、自然界のパーツを使った手動のボトムアップアプローチが主流でした。しかし、生物の複雑性により、トップダウンの設計は難しいとされています。近年の自然言語処理の進展により、タンパク質のシーケンスデータから機能に関する情報を学習するモデルの開発が進んでいます。

研究目的

本研究は、タンパク質シーケンスデータの学習モデルがどのように機能を予測し、新しいタンパク質を生成するかを明らかにすることを目的としています。

方法

  • データセット: タンパク質シーケンスの大規模データセットを使用。
  • モデル: 言語モデルを用いたタンパク質のシーケンス生成。
  • タスク: 固定バックボーン設計と非制約生成の2つのタンパク質設計タスクに焦点を当てた実験を実施。

結果

  • 言語モデルは、トレーニングデータとして使用されたシーケンスだけでなく、新しいシーケンスも生成する能力があることを示しました。
  • 固定バックボーン設計では、指定された構造に基づいたタンパク質を生成する能力が確認されました。
  • 非制約生成では、モデルはサンプリングされた構造から新しいタンパク質シーケンスを生成する能力を示しました。

考察

  • 言語モデルは、タンパク質のシーケンスデータからパターンを学習し、進化の情報をエンコードする能力があります。
  • トップダウン設計が難しいとされる中、言語モデルを用いることで新しいアプローチが可能となります。

結論

言語モデルは、自然界のタンパク質を超えて新しいタンパク質を生成する強力なツールであり、生物学的および医療的応用において大きな可能性を秘めています。今後の研究では、これらのモデルの性能向上と新しい応用分野の開拓が期待されます。

Precise Zero-Shot Dense Retrieval without Relevance Labels

はじめに

本論文では、関連性ラベルなしで効果的なゼロショット密検索システムを構築する新しい手法「HyDE（Hypothetical Document Embeddings）」を提案します。従来の密検索では、関連性ラベルを必要としますが、本手法はこれを不要にします。

関連研究

密検索と大規模言語モデル（LLM）を用いた関連研究について述べます。密検索は、文書の埋め込みベクトル間の内積を用いて行われ、多くのタスクで成功を収めています。

手法

前提

密検索は、クエリと文書を埋め込み空間にマッピングし、内積を用いて類似度を測定します。

HyDE

HyDEは、まず指示に従う言語モデルを用いて仮想文書を生成し、次にコントラスト学習エンコーダを用いて文書を埋め込みベクトルに変換します。このベクトルを用いて実際の文書を検索します。

実験

設定

HyDEをInstructGPTとContrieverモデルを使用して実装し、Pyseriniツールキットで検索実験を行いました。

ウェブ検索

TREC DL19とTREC DL20のクエリセットで実験を行い、HyDEが既存の密検索手法を大きく上回る性能を示しました。

低リソース検索

BEIRデータセットの低リソースタスクで実験を行い、HyDEが一貫して高い性能を示しました。

多言語検索

Swahili、Korean、Japanese、Bengaliのクエリセットで実験を行い、HyDEが多言語検索においても効果的であることが確認されました。

分析

HyDEの構成要素である生成モデルとコントラスト学習エンコーダの効果を詳細に分析しました。

結論

HyDEは、関連性ラベルなしで効果的なゼロショット密検索を実現する新しい手法です。今後の研究では、クエリの曖昧さや多様性の扱いについてさらに調査が必要です。

補足

密検索 (Dense Retrieval)

密検索は、クエリと文書を高次元の埋め込みベクトルに変換し、それらの内積を計算することで類似性を測定する検索手法です。この手法は、以下のステップで行われます：

  1. 埋め込み生成: クエリと文書をディープラーニングモデル（通常はBERTなどのトランスフォーマーモデル）を用いて高次元ベクトルに変換します。
  2. 類似度計算: 生成された埋め込みベクトル間の内積を計算し、その結果を基に文書の類似度を評価します。
  3. 文書ランキング: 類似度の高い順に文書をランキングし、最も関連性が高いと判断される文書をユーザーに提供します。

密検索は、大量のデータセットに対して高速かつ高精度な検索を可能にするため、情報検索や質問応答システムで広く使用されています。

関連性ラベル (Relevance Labels)

関連性ラベルは、検索システムの評価や学習に使用されるデータラベルで、特定のクエリに対して文書がどれほど関連しているかを示します。関連性ラベルは以下のように付与されます：

  1. 手動ラベリング: 専門家やアノテーターがクエリと文書のペアを評価し、関連性の度合いをラベリングします。例えば、クエリに対する文書の関連性を「非常に関連」「関連」「やや関連」「無関連」のように評価します。
  2. 評価データセット: 検索システムの性能評価のために、既存の評価データセット（例えばTRECやBEIRなど）が用いられます。これらのデータセットには、クエリと関連文書のペアが含まれており、検索システムの精度を評価する基準となります。
関連性ラベルの役割
  • モデルの学習: 関連性ラベルを使用して、検索モデルがクエリに対して最も関連性の高い文書を返すようにトレーニングします。
  • 性能評価: 検索システムの性能を評価するために使用され、システムがクエリに対して適切な文書を返しているかを検証します。
関連性ラベルの欠点
  • コストと時間: 手動でラベリングするには多大なコストと時間がかかります。
  • バイアスのリスク: アノテーターの主観が入り込む可能性があり、評価の一貫性が保たれない場合があります。

関連性ラベルなしでの密検索手法の開発は、これらの欠点を克服し、より効率的な検索システムを構築するための重要な研究領域です。

Auto-Encoding Variational Bayes

1. はじめに

この論文は、Diederik P. KingmaとMax Wellingによって2013年に発表された「Auto-Encoding Variational Bayes」についての解説です。VAEは、深層学習と確率的推論を組み合わせた強力な生成モデルであり、現在も広く使用されています。

2. 問題設定

2.1 背景

  • 連続潜在変数を持つ確率的モデルにおいて、効率的な推論と学習を行うことが課題
  • 従来の変分推論手法では、解析的に解けない場合が多い
  • 大規模データセットへの適用が困難

2.2 目的

  1. パラメータθの効率的な近似最尤推定またはMAP推定
  2. 観測値xが与えられた時の潜在変数zの効率的な近似事後推論
  3. 変数xの効率的な近似周辺推論

3. 提案手法：Auto-Encoding Variational Bayes (AEVB)

3.1 基本的なアイデア

  • 変分下限の再パラメータ化により、確率的勾配降下法で最適化可能な推定量を導出
  • 認識モデル（エンコーダ）を用いて、効率的な近似事後推論を実現

3.2 変分下限の導出

変分下限L(θ, φ; x^(i))は以下のように表される：

L(θ, φ; x^(i)) = E[log p_θ(x^(i)|z)] - D_KL(q_φ(z|x^(i)) || p_θ(z))

ここで、 - p_θ(x|z)：生成モデル（デコーダ） - q_φ(z|x)：近似事後分布（エンコーダ） - p_θ(z)：潜在変数の事前分布

3.3 再パラメータ化トリック

q_φ(z|x)からのサンプリングを、補助的なノイズ変数εを用いて以下のように表現：

z = g_φ(ε, x) with ε ~ p(ε)

これにより、勾配の計算が可能になる。

3.4 SGVB（Stochastic Gradient Variational Bayes）推定量

変分下限の推定量：

L̃(θ, φ; x^(i)) ≈ 1/L * Σ[log p_θ(x^(i), z^(i,l)) - log q_φ(z^(i,l)|x^(i))]

ここで、z^(i,l) = g_φ(ε^(l), x^(i))、ε^(l) ~ p(ε)

4. 実装例：Variational Auto-Encoder

4.1 モデル構造

  • エンコーダ（q_φ(z|x)）：多層パーセプトロン（MLP）
  • デコーダ（p_θ(x|z)）：MLPまたはベルヌーイMLP
  • 潜在変数の事前分布：標準正規分布

4.2 目的関数

L(θ, φ; x^(i)) ≈ 1/2 * Σ(1 + log((σ_j^(i))^2) - (μ_j^(i))^2 - (σ_j^(i))^2)
                  + 1/L * Σ[log p_θ(x^(i)|z^(i,l))]

ここで、z^(i,l) = μ^(i) + σ^(i) * ε^(l)、ε^(l) ~ N(0, I)

5. 実験結果

5.1 データセット

  • MNIST（手書き数字）
  • Frey Face（顔画像）

5.2 評価指標

  • 変分下限
  • 推定周辺尤度

5.3 比較手法

  • Wake-Sleep アルゴリズム
  • Monte Carlo EM

5.4 結果

Figure 2: Comparison of AEVB to Wake-Sleep

  • AEVBは他の手法よりも速く収束し、より良い解を得た
  • 潜在変数の次元数を増やしても過学習は起こらなかった

6. 考察と今後の展望

6.1 VAEの利点

  • 効率的な推論と学習が可能
  • 大規模データセットに適用可能
  • 幅広いモデルに応用可能

6.2 今後の研究方向

  1. 深層ニューラルネットワークを用いた階層的生成アーキテクチャの学習
  2. 時系列モデルへの応用
  3. グローバルパラメータへのSGVBの適用
  4. 教師あり学習への応用

7. 結論

VAEは、生成モデルの新しいパラダイムを提示し、効率的な推論と学習を可能にしました。理論的な裏付けと実験結果の両面から、このフレームワークの有効性が示されました。VAEは、深層学習と確率的推論の分野に大きな影響を与え、その後の多くの研究の基礎となっています。

高校生のためのVAE（Variational Auto-Encoder）解説

1. VAEって何？

VAE（Variational Auto-Encoder）は、コンピューターに新しい画像や音楽を作らせる方法の一つです。2013年に考え出された、とてもクールな技術です。

2. なぜVAEが必要なの？

  1. コンピューターに「創造性」を持たせたい
  2. 大量のデータから効率よく学習させたい
  3. 新しいデータを生成する能力を持たせたい

3. VAEのしくみ

VAEは、次の2つの部分からできています：

  1. エンコーダ：入力（例：画像）を「潜在空間」という特別な場所に変換します。
  2. デコーダ：潜在空間から元の形（画像など）に戻します。

簡単に言うと、VAEは「圧縮→解凍」のようなものです。でも、普通の圧縮と違って、VAEは「意味」を理解しながら圧縮します。

4. どうやって学習するの？

VAEの学習は、次のような流れで行います：

  1. 画像を入力する
  2. エンコーダで潜在空間に変換する
  3. デコーダで元の画像に戻す
  4. 元の画像と比べて、どれくらい似ているか確認する
  5. より似るように、少しずつエンコーダとデコーダを調整する

この過程を何度も繰り返すことで、VAEは徐々に上手になっていきます。

5. VAEの特徴

  1. 確率的: 少しランダム性があるので、毎回少し違う結果が出ます。
  2. 連続的: 潜在空間では、似たものが近くに配置されます。
  3. 生成能力: 新しいデータを作り出せます。

6. VAEで何ができるの？

  1. 画像生成: 実在しない人の顔や、架空の風景を作れます。
  2. 画像編集: 笑顔→悲しい顔、などの変換ができます。
  3. 異常検知: 普通じゃないものを見つけられます。
  4. データ圧縮: 効率的にデータを保存できます。

7. 実験結果

研究者たちは、VAEを使って手書き数字（MNIST）や顔画像（Frey Face）のデータセットで実験しました。結果、VAEは他の方法より速く学習し、より良い結果を出しました。

8. まとめ

VAEは、コンピューターに「創造性」を持たせる強力な道具です。画像生成や編集、異常検知など、さまざまな分野で活用されています。まだ発展途上の技術ですが、将来はもっと驚くような使い方が見つかるかもしれません。

VAEを理解することで、人工知能がどのように「考え」、「創造」するのかについての洞察が得られます。これからのテクノロジーの発展に、VAEは大きな役割を果たすでしょう！

Scaling Instruction-Finetuned Language Models

1. 研究の背景と目的

1.1 言語モデルの進化

近年、GPT-3やPaLMなどの大規模言語モデルが登場し、様々なタスクで高い性能を示しています。しかし、これらのモデルには以下のような課題がありました：

  • 新しいタスクへの適応が難しい
  • 複雑な推論を要するタスクでの性能が不十分
  • ゼロショット（例示なし）での性能が低い

1.2 研究の目的

この研究では、「指示によるファインチューニング（instruction finetuning）」という手法を拡張し、上記の課題を解決することを目指しています。具体的には以下の3点に注目しています：

  1. ファインチューニングに使用するタスク数の拡大
  2. モデルサイズの拡大
  3. 思考の連鎖（Chain-of-Thought, CoT）データを用いたファインチューニング

2. 指示によるファインチューニングの概要

2.1 指示によるファインチューニングとは

指示によるファインチューニングとは、様々なタスクを「指示」の形式で与え、モデルがそれらの指示に従って適切な出力を生成できるように学習させる手法です。

例： - 指示：「以下の質問に答えてください：窒素の沸点は何度ですか？」 - モデルの出力：「-320.4F」

2.2 本研究での拡張点

  1. ファインチューニングに使用するタスク数を1,836まで拡大
  2. 540Bパラメータの大規模モデル（PaLM）を使用
  3. 思考の連鎖（CoT）データを含めたファインチューニング

Figure 1

3. 研究手法

3.1 使用したデータセット

研究チームは以下の4つのデータセットを組み合わせて使用しました：

  1. Muffin（80タスク）
  2. T0-SF（193タスク）
  3. SNI（1554タスク）
  4. CoT（9タスク）

これらのデータセットには、質問応答、要約、感情分析、コード生成など、多岐にわたるタスクが含まれています。

3.2 モデルアーキテクチャ

主に以下のモデルを使用しています：

  • PaLM（8B、62B、540Bパラメータ）
  • T5（80M〜11Bパラメータ）
  • U-PaLM（540Bパラメータ）

3.3 評価方法

以下のベンチマークを用いて評価を行いました：

  1. MMLU（57タスク）：数学、歴史、法律、医学などの知識を問うテスト
  2. BBH（23タスク）：BIG-Benchからの難しいタスク
  3. TyDiQA（8言語）：多言語質問応答タスク
  4. MGSM（10言語）：多言語の数学的問題解決タスク

4. 主要な研究結果

4.1 タスク数とモデルサイズのスケーリング効果

Figure 4

  • タスク数を増やすことで性能が向上（特に282タスクまで）
  • モデルサイズを大きくすることで性能が大幅に向上

4.2 思考の連鎖（CoT）データの効果

  • CoTデータを含めることで、複雑な推論タスクでの性能が向上
  • ゼロショットでのCoT推論能力も獲得

Figure 6

4.3 様々なモデルでの効果

T5、PaLM、U-PaLMなど、異なるアーキテクチャや事前学習目的を持つモデルでも指示によるファインチューニングが有効であることが示されました。

4.4 オープンエンド生成タスクでの改善

人間の評価者によるテストでは、Flan-PaLMの出力がPaLMよりも79%の場合で好まれました。

Figure 8

4.5 バイアスと有害性の軽減

指示によるファインチューニングは、モデルの出力における有害な内容やバイアスを軽減する効果も示しました。

5. 結論と今後の展望

5.1 主な成果

  1. 指示によるファインチューニングは、タスク数とモデルサイズのスケーリングにより性能が向上
  2. CoTデータの導入により、複雑な推論能力が向上
  3. 様々なモデルアーキテクチャに適用可能
  4. 計算コストが比較的小さい（事前学習の0.2%程度）

5.2 今後の課題と展望

  • さらなるタスク数の拡大とモデルサイズの拡大
  • 他の手法（UL2Rなど）との組み合わせ
  • 実世界のアプリケーションでの評価
  • バイアスや有害性のさらなる軽減

この研究は、大規模言語モデルの性能向上と応用範囲の拡大に大きく貢献する可能性があり、今後のAI研究に重要な影響を与えると考えられます。

Deep Clustering: A Comprehensive Survey

ディープクラスタリングの包括的サーベイ

1. はじめに

本論文は、ディープクラスタリングに関する包括的なサーベイを提供しています。クラスタリングは機械学習とデータマイニングにおいて重要な役割を果たしており、良いデータ表現を学習することがクラスタリングアルゴリズムにとって重要です。

近年、ディープニューラルネットワークを使用してクラスタリングに適した表現を学習するディープクラスタリングが、広範なクラスタリングタスクに適用されています。

本サーベイの特徴: - データソースの観点からディープクラスタリング手法を体系的に分類 - 方法論、事前知識、アーキテクチャの観点から手法を区別 - 4つのカテゴリに分けて解説: 1. 従来の単一ビューディープクラスタリング 2. 半教師あり型ディープクラスタリング 3. マルチビューディープクラスタリング 4. 転移学習を用いたディープクラスタリング

2. ディープクラスタリングの基礎

2.1 従来のクラスタリング手法

まず、従来のクラスタリング手法について簡単に説明します:

  • 中心ベースクラスタリング (例: k-means)
  • 密度ベースクラスタリング (例: DBSCAN)
  • 分布ベースクラスタリング
  • 階層的クラスタリング
  • アンサンブルクラスタリング
  • マルチビュークラスタリング

これらの浅いモデルは、特徴が代表的である場合にのみ効果的ですが、複雑なデータに対しては特徴学習能力が乏しいため性能が限られています。

2.2 ディープクラスタリングの利点

ディープクラスタリングは以下の利点を持ちます:

  1. 非線形マッピング能力に優れている
  2. さまざまなシナリオに柔軟に対応できる
  3. クラスタリングに適した特徴を効果的に抽出できる
  4. 特徴学習とクラスタリングを同時に行える

3. 単一ビューディープクラスタリング

単一ビューディープクラスタリングは、同じ形式や構造のデータを扱います。主に以下の5つのカテゴリに分類されます:

  1. Deep Autoencoder (DAE) ベース
  2. Deep Neural Network (DNN) ベース
  3. Variational Autoencoder (VAE) ベース
  4. Generative Adversarial Network (GAN) ベース
  5. Graph Neural Network (GNN) ベース

3.1 DAEベースの手法

DAEは非線形マッピング関数を学習するために設計されたものです。主な特徴は:

  • 再構成損失を最小化することで低次元の埋め込み特徴空間を学習
  • さまざまなクラスタリング目的関数を組み合わせて使用

代表的な手法: - Deep Embedded Clustering (DEC) - Improved Deep Embedded Clustering (IDEC) - Deep Clustering Network (DCN)

3.2 DNNベースの手法

DNNベースの手法は、主に画像クラスタリングに焦点を当てています。特徴:

  • 畳み込みニューラルネットワークを使用して画像特徴学習とセマンティッククラスタリングを行う
  • データ拡張技術を活用して性能を向上

代表的な手法: - Deep Adaptive Image Clustering (DAC) - DeepCluster - Invariant Information Clustering (IIC)

3.3 VAEベースの手法

VAEは変分推論とディープオートエンコーダを組み合わせたモデルです。主な特徴:

  • 確率的生成モデルを使用
  • 潜在変数の分布を学習

代表的な手法: - Variational Deep Embedding (VaDE) - Gaussian Mixture VAE (GMVAE) - Latent Tree VAE (LTVAE)

3.4 GANベースの手法

GANは敵対的学習を用いたモデルで、以下の特徴があります:

  • 生成器と識別器の対立的な学習
  • データの潜在分布を学習する能力が高い

代表的な手法: - CatGAN - ClusterGAN - Adversarial Deep Embedded Clustering (ADEC)

3.5 GNNベースの手法

GNNは任意のグラフ構造を持つデータに対してエンドツーエンドの微分可能な損失を可能にします。特徴:

  • グラフ構造の情報を効果的に利用
  • ノード間の関係性を考慮したクラスタリングが可能

代表的な手法: - Deep Attentional Embedded Graph Clustering (DAEGC) - Adaptive Graph Convolution (AGC) - Structural Deep Clustering Network (SDCN)

4. 半教師あり型ディープクラスタリング

半教師あり型ディープクラスタリングは、少量の事前制約を持つデータを処理します。主な特徴:

  • "must-link" と "cannot-link" の制約を使用
  • 教師なしクラスタリング損失と制約損失の組み合わせ

代表的な手法: - Semi-supervised Deep Embedded Clustering (SDEC) - Deep Constrained Clustering (DECC)

5. マルチビューディープクラスタリング

マルチビューディープクラスタリングは、複数の表現を持つデータを扱います。主な特徴:

  • 複数のビューに含まれる一貫性のある情報と補完的な情報を活用
  • クラスタリング性能の向上を目指す

主なアプローチ: 1. DECベース 2. 部分空間クラスタリングベース 3. GNNベース

代表的な手法: - Deep Adversarial Multi-view Clustering (DAMC) - Deep Embedded Multi-view Clustering (DEMVC) - Multi-view Attribute Graph Convolution Networks (MAGCN)

6. 転移学習を用いたディープクラスタリング

転移学習を用いたディープクラスタリングは、ソースドメインから情報を転移してターゲットドメインのクラスタリングを改善します。主に以下の2つのアプローチがあります:

  1. DNNベース
  2. GANベース

6.1 DNNベースの手法

特徴: - ソースドメインとターゲットドメインの距離測定に焦点 - 適切な測定戦略の選択が重要

代表的な手法: - Deep Adaptation Networks (DAN) - Joint Adaptation Network (JAN) - Contrastive Adaptation Network (CAN)

6.2 GANベースの手法

特徴: - 識別器を用いてドメイン間の距離を測定 - 生成モデルを活用してドメイン適応を行う

代表的な手法: - Domain-Adversarial Neural Network (DANN) - Coupled Generative Adversarial Networks (Co-GAN) - CyCADA

7. 今後の研究方向

論文では、ディープクラスタリングの今後の研究方向として以下の点を挙げています:

  1. 理論的探求: ディープクラスタリングの最適化に関する理論的基礎の解明
  2. 大規模複雑データの処理: 異なるソースや形式の複雑なデータに対応する手法の開発
  3. モデル効率: 小規模データセットでの過学習防止と大規模データセットでの計算効率の改善
  4. マルチビューデータの融合: 異なるビューの情報を効果的に統合する手法の開発
  5. グラフ学習に基づくディープクラスタリング: グラフ構造情報を効果的に活用する手法の探求

8. まとめ

本サーベイでは、ディープクラスタリングの分野における最近の進展を包括的に紹介しました。単一ビュー、半教師あり、マルチビュー、転移学習の4つの主要なカテゴリに分けて手法を解説し、それぞれの特徴や代表的なアプローチを紹介しました。

ディープクラスタリングは、複雑なデータセットに対して強力なクラスタリング能力を示しており、今後もさらなる発展が期待されます。特に、マルチソース情報を考慮したモデル（半教師あり、マルチビュー、教師なしドメイン適応）が実用的なアプリケーションでより注目を集めると予想されます。

BigBIO: A Framework for Data-Centric Biomedical Natural Language Processing

BIGBIO: データ中心の生物医学自然言語処理のためのフレームワーク

序論

この論文では、データ中心のアプローチに基づいた生物医学自然言語処理（BioNLP）のフレームワーク「BIGBIO」を紹介します。データの質と多様性がBioNLPモデルの性能に与える影響を強調し、最適なデータセットの構築と管理方法を提案します。

データ中心の機械学習

データ中心の機械学習は、モデルの設計よりもデータの収集、注釈付け、クリーニングに重点を置くアプローチです。この方法は、モデルの性能向上に直接寄与します。

BIGBIOフレームワーク

BIGBIOは、生物医学データの標準化、管理、利用を支援するためのツールセットです。データの統一フォーマット、品質チェック、メタデータの管理などを含みます。また、多様なBioNLPタスクに対応するための共通データセットを提供します。

実験と結果

論文では、BIGBIOを用いた実験結果を示し、異なるBioNLPタスクにおける性能向上を確認しています。具体的なタスクとして、名前付きエンティティ認識、関係抽出、文書分類などが含まれます。

結論

BIGBIOフレームワークは、データ中心のアプローチを採用することで、BioNLPの研究と実践において大きなメリットを提供します。データの質を向上させることで、モデルの性能を最大限に引き出すことができます。

Training Compute-Optimal Large Language Models

序論

本論文では、限られた計算予算内で最適な大規模言語モデル（LLM）のサイズとトークン数を調査します。従来のLLMが過剰に訓練されている問題に焦点を当て、モデルサイズとトークン数を同時にスケールする方法を提案します。

研究の目的

現行のLLMは、モデルサイズの拡大に伴い計算コストが増加します。本研究の目的は、与えられた計算予算内で最適なモデルサイズとトークン数を決定し、効率的なモデル訓練を実現することです。

方法

400以上のモデルを訓練し、モデルサイズとトークン数の関係を分析しました。その結果、モデルサイズを倍増させるごとにトークン数も倍増させることが最適であると結論付けました。

結果

「Chinchilla」というモデルを訓練し、既存の大規模モデル（Gopher、GPT-3、Jurassic-1、Megatron-Turing NLG）を上回る性能を示しました。Chinchillaは、同じ計算予算でより少ない推論コストを持ち、下流タスクでの利用が容易です。

結論

本研究は、LLMの最適な訓練方法を示し、より効率的なモデル開発に貢献しました。Chinchillaの成果は、計算コストを削減しつつ高性能を維持する方法を提供します。