Mapping the Increasing Use of LLMs in Scientific Papers

序論

この論文では、大規模言語モデル（LLM）が学術論文に与える影響を評価し、ChatGPTなどのLLMがどの程度論文作成に使用されているかを定量化することを目的としています。

LLMは多くのタスクで優れた性能を示していますが、学術論文における使用状況や影響については未解明の部分が多くあります。

LLMが学術論文作成に与える影響を評価するために、2020年1月から2024年2月までに発表された約95万本の論文を対象に、LLMによる文章修正の割合を定量化しました。

コンピュータサイエンス分野の論文で最も急速に増加し、2024年2月までに要約の17.5%、導入部の15.3%がLLMによって修正されました。一方、数学分野では増加が最も少なく、要約の4.9%、導入部の3.5%がLLMで修正されました。

プレプリントを頻繁に投稿する著者の論文は、より高い割合でLLMによる修正が見られました。2024年2月までに、プレプリントを頻繁に投稿する著者の論文要約の19.3%がLLMで修正されていました。

類似した研究分野に属する論文ほど、LLMの使用率が高い傾向がありました。2024年2月までに、類似論文との距離が近い論文の要約の22.2%がLLMで修正されていました。

短い論文ほど、LLMの使用率が高い傾向がありました。2024年2月までに、5000語以下の論文要約の17.7%がLLMで修正されていました。

LLMの使用が増加している背景には、研究者の執筆効率向上や競争圧力があると考えられます。特に、コンピュータサイエンス分野ではその傾向が顕著です。

LLMの使用が学術論文に与える影響を定量化し、今後の研究や政策立案に重要な知見を提供します。さらなる調査が必要です。