2026年度C&C賞受賞者

グループB

業績記

強化学習の概念およびアルゴリズムの確立

業績説明

人工知能（AI）は、人間が行ってきた認識、判断、意思決定などの知的活動をコンピュータ上で実現する技術であり、生産性向上や新たなサービスの創出を通じて、社会、産業、人々の生活に大きな変革をもたらすことが期待されています。従来のAIにおける学習の主流は、正解ラベル付きの学習例を用いる教師あり学習でしたが、事前に正解が与えられない状況においても、外部環境との相互作用を通じて学習し、自律的な意思決定を行えるようにすることが重要な課題でした。アンドリューG.バルト博士、リチャードS.サットン博士、クリストファーJ.ワトキンス博士は、この課題に対し、強化学習の概念的・数学的基礎を確立するとともに、正解ラベル付き学習例に依存しない実用的かつ汎用性の高い強化学習アルゴリズムを創出し、現代のAIの発展に多大な貢献を果たしました。
正解から学ぶのではなく、報酬やペナルティから学ぶという考え方自体は以前から知られていましたが、従来の機械学習の応用では、学習を行う主体であるエージェントが正解ラベル付き学習例を利用できることを前提としており、試行錯誤しながら報酬やペナルティから学習する手法は、AIの分野では十分に活用されていませんでした。バルト博士とサットン博士は、1980年代初頭に心理学に基づく試行錯誤学習と逐次意思決定の考え方を結び付け、マルコフ決定過程を数学的基礎とする強化学習の基本的枠組みを創始しました。また、1983年の倒立振り子問題に関する研究において、後にActor-Critic法の原型となる手法を提案しました。これにより、エージェントが環境との継続的な相互作用を通じて行動を改善できる、強化学習の一般的枠組みが確立されました。
その後、強化学習で長期的な方策を最適化するためには、行動の直後に得られる報酬だけでなく、将来得られる報酬も考慮する必要があることが明らかになりました。サットン博士は1988年に時間差分学習（TemporalDifferenceLearning）を提案しました。時間差分学習は、モンテカルロ法と動的計画法の利点を併せ持つ学習法であり、現在の予測と次の時間ステップの予測との差である時間差分を利用して、将来得られる累積報酬の見込みを逐次更新します。この手法により、未知環境下で長期的な価値評価を行う基礎が築かれました。さらにバルト博士とサットン博士は、行動を選択するActorと、その結果を評価するCriticが協調して学習するActor-Critic法を発展させました。Actor-Critic法では、Criticが時間差分学習によって価値を評価し、その結果を利用してActorが累積報酬を最大化する方策を学習します。これらの成果により、強化学習は長期的な価値評価と方策改善を可能にする体系的な学問分野へと発展しました。また、両氏は1998年に標準的教科書である『ReinforcementLearning:AnIntroduction』を出版し、強化学習研究の普及と発展に大きく貢献しました。
一方、ワトキンス博士は、バルト博士とサットン博士の強化学習の枠組みを動的計画法と結び付け、環境モデルを知らなくても最適方策を学習できる手法の研究を進めました。そして1989年の博士論文においてQ学習（Q-Learning）を提案しました。Q学習では、状態と行動の組ごとに将来得られる累積報酬の見込みを表すQ値を保持し、行動後に受け取った報酬と次の状態の情報を用いてQ値を逐次更新します。この更新プロセスを繰り返すことで、各状態において最も高いQ値を持つ行動を選択する方策を学習します。Q学習の最大の特徴は、環境モデルを事前に与えることなく、経験のみに基づいて最適方策を学習し、それによってモデルフリー最適制御を実現した点にあります。Q学習は比較的単純な構造を持つことから、モデルフリー制御の代表的なアルゴリズムとして広く普及しました。
バルト博士、サットン博士、ワトキンス博士が築いた強化学習は、幅広い課題に適用可能な汎用的な意思決定技術として確立され、深層ニューラルネットワークとの融合によって深層強化学習へと発展しました。その応用範囲は、ゲームAI、通信ネットワーク制御、半導体設計、物流・エネルギー管理の最適化にまで広がっています。また、人間のフィードバックを利用した強化学習は、生成AIの応答品質を向上させ、人間の意図に沿った安全性・信頼性の高い応答の改善に貢献する技術となっています。
さらに、フィジカルAIや次世代ロボット制御の行動学習を支える中核技術として、今後のAI社会の発展において極めて重要な役割を果たすことが期待されています。強化学習の主要な概念と数学的基礎を確立したバルト博士とサットン博士の業績、ならびにQ学習を考案して強化学習の実用化を大きく前進させたワトキンス博士の業績は、情報処理および知能情報技術の発展に多大な影響を与えてきたものであり、C&C賞にふさわしい卓越した功績であると言えます。