富士通、理化学研究所、東京工業大学、東北大学が連携して、スーパーコンピューター「富岳」の政策対応枠における大規模言語モデル（LLM）の分散並列学習手法の研究開発を、5月24日から開始すると発表した。この研究開発の期間は2024年3月31日までとされている。
LLMは生成AIの主要な部分で、インターネットやスマートフォンのような大変化をもたらす可能性がある。こうしたモデルの高性能化には、大量のデータを効率よく処理できる強力な計算能力が必要だ。そこで4者は富岳を使って、大規模言語モデルを効率よく学習させる新しい方法を研究・開発することになった。
この共同研究では、東京工業大学が全体の統括とLLMの並列化・高速化を、東北大学が学習用データの収集とモデル選択を、富士通がLLMの高速化を、理化学研究所がLLMの分散並列化・通信高速化をそれぞれ担当する。
さらに産業への応用を視野に入れ、データ生成手法と学習手法の開発に関して名古屋大学との連携が検討されている。また、データや技術提供の面でサイバーエージェントとの連携も計画されているとのこと。
この共同プロジェクトにより、多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参加することで効率的な方法が創出され、次世代の革新的な研究やビジネスにつながる可能性がある。研究開発の成果物はGitHubやHugging Faceを通じて公開予定で、それを通じてアカデミアや企業が幅広く使えるLLM構築環境が整備される見通しだ。