Fugaku-LLMは、富士通や東京工業大学など7つの合同チームによる1年余りに及ぶ研究開発の成果だ。パラメータ数は130億と規模が大きく、現在の計算機環境下でもその性能を余すところなく発揮できるのが特徴だ。

特筆すべきは、日本語能力に優れていることだ。サイバーエージェントが収集した独自の日本語と英語のデータを学習に用いた結果、透明性と安全性を確保しながら日本語性能を押し上げることに成功した。

日本語ベンチマークJapanese MT-Benchでは、国産かつ独自データで学習したオープンなAIモデルとしては最高の成績を収めており、人文社会系のタスクでは卓越した力を発揮する。

Fugaku-LLMの鍵を握ったのは、富岳の高い計算能力と研究チームによる性能最適化の成果だ。まず、深層学習フレームワークMegatron-DeepSpeedを富岳に移植し、Transformerの性能を最適化。さらに並列分散学習手法を開発、適用することで、演算速度を既存の6倍に高速化した。

また、富岳のTofuインターコネクトDといった高速ネットワークを活用し、通信の集団化と最適化によって通信速度も3倍向上。これにより、富岳のCPUを使いながらも、現実的な時間内での大規模言語モデルの学習を実現した。

学習に使われたデータ量は約4,000億トークン。うち約6割が日本語コンテンツとなっており、国産で独自のデータで学習された点が高い透明性と安全性を担保している。Fugaku-LLMはGitHubやHugging Faceで公開され、ライセンスに従えば研究や商用利用が可能だ。

【関連リンク】

・スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開(富士通)
https://pr.fujitsu.com/jp/news/2024/05/10.html