ChatGPTなど多くの対話型AIに採用されている大型言語モデル（LLM）。大量のテキストデータを学習して自然言語を生成するLLMは対話型AIとセットで語られることが多い。しかし最近はAI各社からよりコンパクトな小型言語モデル（SLM）が登場し、注目を浴びている。
AI各社が小型言語モデルをリリース
OpenAI、Nvidia、Hugging FaceなどAIの主要プレーヤーたちが、続々とSLMモデルを発表している。各社がリリースしたSLMモデルにはどのようなものがあるのか。1つずつ見ていこう。
OpenAI：GPT-4oの小型モデル「GPT-4o Mini」
OpenAIは同社の最新モデル「GPT-4o」の小型版「GPT-4o mini」を発表した。
「市場で最も費用対効果の高い小型モデル」と謳うGPT-4o miniは、入力100万トークンあたり15セント、出力は100万トークンあたり60セントと高いコストパフォーマンスを実現している（GPT-4oは100万トークンあたり入力5ドル、出力15ドルである）。
企業の経済的負担を大幅に削減し、特に資金力のないスタートアップや中小企業の導入障壁を下げる狙いがある。
GPT-4o miniは「GPT-3.5 Turbo」の後継モデルであり、スピードはGPT-3.5 Turboと同等の約67トークン／秒の送信を目標としている。
将来的には音声や動画も含むマルチモーダル出入力を目指しているが、現在はテキストと画像入力にとどまっている。とはいえ、テキスト入力のみであったGPT-3.5 Turboと比較すると、進化していることに変わりない。
Hugging Face：モバイル上で動作するエッジAI
機械学習用のツールやプログラムを公開するHugging Faceは、小型言語モデル「SmolLM」を開発した。
モバイルデバイスで直接実行するように設計されたSmolLMには、1億3,500万パラメータ（SmolLM-135M）、3億6,000万パラメータ（SmolLM-360M）、17億パラメータ（SmolLM-1.7B）の3つのサイズがあり、いずれも推論や知識をテストするベンチマークで優れた結果を出している。
3つの中の最小モデルであるSmolLM-135Mは、より少ないトレーニングにもかかわらずMetaの「MobileLM-125M」を上回り、中サイズのSmolLM-360Mは5億パラメータ以下のすべてのモデルの中で、最も良い結果を残している。SmolLM-1.7Bは複数のベンチマークでMicrosoftのPhi-1.5、MetaのMobileLM-1.5Bなどを上回っている。
Hugging FaceのSmolLMのリードMLエンジニアであるルーブナ・ベン・アラル氏は、「壁に穴を開けるために鋼の球を必要しないのと同じで、すべてのタスクに大きな基礎モデルが必要ということはないのです」と述べている。
SmolLMはエッジコンピューティングの可能性を大幅に引き上げると同時に、プライバシーやレイテンシーの問題解決にも期待が集まる。AI機能をエッジデバイスにもたらすことで、最小のレイテンシーと最大のプライバシーで動作するアプリケーションの構築が可能となるからだ。これにより、モバイルコンピューティングの可能性を大幅に前進させることにつながるだろう。
Nvidia：デスクトップコンピュータ向けSLM
NvidiaはMistral AIと共同開発したSLM「Mistral-Nemo」をリリースした。Mistral-Nemoは12万8,000コンテキストウィンドウを備えた120億パラメータモデルであり、デスクトップコンピュータで使用できる。大規模なクラウドモデルと小型のモバイルAIの中間的な位置付けだ。
Mistral-Nemoの存在は、これまで大手IT企業や資金豊富な研究機関が独占していたハイクオリティAIへのアクセスを民主化し、さまざまな業界でAI搭載アプリが構築される可能性を提示している。
SLMとLLMの違い
あらためて、SLMとLLMの違いは何なのか。SLMはLLMに比べてパラメータが少なく、設計はシンプルでコンパクト。トレーニング時間もLLMよりもはるかに短い。それでいながら性能はLLMに近づいてきており、分野によっては大型モデルを上回ることもある。
AIの専門家で『Rebooting AI』の著書を持つゲイリー・マーカス氏は、ここ1年のLLMについてこう述べている。「GPT-4はGPT-3.5から飛躍的な進化を遂げた。しかしこの1年、（多くのLLMモデルに）そういった進歩は見られない」。
数十億から数兆ものパラメータが必要といわれるLLMの学習には、膨大なリソースとエネルギーが必要だ。コスト的にも高くつき、OpenAIのサム・アルトマン氏によると「GPT-4のトレーニングには少なくとも1億米ドル以上かかっている」という。
また、モデルの構築からデプロイまでには長い時間がかかる。ケンブリッジ大学の論文によると、1つの機械学習モデルをデプロイするには90日以上が必要であるという。
効率性・アクセシビリティ・専門性
最近はユーザー側の意識も変わってきている。2023年の「ChatGPT狂騒」ともいえる状況は落ち着き、個人も企業も複数のサービスを見比べながら、「自分にぴったりのAI」を探し始めている。
つまり人々は、より効率性が高く、小型デバイスでも使える高いアクセシビリティを持ち、かつ特定の業界やタスクに特化した専門的なAIを求めるようになってきている。網羅的・汎用的なモデルから、よりコンパクトで個別の分野にスペシャライズしたモデルへの需要が高まっているのだ。
そういった意味で、軽さやコスパ、幅広いデバイスへのアクセシビリティを実現するSLMは理想的である。さらに特定の分野に特化したモデルであれば、少ないパラメータでも十分機能を果たすだろう。
Hugging Faceのベン・アラル氏は「携帯電話やパソコンで実行できるため、誰もがAIにアクセスできるようになる」と、述べている。
さらに同社の研究チームリーダーであるレアンドロ・ヴォン・ウェラ氏は、SLMは「開発者、エンドユーザー双方に可能性を開く」と言う。パーソナライズされたオートコンプリート機能や複雑なリクエストの解析など、高性能なGPUやクラウドを必要とせずにカスタムAIアプリケーションを可能にするため、よりアクセスしやすく、プライバシーについての懸念も払拭されるということだ。
なおGPT-4o miniは、2024年9月にリリース予定のiOS18のモバイルデバイスとデスクトップ用Macに搭載されるApple Intelligenceで利用ができるという。今後は私たちも日常的にSLMに触れ、その性能を体感していくことになるだろう。
文：矢羽野晶子
編集：岡徳之（Livit）