意外と少ない？ 生成AIの年間消費電力
ChatGPTなどのコンシューマ向け生成AIアプリケーションは着実に利用者を増やしている。OpenAIが2023年11月に明らかにしたところでは、現在ChatGPTの「週間」アクティブユーザー数は1億人に達したという。ChatGPTがリリースされた直後では、「月間」アクティブユーザー数が1億人だったといわれており、約1年で4倍ほどの規模に拡大したことになる。
今後予想されているのが企業における生成AIアプリケーション利用の拡大だ。セキュリティ／コンプライアンスが求められる企業においては、コンシューマに比べ導入速度は遅いものの、今後2〜3年かけて爆発的に増加するだろうとの予想が趨勢となっている。
そんな中、生成AIに関する懸念点の1つとして指摘されているのが、生成AIの消費電力問題だ。生成AIはテキスト生成や画像生成において、膨大なデータを処理しつつ、アウトプットを生成する。それが過剰な電力消費につながってしまうのではないかとの懸念が噴出している。
現在のところ包括的かつ公式な調査は実施されておらず、実際どれほどの電力が消費されるのかは分からないが、2023年11月にシリコンバレーで開催された「Digital Workers Forum」で、専門家から興味深い発言があり注目されている。
その発言とは、メタの生成AIエンジニアリング部門責任者セルゲイ・エドゥノフ氏によるもの。
エドゥノフ氏は同フォーラムにおいて、昨今の高まる生成AI需要を鑑み2024年の消費電力を計算したところ、全人類が生成AIアプリケーションを利用するために必要な電力は、原発2基でまかなえると述べたのだ。
エドゥノフ氏は、これは綿密な計算ではなく概算であることを認めた上で、生成AIの「推論」にどれほどの電力が必要なのかを推計する上で良いたたき台になるだろうと述べている。
生成AIの消費電力を考える際、大きく2つのパートを考慮する必要がある。1つは「トレーニング」、もう1つは「推論」だ。
生成AIのトレーニングとは、収集した膨大なデータをモデルに入力し、モデルがそのデータからパターンや関連性を学習するプロセスのことを言う。推論とは、トレーニングされたAIモデルが学習したパターンに基づいて、ユーザーが入力したプロンプトに対し関連性の高いデータを推論・生成するプロセスのこと。
ChatGPTを例にとると、ユーザーが同アプリケーションを利用する際に実行されているのは「推論」プロセス。一方ChatGPTの稼働に必要なGPT−3.5やGPT-4モデル自体を開発するのに必要となるのが「トレーニング」プロセスとなる。
エドゥノフ氏は、「推論」プロセスにおける消費電力を原発2基でまかなえると推計しているが、この結論に至るロジックは以下のようなものだ。
まず前提条件として同氏が示したのは、推論プロセスにおいてNVIDIAの最新GPU「H100」を利用すること。H100は1つあたり700ワットの電力を消費する。これにデータセンターや冷却用の電力を加え、H100GPU1つあたりの消費電力を1KWとし、全人類が毎日10万トークンを生成AIアプリケーションで利用すると仮定した。
トークンとは、生成AIモデルが処理するデータの単位。OpenAIが利用しているトークン化アルゴリズムでは、100トークンあたり英語75ワードほどに換算される。日本語では100トークン、100文字ほど。つまり1人あたり、チャットAIへの入力（プロンプト）と出力（生成）を合わせて、英語で7万5000ワード、日本語で10万文字に相当するやり取りが毎日発生するという想定だ。
次世代生成AIのトレーニングで浮上する新たな問題
エドゥノフ氏は、生成AIモデルの「トレーニング」においては、消費電力とは別に、新たな問題が浮上していると指摘する。
それは次世代の生成AIモデルをトレーニングするために必要なデータが足りないという問題だ。
現在、市場で最も優れた生成AIモデルといわれているのがOpenAIのGPT−4だが、AIコミュニティの間では、同モデルのトレーニングにはインターネット上で公開されているすべてのデータが用いられたとう説が有力視されている。
仮にインターネットで公開されているデータをトークン化した場合、トークン数は約100兆トークンとなり、これをさらにクリーンアップして重複を除去した場合、10兆から20兆トークンほどに収まると推計される。
もしGPT-4が20兆トークンでトレーニングされたとすると、今後登場する次世代のハイパフォーマンスモデルのトレーニングには、その10倍となる200兆トークンが必要になる見込みだ。
しかしトレーニングに利用できる高品質データがもはやインターネット上の公開データには存在しておらず、十分なトークンを確保できないことが次世代モデル開発の制約になっているという。
OpenAIのGPTモデルがトレーニング時に消費した電力
OpenAIの開発者フォーラムでは、GPT−3が約3,000億トークンのデータによってトレーニングされたのではないかとの憶測が流れており、非公式の定説となっている。
MIT Lincoln Laboratoryが2023年11月22日に発表したレポートによると、GPT−3のトレーニングでは約1,300メガワット時の電力が消費されたとされる。これは、米国の平均的な家庭1,450世帯が1カ月間に消費する電力に相当するという。
エドゥノフ氏のように原発換算すると、一般的な商用原子炉の出力を1ギガワット時とした場合、1,300メガワットは1.3ギガワットとなるため、GPT−3のトレーニングでは1ギガワットの出力を持つ原発が1.3時間稼働した量になると推計できる。
さらに、GPT-4のトレーニングデータ量を20兆トークンと仮定すると、GPT−3のトレーニングトークン数3,000億の66倍となり、これを単純に電力換算すると約86ギガワット時となる。これは、1ギガワットの出力を持つ原発が86時間稼働するのと同等となり、また米国の平均的な家庭9万5,700世帯1カ月分の電力消費量となる。
Towards Data Science（TDS）でもGPT−4のトレーニング電力消費に関連して、これと似た推計がなされている。TDSの推計値は52〜62ギガワット時だ。
もしGPT-4の次世代モデルが10倍の規模になるとすると、トレーニング時の電力消費もそれに応じて増加することになる。このことはAI開発者の問題意識となっており、最近ではより少ないデータでハイパフォーマンスのモデルを開発しようという流れができつつある。
たとえば、マイクロソフトが2023年11月末に発表した生成AIモデル「Orca 2」はその流れを踏襲するもの。2024年は、クローズドソース、オープンソースともに、AIモデルの肥大化ではなく効率化が重視される年になりそうだ。
文：細谷元（Livit）