コード生成AIツールの非公式採用によるリスク

生成AIはテキスト生成だけでなく、画像や楽曲などさまざまなコンテンツを生成することができ、現在も進化を続け、アウトプット品質は短期間で大きく向上している。これに伴い、生成AIツールの利用者も増加の一途だ。

たとえば、生成AIトレンドの火付け役となったChatGPTは2022年11月末に登場し、その後2カ月ほどで月間アクティブユーザー数1億人に達した。その後もユーザー数は増え続けており、2023年11月には「週間」のアクティブユーザー数が1億人に達した。

生成AIはコードを生成する能力も有している。現在、多くの企業の開発・運用チームでは、コード生成に特化した生成AIツールを導入する動きが活発化、中には複数のコード生成ツールを同時に利用するケースも増えている。

コード生成ツールを利用するメリットは、なによりも生産性の向上にある。ユーザーが入力したコードから、次の行を予測したり、バグ検出・修正やコードレビュー生成など、開発者の業務を大幅に改善することが可能となるのだ。

世界中の開発者が利用するプラットフォームGitHubでは、コード生成を担うAIアシスタントツール「GitHub Copilot」を提供。現在までにこのツールをアクティベートした利用者は100万人以上、同ツールを採用している企業・組織は2万を超えるという。また同ツールが生成したコード行のうち、開発者が受け入れた行数は30億行に上る。GitHubは、このツールにより開発者の生産性が30％向上すると推計、これにより2030年には1兆5,000億ドルに相当する経済価値が創出されると予想している。

このように経済社会に大きな価値をもたらすと予想されるコード生成AIだが、サイバーセキュリティリスクが伴うことにも留意が必要だ。

ITアドバイザリー企業Forresterによると、現在多くの企業の開発・運営チームにおいて、コード生成AIツールの利用が増加、それに伴いチーム間で複数の生成AIツールを非公式に使用することが一般的になっている。GitHubに加え、GitLab、アマゾン、Anthropic、メタ、Tabnineなど市場では少なとも40以上のコード生成AIツールが存在する。

VentureBeatは、企業の開発・運営チームの責任者の話として、タイトなタイムラインや複雑化するコーディングタスクなど高まる圧力の中、開発・運営チームは非公式にさまざまななツールを採用しており、いわゆる「シャドウIT」が増えていると報じている。

シャドウITとは、社員や部門が企業の公式な方針やプロセスに従わず、自発的に導入するITシステムやアプリケーションを指す。シャドウIT自体は、社員の業務効率を高めるために黙認される場合も多く、実際に短期的な生産性向上に寄与することも少なくないとされる。しかし、長期的には、セキュリティやコンプライアンスの問題を引き起こすリスクがある。

Forresterは、このようなシャドウITが増える中、コード生成AIツールが生成した欠陥コードを見逃してしまうケースが増えると予想、それに伴い2024年にはセキュリティリスクが高まる可能性があると指摘。企業の最高情報セキュリティ責任者（CISO）は、生産性向上によるイノベーションだけでなく、コンプライアンスとガバナンスの3点でコード生成AIツールを評価する必要があると強調している。

生成AIによる脅威、ダークウェブで発見されたFraudGPT

生成AI関連のセキュリティリスクを考える際、悪意ある生成AIツールが存在することも認識しておく必要がある。

その1つが「FraudGPT」と呼ばれるサブスクリプションベースの生成AIツールだ。

これは2023年7月に、Netenrichの研究チームがダークウェブのテレグラムチャンネルで発見したサイバー攻撃に特化した生成AIツール。スキルを持たない人物でも悪意あるコードを作成したり、検出不可能なマルウェアやフィッシングメールの作成を自動化できる。サブスクリプション料金は、月額200ドル、年額1,700ドル。

OpenAIやAnthropicなど主要AI企業が開発するクローズドソースのAIモデルは通常、悪意あるプロンプトに対して回答を生成しないように設計されている。クローズドソースであるため、AIモデルの挙動を改変するのも不可能。FraudGPTの開発者はおそらくオープンソースのAIモデルを使い、何らかの方法で制約を解除し、同ツールを作成したとみられている。

サイバー攻撃で生成AIを用いることは、ChatGPTが登場する前から国家後援のサイバーテロ部隊によって実施されてきたもので目新しいものではないが、誰もがアクセスできる悪意ある生成AIツールが登場したことで、サイバー攻撃の量が大幅に増える可能性が高まっている。

生成AIでなりすましも巧妙化、増加が予想される「Vishing」

今後はフィッシングだけでなく「Vishing」と呼ばれるサイバー攻撃にも注意する必要がある。

フィッシングとは、主に金融機関などになりすましたEメールによって、攻撃対象者を偽ウェブサイトに誘導し、ログイン情報などの個人情報を抜き取るもの。生成AIの悪用により、このフィッシング手口がさらに巧妙化し、Vishingとして増える可能性が指摘されているのだ。

Vishingとは、voice（音声）とphishing（フィッシング）をかけあわせた造語。文字通り、なりすましの音声を使い、個人情報の抜き取りを狙う手口だ。企業の経営層や部門責任者などになりすまし、電話で従業員からログイン情報を聞き出し、企業内部のシステムに侵入。リンクトインなどで対象となる人物のプロファイリングを行い、その人物になりすまし、権威感や緊急性などを含むソーシャルエンジニアリング手法を用い、従業員から情報を抜き取るのだ。

AIによって対象人物のプロファイリングや分析を高い精度で実行できるだけでなく、クローンAIツールを悪用することで、その人物と同じ声や口調のクローンを作り出すことも可能となっており、Vishingリスクは日々高まっている。

米国のカジノチェーンMGMが2023年9月にサイバー攻撃を受け、復旧まで10日間要した事件があったが、その発端となったのがこのVishingだったと報じられている。

文：細谷元（Livit）