今見ている画像は本物か？　利便性高い生成AIでの画像生成に潜む“ニセ画像”の脅威

生成AI市場が急速に成長しているからこそ、ディープフェイクの進化も著しい。ディープフェイクとは、生成AIが作ったほぼリアルな動画などのこと。元々は映画制作の現場で用いられるために開発されたが、現在は詐欺などの犯罪に応用されてしまっている。

人間の創造か、AIか？もはや簡単には見分けがつかなくなってきた中で、それを識別するプラットフォームをミラノ拠点のスタートアップ企業「IdentifAI」が開発した。

今、世界では判別技術の開発が急ピッチで進められている。悪用されることで、選挙や私生活に影響が出始めているからだ。

利便性を高める生成AIの技術、市場は今後も急拡大の予想

生成AIで画像を作ったことがあるだろうか？作りたい画像のイメージなどをテキストで伝えるだけで、AIが自動的に画像を作ってくれる画期的なサービスだ。

例えばChatGPTで「“コーヒー、山”で画像を作って」などと入力すると、約10秒で画像を作ってくれた。イメージと異なる場合には、どう修正したいのかを書き込むだけで、画像を作り直してくれる。

サービスによって生成される画像の種類は異なり、写真のような画像、アニメテイストの画像の生成を行うサービスもある。また、画像だけでなく、動画を生成可能なプラットフォームもあり、企業や個人がコンテンツ制作などで活用している。医療業界でも利用が進むなど、幅広い分野でさまざまな使い道がされているようだ。

生成AI市場は急速に成長している。生成AIを活用したサービスを展開する日本のスタートアップ企業も出資を受ける機会が増えており、ますます拡大すると考えられる。

電子情報技術産業協会（JEITA）によれば、2030年に世界での需要額は2,110億米ドル（日本円にして約29兆円）にまで伸びると予測されており、これは2023年の約20倍の数字である。日本市場では現在の15倍である1兆7,774億円に拡大すると見られている。昨今、製造現場での業務支援や製品開発支援などで活用が進んでいるという。

また人間の顔の表情をスムーズに動かし、喋らせることができるようにもなったため、企業はカスタマーサポートの新人研修の現場などで導入されている。簡単な問い合わせであればAIが対応できるようになったことで、生産性も上がり、人手不足が解消された事例もあるとか。今後は、金融や公共、通信・放送の分野などでも利用が広がる見通しだという。

続伸する生成AI市場の影に潜む闇

しかし、人の顔や声を生成できるというのは、裏を返せば、実在する人の顔とその人の声に近い音声を使えば、その人が実際には発言していない、または行っていないことを再現させることが可能ということ。今この記事を読んでいるみなさんの中にも、すでにSNSなどでこの技術を悪用した画像や動画を見たことがある、という人も多いのではないだろうか。

深刻となっている技術の悪用による問題の一つが、“デジタル性犯罪だ。韓国では10代の一般女性などを中心に、SNSに掲載した写真などを使って、何者かが勝手に生成AIで性的動画、画像を作成。「テレグラム」という通信アプリを通じて拡散されているという。被害者の中には小学生も含まれ、被害の申告数は200件近くに上ったという。

韓国政府は対策を行い、警察も取り締まりを強化しているが、すでにアカウントを削除するなどし、追跡が難しいケースもあるという。デジタル性犯罪は韓国だけでなく、日本を含めた世界各国で被害者が確認されている。ターゲットも有名人、一般人、性別関係ない。まさに明日は我が身である。

加えて、政治への影響も危惧されている。例えば、今年7月にXに投稿された写真。アメリカ大統領選挙を控えるトランプ氏が、黒人の若者たちに囲まれている様子が写っているものだ。投稿にはトランプ氏への好意的なコメントが寄せられていて話題となった。しかし、のちに写真は生成AIで作られたと見られる偽画像であることが判明。トランプ氏支持者が、黒人の支持を集めるために作成し、投稿した疑いがあるという。

このほかにも、6月にはトランプ氏が岸田前首相を批判したというニセ動画が出回った。この動画ではトランプ氏の唇の動きなどが不自然で、かつ特定のAIサービスが使用されたことを示すマークが入っていたため、ニセモノだと判断できた人も多い。ただ、動画を信じた人もいるのは確実だ。動画はXで100万回以上再生されたことを考えると、いかにフェイク動画であるというマークがついていても、世論への影響を与え、誤解を招くコンテンツであると言わざるを得ない。

一人ひとりが自分の目で画像を判断することも重要

ディープフェイクの脅威が高まる中で、その影響は個人だけでなく、政治、ビジネス、社会全体にまで広がっている。

ChatGPTを開発したアメリカの「OpenAI」も対策に乗り出した。生成AIによるニセ画像が11月のアメリカ大統領選に影響を与えてはならないと、画像を判別するツールの提供を開始したのだ。

ツールは、記事の冒頭で紹介した画像を生成したOpenAIが提供する画像生成AI「DALL-E 3」による画像であれば、その98.8％を正確に識別できるという。しかし、その他の画像生成AIサービス「Midjourney」や「Stability」などで生成された画像を検出するようには設計されておらず、それらを識別する精度は約5～10%だという。

また、スタートアップも識別技術の開発に乗り出している。ミラノ拠点のスタートアップ企業「IdentifAI」が開発したのは、画像や動画が生成AIによって生成されたものか、人間によって生成されたものかを判断するプラットフォーム。

これは「De-generative AI」、“生成AI仕分け”と訳されるであろう技術をベースに開発され、本物か偽物かを高い確率で判別することができるという。

IdentifAIは、プラットフォームを通じて、あらゆる個人、市民、消費者、政治やビジネスの意思決定者が、目の前にあるコンテンツがAIによって作成されたのか、人間が創ったものかを明確に区別できるようにするのが目的だ。

画像などが誰かの政治的意見を左右したり、購買を決定し得るならば、その画像がどのように作られたのか知るのは当然の権利だと、IdentifAIの創設者は考えているという。

このIdentifAIの技術に大きな期待が寄せられている。テクノロジー系スタートアップへの投資を中心に行うベンチャーキャピタル企業「United Ventures」が主導し、複数企業が9月に220万ユーロ（日本円にして約3億4千万円）の投資を行った。IdentifAIはこの投資を活用して、悪意あるディープフェイクなどに対抗していく姿勢だ。

生成AIは効率性の向上などをもたらす一方で、フェイクコンテンツが現実に与える影響も無視できなくなっている。今後、世界中の政府や企業が、技術の進展に伴うリスクをどのように制御し、適切な規制を設けるかが課題となるだろう。また私たち消費者一人ひとりも、IdentifAIの技術を活用するなどし、ネット上の情報を批判的に捉え、事実と虚偽を見極めようとすることが必要だ。

最終的には、AI技術がどのように利用され、社会にどのような影響を与えるかは、私たち自身の選択と行動にかかっているのかもしれない。テクノロジーが進化しても、その背後にある人間の判断力と倫理観が、今後も重要な役割を果たすことを忘れてはならない。

文：星谷なな
編集：岡徳之（Livit）