はじめに

こんにちは！セキュリティ・プライバシーG所属のたなちゅーです。

本記事では、弊社で最近発生した生成AIチャットツールに関連するセキュリティ事案についてお話しします。技術的に特別新しいものではありませんが、発生した状況が少し珍しいケースだったため、紹介させていただきます。

事案の概要

弊社では、生成AIチャットツールを全社員が気軽に利用できる環境を整えています。ある日、そのツールを使用していた社員が生成AIへ質問した際に、回答として提示されたリンクへアクセスしたところ、「サポート詐欺サイト」が表示される事案が発生しました。

生成AIチャット イメージ図

サポート詐欺サイト イメージ図

セキュリティ製品でもブロックできず結果としてサポート詐欺サイトへ誘導されましたが、社員の冷静な判断により、大きな被害を防ぐことができました。

このことから、ブラウザによるインターネット検索と同様ですが、生成AIが提示するリンクが常に安全であるとは限らないことを実感する事案となりました。

事案の発生要因

生成AIがサポート詐欺サイトを提示した要因調査を目的に、インターネットアーカイブサービス「WAYBACK MACHINE」で生成AIが提示したWebサイトを検索したところ、このWebサイトが過去に正規と思われるコンテンツを提供していることが確認されました。

また、このWebサイトを参考情報として紹介しているサイトが数件、存在することも確認されました。

このことから、問題となったWebサイトの過去のコンテンツ情報や紹介しているWebサイトの情報をもとに生成AIが学習した結果、生成AIが誤った情報を提示するハルシネーションに類する現象が発生し、サポート詐欺サイトのリンクを提示した可能性が考えられます。

以下は調査結果をもとに問題となったWebサイトのコンテンツ変遷を整理した内容です。

• 2012年～2018年前半
  ドメイン名に合致したコンテンツ履歴あり。この時点では信頼性のあるサイトと判断されていたと推測される。

• 2018年後半～2019年前半
  ドメイン管理サービスの販売画面が表示され、運営者がドメインを手放した可能性がある。

• 2019年後半以降
  ドメイン名に関連性のないコンテンツ（病気、オンラインカジノ、偽警告画面、ドメインパーキングなど）の履歴あり。

セキュリティ製品で検知できなかった要因調査については、「付録：調査メモ」をご覧ください。

類似事案への対策

以下の観点から、このような事案に対して現時点では根本的な対策を講じることは非常に難しいと考えられます。

生成AIの学習の課題

この事案が発生した背景として、問題となったWebサイトの過去のコンテンツ情報や紹介しているWebサイトの情報をもとに生成AIが学習した可能性があります。一度学習されたWebサイトのコンテンツが変更されても、そのセキュリティリスクが生成AIの回答に反映されることは難しいと考えられます。

最大の対策は「知ること」

この事案から得られる教訓は、「生成AIが提示するリンクが常に安全であるとは限らない」ということを知ることです。事例を学び、実際に遭遇したときにどのように対処すべきかを理解することが大切です。

まとめ

今回の事案は、生成AIが提示するリンクが必ずしも安全ではないことを示す、少し珍しいケースでした。不正サイトの特性によっては、セキュリティ製品でも検知が難しい場合があります。また、生成AIが学習した後にサイトコンテンツが変更されると、そのリスクを反映できない可能性もあります。

現時点では、根本的な対策は難しいと考えられますが、こうした事例を知ることで、生成AIを利用する際のセキュリティ意識を高めるきっかけになればと思います。

付録：調査メモ

セキュリティ製品で検知できなかった要因調査のメモです。あくまでも簡単な調査となりますので、参考程度にご覧ください。

1. セキュリティベンダーの検知状況

弊社で利用しているセキュリティ製品や「VirusTotal」で問題となったWebサイトのドメインを検索したところ、ほぼ全てのベンダーが「安全」判定となっていました。

2. Webサイトのソースコード

問題となったWebサイトのソースコードを確認したところ、「domaincntrol[.]com（c の後ろに o 無し）」へリクエストを送信後、レスポンス情報をもとに、訪問者の誘導先を動的に決定する仕組みが実装されていると考えられます。

実際に安全な環境で数回アクセスを試みたところ、サポート詐欺サイトやドメインパーキングなど、異なるWebサイトへ遷移することが確認されました。これにより、セキュリティベンダーによる悪性判定を回避した可能性があります。

3. サポート詐欺サイトのホスティング環境

最終的に表示されるサポート詐欺サイトは「web.core.windows[.]net」ドメインにホストされており、Microsoft Azure環境が利用されていると推測されます。Microsoft Azureに限らず、クラウドサービスを利用した不正サイトは、環境構築の容易さや業務影響の観点からクラウドサービスのドメインをブロックすることが事実上不可能であることから、セキュリティ製品でブロックすることが難しいと考えられます。

※本記事公開時点で今回のサポート詐欺サイトが、Microsoft Azureから削除されていることを確認しています。

4. PublicWWWでの調査結果

Webサイトのソースコードを検索できるツール「PublicWWW」を用いて、問題となったWebサイトの特徴的な文字列「domaincntrol[.]com/?orighost=」を検索したところ、2万件以上のサイトでこの文字列を含むコードが使用されていることが確認されました。また、その中からいくつかのサイトを調査した結果、同様にサポート詐欺サイトへ誘導される挙動が確認されました。