生成AI、悪用防止に限界 GAO、新技術への対策強化を提言

政府説明責任局(Government Accountability Office: GAO)は12月15日、生成人工知能(AI)システムの悪用が急速に拡大し、現状では完全な防御が不可能とする報告書を発表した。攻撃者は、安全制御がないとAIに認識させて行う(Do Anything Now: DAN)攻撃などの「ロールプレイ(Roleplaying)」や、無害な段階から徐々に有害コンテンツを作成する「クレッシェンド(Crescendo)」といった巧妙な手法を用いて生成AIに有害コンテンツ生成や機密情報の漏洩を実行し、新システムのリリース翌日には安全対策を突破しているケースもあるという。米国標準技術局(National Institute of Standards and Technology: NIST)なども、生成AIが自律的に計画を立案・調整する「エージェント型AI」と融合してフィッシングメールの自動作成・送信など複雑で悪意ある指示の実行が可能になると警告した。GAOは、継続的な監視と対策が不可欠としAI評価基準の開発や監査ツールの整備、政府システムAI統合における悪用リスク軽減策の策定などを提言している。

GAO “Science & Tech Spotlight: Malicious Use Of Generative AI” (12/15/25)
https://www.gao.gov/products/gao-26-108695