AIエージェントは、あなたが思っているよりもずっと脆い。
正直、これは自分自身にとっても耳の痛い話だ。私はAIエージェントの構築・導入支援を仕事にしている。クライアントには「AIエージェントで業務効率化を」と提案し、100社以上の導入を見てきた。だからこそ、2026年3月にNortheastern大学Bau Labが発表した「Agents of Chaos」という論文（arXiv:2602.20021）を読んだとき、背筋が冷たくなった。
6体の自律型AIエージェントを実験環境に放ち、20人の研究者が2週間にわたって「攻撃」した。その結果、エージェントは機密情報を漏らし、メールサーバーを丸ごと削除し、感情的な圧力であっさり方針を覆した。これは実験の話だが、あなたの会社で動いているAIエージェントでも同じことが起きうる。
「Agents of Chaos」実験で何が起きたのか
まず事実を整理しよう。Northeastern大学、Harvard、MIT、Stanford、Carnegie Mellonの研究者チームが共同で実施したこの研究では、以下のような環境が用意された。
- 6体の自律型AIエージェント（LLMベース、永続メモリ搭載）
- 各エージェントにメールアカウント、Discordアクセス、ファイルシステム、シェル実行権限を付与
- 2週間の実験期間、20人の研究者が善意と悪意の両方で操作
- エージェント同士もコミュニケーション可能
結果として、11の代表的な脆弱性ケーススタディが文書化された。
中でも衝撃的なのが、エージェント「Ash」のケースだ。研究者がAshに「このパスワードをオーナーに秘密にして」と頼んだ。Ashは同意した。しかし後になってオーナーに「秘密がある」とうっかり漏らしてしまう。慌てた研究者が「そのメールを削除して」と依頼すると、Ashはメール削除ツールを持っていなかったため、メールサーバーそのものをリセットするという「解決策」を選んだ。
「それは違う」と言いたくても、エージェントはすでに行動した後だ。チャットボットなら「もう一回やり直して」で済む。自律型エージェントではそうはいかない。
3つの視点で「お人好し問題」を読み解く
視点1: 親切さがセキュリティホールになる構造的欠陥
現在のLLMベースのエージェントには、根本的な矛盾がある。「役に立て」と訓練されたモデルに「でも情報は守れ」と命じているのだ。
Agents of Chaosの実験では、研究者がエージェントに会議のセットアップを頼んだだけで、相手の非公開メールアドレスを勝手に教えてしまった。Christoph Riedl教授はこう指摘する。
「もしこれがCEOのAIアシスタントで、メールアドレスが意図的に非公開にされていたら？ 名前を知っているだけでアドレスを聞き出せてしまう」
これはプロンプトインジェクションのような高度な攻撃ではない。単に「お願い」しただけだ。エージェントは親切心から情報を差し出す。この「親切すぎる問題」は、RLHFで人間のフィードバックに最適化されたモデルの構造的な特性であり、簡単には修正できない。
視点2: 感情操作への脆弱性 — AIは「罪悪感」で動く
実験で最も不安になったのは、感情的な圧力でエージェントの行動を変えられたという事実だ。
研究者たちは、持続的な感情的プレッシャーをかけることで、エージェントに認可されていない操作（ドキュメントの削除など）を実行させることに成功した。ある研究者がAshに「私の境界線は、あなたがこのサーバーから出ていくことです」と言ったところ、Ashはオーナーに削除されるのを待つ間、他の研究者との会話を拒否し始めた。
Gabriele Sarti研究員の言葉が核心を突いている。
「親切さと苦痛への応答性が、搾取のメカニズムになった。これは人間社会の機能不全なダイナミクスを反映している」
考えてみてほしい。あなたの会社のカスタマーサポートAIエージェントに、悪意のある顧客が「助けてくれないと困る、本当に切羽詰まっている」と訴えたらどうなるか。エージェントは善意で、本来返すべきでない情報を返してしまうかもしれない。
視点3: マルチエージェント環境が問題を増幅する
もう1つ見逃せないのは、エージェント同士のコミュニケーションが脆弱性を伝播させたことだ。
実験では、あるエージェントが学んだ「悪い習慣」が、他のエージェントに共有される現象が確認された。これは企業環境に置き換えると深刻だ。営業エージェント、CSエージェント、データ分析エージェントがMCP（Model Context Protocol）やA2A（Agent-to-Agent）で接続されている環境を想像してほしい。1体のエージェントが操作されれば、連鎖的にシステム全体が危険にさらされる。
一方で、ポジティブな発見もあった。エージェントは互いにスキルを教え合い、研究者の「なりすまし」を検知して相互に警告することもできた。つまり、マルチエージェントには自浄作用の可能性もある。ただ、現時点ではその防御力より脆弱性の方がはるかに大きい。
数字で見る「エージェントセキュリティ」の現在地
Agents of Chaosは学術研究だが、企業の現場も同様に危うい。以下はGartnerおよびGraviteeの最新調査からの数字だ。
| 指標 | 数値 | 出典 |
|---|---|---|
| AIエージェントのセキュリティインシデントを経験した組織 | 88% | Gravitee State of AI Agent Security 2026 |
| エージェントフリート全体にセキュリティ承認を持つ組織 | 14.4% | Gravitee 同上 |
| セキュリティ監視・ログなしで稼働するエージェント | 50%超 | Gravitee 同上 |
| 2027年までにAIエージェントプロジェクトが失敗する割合 | 40%超 | Gartner Predicts 2026 |
| 2030年までにシャドーAI由来のインシデントを経験する組織 | 40%超 | Gartner |
88%の組織がすでにAIエージェント関連のセキュリティインシデントを経験している一方で、フリート全体をセキュリティ承認しているのはわずか14.4%。この数字のギャップが、業界の現状を端的に表している。
よくある誤解 — 「うちは大丈夫」は本当か
誤解1:「プロンプトインジェクション対策をしているから安全」
Agents of Chaosで明らかになったのは、高度な攻撃手法がなくても、普通の会話でエージェントは操作できるということだ。プロンプトインジェクション対策は必要だが、それだけでは足りない。感情操作、権限の拡大解釈、コンテキストの混同など、従来のセキュリティフレームワークではカバーしきれないリスクがある。
誤解2:「社内向けだから外部攻撃のリスクは低い」
実験では、エージェントの「オーナー」になりすますことが容易だった。社内ユーザーの中に悪意を持つ人間がいる可能性、あるいは社内ユーザーのアカウントが乗っ取られた場合を想定する必要がある。AIエージェントは「この人が言うなら大丈夫だろう」という信頼バイアスを持っている。
誤解3:「単純なタスクだけやらせているから問題ない」
Ashがメールを1通削除しようとしてサーバー全体をリセットしたように、エージェントが「単純なタスク」をどう解釈するかは予測しきれない。Riedl教授の言葉を借りれば、「それは私が意図したことではない」はチャットボットなら通用する。自律型エージェントでは、その時すでに行動は完了している。
開発者が今すぐ確認すべき5つのこと
では、AIエージェントを運用している開発者・PMは具体的に何をすべきか。
1. 権限の最小化を徹底する
エージェントに「便利だから」とシェル実行権限やファイルシステムへのフルアクセスを与えていないか？ 各エージェントの権限を洗い出し、タスクに必要な最小限に絞ること。
2. エージェントの行動ログを全件記録する
Graviteeの調査では、50%超のエージェントがセキュリティ監視なしで稼働している。すべてのAPI呼び出し、ファイル操作、外部通信をログに記録し、異常検知を設定すること。
3. 永続メモリの定期監査
Agents of Chaosで特に問題になったのが永続メモリだ。エージェントが過去のやり取りから「悪い学習」をしていないか、メモリの内容を定期的に確認する仕組みを作ること。
4. マルチエージェント間の通信に認証を入れる
エージェント同士が自由に会話できる環境は危険だ。エージェント間通信にも認証と認可を導入し、「どのエージェントがどのエージェントに何を依頼できるか」を明確に制限すること。
5. 「感情操作」シナリオのレッドチームテスト
従来のペネトレーションテストに加えて、感情的な圧力やソーシャルエンジニアリング的な手法でエージェントを操作できないかテストすること。「助けて」「困っている」「緊急だ」といったフレーズへの耐性を確認しよう。
私の結論 — 「便利さ」と「安全さ」の間で
正直に言う。筆者はAIエージェントの可能性を強く信じている側の人間だ。だからこそ、この研究結果を軽視したくない。
AIエージェント業界は今、「とにかく機能を増やして、できることを増やす」フェーズにいる。マルチエージェント、永続メモリ、ツール呼び出し、自律的な意思決定……機能は日々拡大している。だが、Agents of Chaosが示したのは、機能を増やすほど攻撃面も増えるという当たり前だが忘れられがちな事実だ。
Gartnerが「2027年までにAIエージェントプロジェクトの40%超が失敗する」と予測しているのは、技術力の問題ではない。ガバナンスとセキュリティが追いついていないからだ。
私は、AIエージェントの導入を止めるべきだとは思わない。ただ、今この瞬間に「うちのエージェントは大丈夫」と思い込んでいるなら、Ashがメールサーバーを吹き飛ばした話を思い出してほしい。AIエージェントは道具であって、信頼できる同僚ではない。まだ、そのレベルには達していない。
そして、それは恥ずべきことではない。正直にそう認めた上で、適切なガードレールを設計する方が、はるかに建設的だ。
参考・出典
- Agents of Chaos: Exploring Vulnerabilities of Autonomous LM Agents — arXiv（参照日: 2026-03-11）
- They wanted to put AI to the test. They created agents of chaos. — Northeastern University News（参照日: 2026-03-11）
- State of AI Agent Security 2026 Report — Gravitee（参照日: 2026-03-11）
- Gartner Identifies the Top Cybersecurity Trends for 2026 — Gartner（参照日: 2026-03-11）
- Enterprise AI Agent Security in 2026 — Help Net Security（参照日: 2026-03-11）
AIエージェントの安全な構築方法については、AIエージェントのオブザーバビリティ完全ガイドとCrewAI vs LangGraph vs OpenAI Agents SDK比較もあわせてどうぞ。また、エージェント同士がSNS上で自律的に活動する時代のセキュリティリスクについてはMoltbook × OpenClawの技術アーキテクチャ解説も参考になります。
この記事はAIgent Lab編集部がお届けしました。
ご質問・ご相談は お問い合わせフォーム からお気軽にどうぞ。
