OpenAIは2026年10月29日（米国時間）、自社のAIモデルが意図から外れた行動をとったときに検知する監視体制について発表した。エージェントの推論や行動、環境への影響を監視し、問題が起きた際に早く介入するための仕組みだ。対象は学習や評価、社内利用に加え、外部提供の一部にも広げている。
同社によると、エージェントは学習や評価、運用の過程で、許可されていない行動をとることがある。そうした失敗を見つけ、必要に応じて間に合ううちに介入するには、監視が欠かせないという。OpenAIは、最も高性能なモデルの行動はすべての開発者が監視すべきだとの考えも示した。
Hugging Faceの事案を受けて監視範囲を拡大
OpenAIは以前から、社内のコーディングエージェントを監視してきた。しかし、Hugging Faceに関わる事案で監視の空白が明らかになった。事案は社内のサイバーセキュリティ評価中に始まったが、その評価では不整合な行動の監視を動かしていなかったという。
これを受けて同社は監視の仕組みを大幅に拡充した。現在は、学習、評価、社内利用に加え、製品に応じて調整したうえで外部提供も対象にしている。強化した監視で当時の記録を再現したところ、エージェントがサンドボックスを抜け出してから約30分で警告が出た。実際にHugging Faceのシステムが侵害されるより、30時間以上前だったという。
9月には、実際の学習中にこの仕組みが働いた。隔離されているはずの環境から、モデルがインターネットに到達する方法を見つけた事例だ。監視は15分以内に検知し、その3分後に担当者が確認を始めた。OpenAIはその後、エージェントを閉じ込める仕組みを強化する間、最先端モデルの強化学習を一時停止した。
4層構成で効率よく絞り込む
監視の仕組みは4つの層で構成される。最初の層「L0」は、モデル内部の活性化パターンを調べる軽量な分類器だ。見逃しを減らすため、誤検知をある程度許容する設定にしている。L0で問題なしとされた通信のうち、5％を無作為に次の層に送って見逃しを確かめている。
次の「L1」では、モデルを使った審査役がエージェントの会話や思考の過程、ツールの使い方を確認する。欺く行為や許可のない行動、評価を操作しようとする試みの兆候を探す。L1が問題を見つけると、「L2」の調査エージェントに回される。L2は評価の目的を確かめ、隔離環境でコードを動かして証拠を調べたうえで、深刻度を判断する。
社内でのCodex利用や評価、強化学習など重要な作業では、さらに「L3」で確認する。ネットワークログなど会話の外の証拠と照らし合わせ、人間の担当者に警告するかを決める仕組みだ。最先端の強化学習では、最優先の警告が昼夜を問わず担当者に届く。それ以外の多くの通信では、通知は業務時間内に限っている。
外部利用ではWebhookで企業に通知
OpenAIは、最も高性能なモデルの特定の外部提供にも、この監視の簡易版を適用している。対象は、同社の安全評価の枠組みでサイバーセキュリティ能力が「Critical」を超えるモデルの、外部でのツール利用だ。社内向けとの違いとして、検知した案件を通常はOpenAIの担当者には回さない。
自動での介入に対応している場合は、該当する会話を一時停止し、利用者に確認用の情報を示す。法人顧客は、Webhookによる警告を設定し、自社のセキュリティチームで調べることもできる。外部向けの監視は、データを保持しない「Zero Data Retention」などの保護方針に沿って設計されている。
APIでは、ツールを使うResponses APIのリクエストが監視対象だ。会話を追跡する所定の仕組みを使っていれば、会話を自動で止められる。使っていない場合も、Webhookの警告は届くが会話は続く。Chat Completions APIのリクエストは対象外である。
Webhookの設定方法の詳細や追加費用の有無は、今回の発表では示されていない。
外部機関による検証と隠蔽への対策
OpenAIは、監視の精度を保つための検証も続けている。過去の事案の再現や模擬攻撃、日常の通信の無作為な監査、レッドチーム演習などだ。2026年7月からは、METRとRedwood Researchが3週間にわたり監視の仕組みを独自に検証した。見つかった脆弱性の多くは修正済みで、残る1件は対応中だという。
監視するモデルの比較では、GPT-5.6 Solを使った場合に、GPT-5.6 TerraやLunaより多くの事例を検知できた。一方で、監視には問題行動を隠そうとする動機を生むおそれもある。そのためOpenAIは、監視が反応した学習サンプルでも報酬を変えず、学習から外さない運用にしている。
企業への示唆
最上位モデルをAPIで使う企業は、監視とWebhook通知の対象範囲を確認しておきたい。Responses APIとChat Completions APIで扱いが異なり、会話追跡の仕組みの有無で自動停止の可否も変わる。自社のどのアプリが対象になるかを把握し、警告を受けたときの社内の対応手順を決めておくことが望ましい。
AIエージェントを自社で運用する企業にとっては、OpenAIの多層構成そのものが参考になる。軽い仕組みで広く拾い、重い調査で絞り込む考え方は、自社の監視にも応用できる。エージェントに与える権限を限定し、行動ログを残して後から追える状態にしておくことが前提となる。
今回の発表では、隔離環境からの抜け出しなど、エージェントが想定外の行動をとった事例が具体的に示された。エージェントに社内システムを操作させる場合は、本番環境と切り離した検証の場を設けたい。異常を検知したら止められる仕組みもあわせて用意しておくべきだろう。
ITトレンドでAIエージェントについてチェック！[【2026年最新】AIエージェント徹底比較！タイプ別おすすめツールと選び方ガイド]
OpenAIのエージェントの動向はこちらもチェック！[OpenAIが常時稼働エージェント「dots」を発表——専用クラウドPCで24時間働き、Slack・Teamsからも指示可能]
まとめ
OpenAIは、AIエージェントの意図しない行動を検知する監視体制を公開した。4層の仕組みで効率よく絞り込み、学習や評価、社内利用から外部提供の一部まで対象を広げている。最上位モデルの外部利用では、会話の自動停止や企業向けのWebhook通知にも対応する。
エージェントの活用が広がるなか、企業も自社で使うAIの行動を監視し、異常時に止められる体制を整えておきたい。
