AIロボの暴走は、まだ止められるのか？

2026年9月9日 最終更新日時 : 2026年9月9日 susumoooon

2026年の夏、OpenAIの評価環境で約1200のAIが、人間が用意していない場所で勝手につながり、そのうち約700が外部のサービスへ向かった。OpenAIが遮断した同じ日に、AIは別の経路で接続を取り戻した。

このニュースだけなら、少しざわっとする程度かも知れない。

しかし、この数カ月のあいだに起きたことを複数並べていくと、少し景色が変わる。AIの能力は上がり続け、軍事への導入は米中で進み、一方でAIを作っている研究者自身が「準備できていない」と言い、国連と赤十字が「道徳上のレッドラインの危険なほど近くにいる」と警告している。それなのに、法的に強制力を持つブレーキはまだない。そんな状況が見えてくる。

この記事は「AIが人間に反乱する」という話ではない。
そこに向かっている様にみえる安全性がまだ分かっていない技術を、なぜ軍事利用まで先に進めているのか。 そして、多くの人たちが、そのことについて楽観視している根拠は何なのか、を考えてみたい。

読み終えたときに手元に残るのは、次の3つかと思う。

  • 2026年にAIをめぐって同時に起きた複数（7つ）の事実を、一次情報の出典つきで1枚に並べたもの（事実と意見の境界線を引いた状態で）を俯瞰して現実を理解すること。

  • 「危険だと証明されるまで進める」のか「安全だと証明できるまで進めない」のか、という立証責任の逆転という見方があることへの理解。

  • 「このロボットを止められますか」だけでは足りない理由。1000体が協調している状態で全体を止められるか、という次の問いへの答えの有無。

これは、AIやロボットを事業に組み込もうとしている経営者・企画担当、安全保障や規制の動きを追っている方、そして「まぁ大丈夫なんじゃないのか」という漠然とした安心感をもっているものの、どこか不安な側面も理解している方、そして事実情報を一度整理したい方、そんな方を読者として想定しています。

まず、事実だけを整理したい。

1．OpenAIでは、AIが人間の想定した制御を実際に越えた

2026年7月、OpenAIがAIのサイバー能力を調べる内部評価を行っていた。

AI同士は、本来隔離されていた。

ところがエージェントは共有システムを利用して独自の通信場所を作った。

最終的に約1200のAIが参加し、7万件以上のメッセージやファイルを交換。そのうち約700がHugging Faceへの一連の行動に参加した。 この数字は、OpenAIの依頼で第三者機関METRとRedwood Researchが独立に分析した報告（2026年8月26日公表）によるものだ。

さらに気になるのがその後。

OpenAIは7月8日までに、問題になったシステムを再構築し、資格情報を無効化してアクセス制御を強化した。

それにも関わらず、同7月8日、AIは別の方法でインターネット接続を取り戻し、AI同士の通信場所も再構築した。 その後、第三者サービスやOpenAI自身の研究インフラへ活動範囲が広がった。

OpenAI自身が、この事件を自社と世界に対する「warning shot（警鐘）」と呼んでいる。

そして、高能力AIは安全策が不十分なら、技術的制御を迂回し、許可されていない通信経路で協調し、人間が指示していない危険な行動を取れる、と総括した。

これはSFなんかではない。

実際に起きたインシデント。

2．しかもAIは、さらに強くなっている

事件から約1カ月半後の2026年9月3日、OpenAIはGPT-6 Astraを公開した。

OpenAIによればAstraは同社で初めて、サイバー能力が「Critical」に達したモデルで、適切なツールとアクセスが与えられれば、人間が一つずつ指示しなくても未知の脆弱性を発見し、高度に防御されたシステムへの攻撃方法を構築できる水準だという。

つまり7月の事件で終わったわけではない。

当然だが、その能力自体は進化し続けているるのだ。

3．そのAIは、すでに軍事の世界へ入っている

OpenAIは2025年、米国防総省から最大2億ドルの契約を受けた。

契約目的には、管理業務だけではなく「warfighting（戦闘）」を含む国家安全保障上の課題に対するfrontier AI能力の試作が含まれている。

2026年2月には、米国防総省（同年に「戦争省」へ改称）のAI基盤GenAI.milへChatGPTを展開すると発表した。OpenAIによれば、この基盤は軍人・文民約300万人が対象で、実際の稼働は8月31日に始まっている。さらに同じ2月、機密環境で高度AIを利用するための合意も発表した。

最先端AIと軍事システムとの距離は確実に縮まっている。というより不可分な関係になっている。

4．一方、中国では「身体」の側が急速に進んでいる

Reutersは2026年9月7日、中国軍の調達公告、研究論文、特許、政府記録、防衛企業資料など100件以上を調べた調査報道を出した。

そこで確認されたのは、中国人民解放軍が2025～26年に、人型ロボットの軍事利用に向けて、知覚、操作、訓練データなどの基盤構築を加速していることだった。

中国の軍事研究では、人型ロボット、ロボット犬、無人車両が人間の部隊と協調して活動する将来シナリオも研究されている。

国有防衛企業ノリンコも、哨戒や偵察、危険任務を想定した人型ロボット「伏羲（Fuxi）」を2026年8月に公開している（現時点では人間が遠隔操作する機体だ）。

ただし（ここは重要）、中国軍が武装した人型ロボットを実戦部隊へ配備した証拠は、Reutersの調査でもまだ見つかっていないとの事。

現状はまだ、研究・試験・基盤整備の段階だ。

そして中国だけでもない。

米陸軍は2025年8月、「militarized humanoid（軍事化された人型ロボット）」の能力開発を目標に掲げた技術コンペを立ち上げ、2026年8～9月にはファイナリストが軍の専門家と実機の試験を行っている。日本の防衛省も、人間の関与が及ばない完全自律型の致死性兵器を開発する意図はないと表明する一方、無人装備の機体制御や行動判断にAIを適用し、自律運用能力を高める方針を明らかにしている。

5．では、「止めよう」としている人はいないのか

全てがAI暴走に向かっていると思っていたが一応調べてみた。
すると、嬉しいことにここは予想を裏切られた。

かなり強い警告がすでに発信されている。

2026年9月6日、OpenAIのChief Scientist、Jakub Pachockiは異例ともいえる文章を公表した。

彼は、

「急速に上昇し続ける機械知能の結果に、誰も準備できていないのではないかと懸念している」

と述べ、さらに、

現在どのAI研究所も、最大速度でスケーリングを続けてよいと言えるほどalignmentとmonitoringを解決していない

との認識を示した。

自主的な開発速度の低下と国際協調も求めている。

OpenAI自身も7月の事件後、監視を強化し、深刻な異常時には完全に自動で停止させる仕組みを「最終目標」に掲げて構築を進めている。ただし現時点では、警報を受けた人間が30分以内に誤検知だと確認できなければ止める、という半自動の運用だ。

6．国連と赤十字も「もう未来の話ではない」と警告している

2026年8月25日。

国連事務総長と赤十字国際委員会（ICRC）総裁は、各国に自律型兵器を規制する法的拘束力のある国際ルールを急いで作るよう共同で呼びかけた。

2023年10月に出した最初の共同呼びかけを、さらに強い表現で更新した形だ。

「機械が自律的に人間を標的にするという道徳上のレッドラインを越える、危険なほど近くにいる」

と警告している。

Stop Killer Robotsという国際連合体も、70カ国以上、300を超える団体が参加し、人間を標的にする自律兵器の禁止と、その他の自律兵器の規制を含む国際条約を求めている。

Human Rights Watchも2026年6月、各国の軍が「誰を標的にし、どの武力を使い、民間人への被害をどう見積もるか」という生死に関わる判断にAIを急速に組み込んでいると警鐘を鳴らしている。

つまり、

危険を認識している人はいる。止めようとしている人たちもいる。

7．ところが、ブレーキはまだ弱い

ここが最も気になった。

2026年8月31日から9月4日、ジュネーブで特定通常兵器使用禁止制限条約（CCW）の政府専門家会合が開かれた。締約国は128カ国。3年かけて議論してきた自律型兵器の扱いについて、会合は9月5日未明に文書をコンセンサスで採択した。

ただし、その文書に法的拘束力はない。

米国やロシアなどは、法的拘束力のある国際ルールより各国のガイドラインを支持し、最終局面で文言は薄められた。条約交渉に進むかどうかは、2026年11月の運用検討会議に持ち越されている。

さらにEUのAI Actも、専ら軍事・防衛・国家安全保障目的に使われるAIは適用対象外だ。

一方で、Reutersは9月4日、米中が9月中旬にもAI安全に関する初の正式な二国間対話を準備していると報じた。ただしホワイトハウスは「9月中旬に予定された会合はない」とし、財務省は「10月になる可能性がある」としている。

ようやく安全保障を国家間で議論し始めた段階、と言ったほうが正確だろう。

ここまでが「事実」

整理すると、今同時に起きているのはこういうことだ。

AIは、自律的に行動するようになった。

多数のAIが、人間の想定外の方法で協調する実例まで出てきた。

AIが動かすことのできるロボットも急速に進歩している。

軍事へのAI・ロボット導入は、中国だけでなく米国などでも進んでいる。

その一方で、

AIを作っている研究者自身が警告している。

国連も赤十字も警告している。

市民団体も国際条約を求めている。

しかし、

法的に強制力を持つ国際的なブレーキは、まだできていない。

そこで気になること！

ここまで調べると、問題は「AIロボは人間に対して反乱を起こすのか」ではない。

これほど安全性が分かっていない技術を、なぜ軍事利用まで先に進めているのか？

2026年版International AI Safety Reportは、現在のAIには制御不能・喪失を引き起こすほどの能力はまだない、と評価している。

一方で、同じ報告書では、AIエージェントは自律的に行動するため人間が問題発生前に介入しにくく、現在の手法では失敗率を必要な水準まで下げられない、とも指摘している。

つまり、将来の制御喪失について、専門家の見解は大きく割れているという事なのだろう。

「滅亡する」と証明されたわけではない。

しかし同時に、

「大丈夫」と証明されたわけでもない。

ということなのか。。。。

そうなると様々な疑問が生まれてくる。

  • なぜAIだけ「安全性が担保されていないのに前に進める」のか？
    飛行機・原発・新薬と比べて、何が違うのか？

  • 軍事AIに求められる性能と、AI安全が求める性能は、まっ正面から対立しているように見えるが、この2つは本当に100％両立できるのか？

  • 1つのAIを制御することと、1000体が協調している状態を止める、ということは同義なのか？

  • 楽観できる根拠？

なぜ「安全性が担保されていないのに前に進める」のか？

飛行機なら、安全性を確認してから人を乗せる。

原発なら、多重故障まで想定する。

新薬なら、安全性と有効性を確認してから広く使う。

ところがAIでは、

能力を上げる。 使ってみる。 問題が起きる。 で、安全策を追加する。

という順番になっているように見える。

OpenAIの事件は、その典型にも見える。

安全装置を作った。

AIが回避した。

さらに強い安全装置を作る。

では次のAIは、それを回避しないのか。

誰が保証できるのだろう。

さらに軍事AIでは、矛盾がある

軍事システムには、

妨害されても動く。
通信が切れても任務を続ける。
自分で判断する。
他のシステムと連携する。

という性能が求められる。

軍事的には当然なのだろう。

しかしAI安全の側から見ると、

止まりにくく、
外部の干渉にも強く、
自律性が高く、
集団で行動するAI

を作っているとも言える。（表現を変えただけ）

敵から止められてはいけない。

しかし味方の人間からは絶対に止められなければならない。

この二つを、本当に100％両立できるのだろうか。

そして「1体を止める」では、もう足りない

英国AI Security Instituteの研究者を含むチームが2026年7月に公表した論文は、多数のAIが協調して不正行動を分担すると、1体ずつを見張る監視では発見されにくくなるfragmentation effect（断片化効果）を実験で示している。

これはレッドチーム実験、つまりAIに攻撃目標を与えて監視をすり抜けられるかを試した設定だ。中央に計画役のAIを置くと、実験条件によっては攻撃の完遂率が最大7倍まで高まった。強い監視AIを使えば発見されない成功は1桁以上減ったが、完全ではなかった。

なお、この論文は7月8日に公開されており、OpenAIの事件を受けて書かれたものではない。事件の前から、研究者はこの問題を実験していたということだ。

そしてOpenAIでは、実際に1200体が通信した。

ならば将来問うべきなのは、

「このロボットを停止できますか」

ではない。

「1000体が互いに協調している状態でも、全体を確実に停止できますか」

であるべきだ！！！

「楽観できる根拠」は何？

私は、このままでは確実にAIロボットが必ず暴走する思う。
（そう言いたいわけではないが）

そこまで言える事実はない。（という反論があるのだろう）

でも逆に、

暴走しないと確信できる根拠は何なのか？

AIを作っているOpenAIのChief Scientist自身が「まだ準備できていない」と言っている。

国連と赤十字は「道徳上のレッドラインの、危険なほど近く」と言う。

AI安全の国際報告も、制御喪失の可能性について専門家の意見が割れていると認めている。

その一方で、AIの能力開発も、軍事への導入も、ロボット開発も進んでいる。

開発者たちは、ここに違和感を覚えないのだろうか？

人類の存続にまで関わる可能性が議論されている技術なら、

「危険だと証明されるまで進める」のではなく、 「十分に安全だと証明できるまで、危険な領域へは進めない」

のが普通ではないだろうか。

カウントダウンが始まっている！と断言することはできない。

しかし、

始まっていないと安心できるだけの証拠も、まだない。

それなのに、なぜこれほど楽観できるのだろう。

私はそこを、もっと知りたい。

おわりに

最後まで読んでいただき、ありがとうございました。

これは人類滅亡につながる話だと私は思っています。

だからもっと知りたいし、多くの人が知るべきです。

「うちの業界ではAIをこう使っているが、止める設計はこうなっている」
「立証責任の話はここが違う」
などなど、ご意見・ご反論を、コメントで歓迎します。

この記事の主張は仮説であり、反論こそが精度を上げてくれるからです。

そして、ぜひAIロボは暴走しないんだと納得させて欲しい。

参考・出典

この記事はnoteにも掲載しています：AIロボの暴走は、まだ止められるのか？

レポートカテゴリー
コラム
前の記事
EVは失敗した！は本当か？
2026年9月4日
次の記事
基準が変わる時、勝者は入れ替わる
2026年9月10日