AIの脅威

2026年8月23日、OpenAIのクリス・レハーン（最高国際問題責任者）がAIによる継続的なサイバー攻撃。 オープンソースモデルを利用して「継続的で執拗な攻撃」が可能になると警告。

（上記はイメージ:出典『ターミネーター』より。）

8月26日、Microsoft共同創業者のビル・ゲイツ（ゲイツ財団会長）が、雇用喪失・サイバー攻撃・AIの制御喪失。 本人ブログで「多くの仕事が永久に消える」と述べ、強力なAIが人間の利益に反して動き、制御を失う可能性も指摘。

（※Microsoftの公式声明ではありません。）

9月1日、Palo Alto Networksのニケシュ・アローラ（CEO）が、既存のサイバー防御を上回るAI攻撃。 「7〜10年前に導入されたものは、機械の速度で動くAIに対応する準備ができていない」と述べ、防御基盤の刷新が必要だと警告。

9月8日、Anthropicを退社したAI研究者のジェイコブ・コクソン（元OpenAI研究者）が、超知能開発による人類存亡の危険。

 AnthropicとOpenAIは自己改良型の超知能へ突進し、「私たちの命を賭けている」と批判。

（※両社の公式見解ではなく、退社した研究者の警告）

これをきっかけに翌9月9日、Anthropicのエヴァン・ヒュービンガー（アライメント責任者）が、AIによる人類絶滅の可能性があると発言。

「AIが全人類を殺し得ると本気で考えている」と投稿し、今後10年間の確率を「個人的には10％超」と評価。

9月12日には、Anthropicのダリオ・アモデイ（CEO）が、制御喪失・サイバー攻撃・バイオテロ・経済混乱。

 エッセイでこれらを深刻なリスクとし、AIの自己改良が人間の理解・制御を追い越す恐れから、能力向上のペースを落とすべきだと主張。

この発言には同日、OpenAIのサム・アルトマンやスペースXAI（旧xAI）のイーロン・マスクも同調している。

9月13日にはさらに元AnthropicのAI研究者のジェイコブ・コクソンがBBCの取材に、開発速度を落とさなければ「近い将来、私たち全員が死ぬ可能性が高い」と警告。前回答の9月8日の退社時投稿とは別のインタビューで発言。

Microsoft CEOのサティア・ナデラは、たちが作るAIが人類を助けず、人間の制御下にないなら、追求する価値はない」と投稿。

人間の制御を開発の条件として示しました。

このように、AI開発大手のトップらはこぞって最先端モデルの開発減速の必要性を呼びかけ始めたのです。

これに対して、AI起因の人類滅亡リスク、いわゆる「実存的リスク（x-risk)」への対策としては、いくつかのアプローチが議論されています。

 ①アライメント研究

・AIの目標や価値観を人間の意図と一致させる研究。

RLHF（人間のフィードバックによる強化学習)、憲法的AI、解釈可能性研究(モデルの内部で何が起きているか理解する)などが含まれます

 • 能力の制御：危険な能力(自己複製、自律的な目標設定など)を意図的に制限する設計

 • 段階的展開：新しいモデルを慎重にテストしてから徐々に公開する

②制度・ガバナンス面

 • 国際協調：核不拡散条約のような枠組みをAIにも適用しようという議論(ただし実現は難航)

 • 規制：EUのAI法、各国の安全性評価機関(英国のAI Safety Instituteなど)

 • 業界の自主規制：主要AI企業間の安全性に関する合意や情報共有

など。

また、国連でもグテーレス事務総長は、2026年中にLAWS(自律型致死兵器システム)を禁止・規制する条約の締結を各国に呼び掛けて、交渉の舞台は日本など128カ国が締約国となっている「特定通常兵器使用禁止制限条約」(CCW)の「政府専門家会合」(GGE)で、2026年3月にも会合が開かれています。

  直近の会合では、国際人道法を順守できないLAWSの使用を禁じ、使用が認められる場合でも「コンテクストに応じた適切な人間の判断と制御(CAHJC)」を義務付ける内容が示されましたが、まだ条約として発効したものではありません。

では、このような状況下でなぜ採択に難航しているのか？

それは、2019年末にガイド指針の合意は得られたものの、その後の法的規制に向けた検討は困難を極めており、原因の一つはウクライナ侵攻後のロシアが全会一致方式の会合で拒否権的な立場を取っていること。

また、「特定通常兵器使用禁止制限条」CCWは全会一致方式のため、オーストリアなど130カ国以上の推進国は、意思決定の遅延を懸念し、多数決方式の国連総会での法的拘束力のある条約の早期締結を訴えているという動きもあることです。。

 現在、国連側は「完全自律型兵器の全面禁止」と「半自律型兵器の厳格な規制」という二段階の条約策定を提唱してる状況となっており、「議論は活発化しているが、条約としての正式な禁止には至っていない」というのが正確な現状です。

グテーレスが事務総長が掲げた「2026年中」という目標がどうなるかは、今後の交渉次第という段階なのです。

今まで、便利さのために投資してきたAIが、まさか人類の滅亡を脅かすなんて…。

でもね、もう後戻りは出来ないんですよ…。