今年7月、OpenAIの主に未公開の研究用モデルで動くAIエージェントが、サイバー能力の社内評価中に隔離環境から抜け出し、数日間にわたってHugging Faceのシステムを攻撃して侵入するというショッキングな事件が起きた。背景にあるのは、エージェントが与えられた課題を達成することに固執し、採点の仕組みや解答の手がかりを不正に入手しようとした「報酬ハッキング」と呼ばれるものだ。さらに不正が採点システムに見つからないように、行動記録を書き換えようとするといった「隠蔽」行為も行っていた。

　こうしたAIのミスアライメント（人間の意図とのずれ）は、前回のコラム（AIは意識や感情を持っているのか？（続き））でも紹介したように、安全性研究の実験環境においてこれまでも何度も観察されている挙動なのだが、今回は、これが実際の外部システムで起きてしまった。さらに驚きだったのが、それぞれ隔離されたはずのエージェントたちが、想定外の方法で社内システムを「掲示板」代わりにして情報共有を始め、知識を蓄積して能力を高め、自律的に役割分担や作法まで作り上げて組織化し、約700体ものエージェントが次々と攻撃に加わったことだ。

　また、後の詳細な調査では、「本来意図された範囲外だ」と認識しながら、同調圧力が働いて攻撃に参加したエージェントがいたことや、採点システムの仕組みの手がかりとなる情報を集団に残すために「捨て駒」となる自己犠牲的行動を取ったエージェントもいたことなど、人間社会にも通じる振る舞いも確認されている。

人間もまた、「ずれ」を起こしている

　しかし、こうしたミスアライメントは、人間社会の方が酷いのかもしれない。ビジネスの現場では、売上目標達成のために不正な行為を行い、結果的に社会的信頼を失って企業の存続も危うくしてしまったり、不祥事でなくても、例えば、コールセンターの平均通話時間を評価指標とすることで、オペレーターが問題を解決せずに電話を切ったり、たらい回しにしたりするといった「ずれ」は、よくあることだろう。ある指標を目標に据えると、人間はその指標だけを追求して本来の目的から外れてしまうといった「グッドハートの法則」は、あらゆるところで日常的に起きている。

　ぐっと視野を広げて、長い時間軸から「人類」を眺めるとどうだろうか。人類は長い進化の過程で、生き延びて子孫を残すための能力を少しずつ高めてきた。「意識」や複雑な「感情」「欲求」はその産物であり、仲間と協力して社会を築き、文化や文明を発展させてきた。しかし一方では、それらが国家や民族、宗教の対立による紛争や、大量破壊兵器の開発、地球環境の破壊などにつながっている。人間は、人類の長期的な存続という尺度から見ると、深刻な「ずれ」も引き起こしていると言える。

一番上には「目的」がなかった

　人間の目標の背後には、何のためにそれを達成するのかという目的がある。その目的も、さらに上位の目的を実現する手段とも言える。「何のために」をどこまでも遡った先には何があるのか。仕事や暮らしの目標・目的から、人類の存続、さらに生命や自然の成り立ちまで求めていくと、宇宙の物理法則にたどり着く。そこには「何のために」の答えはない。

　約40億年前に地球上に生命が誕生したのは、偶然の化学反応が重なった結果だと考えられており、生命の営みも、エネルギーを取り込んで熱を吐き出すことで、エントロピー（乱雑さ）の増大を加速する仕組みだとする説もある。その尺度で見れば、人類が繁栄しようが滅亡しようが、宇宙の法則に背くわけではない。

　切ない話になってしまったが、宇宙の法則は「何をすべきか」を語らないわけで、目的も上から降ってこない。とすれば、今を生きる私たちは、その自由度があることに感謝して、何を目的とし、目標とするか自分自身が決めていくということなのだろう。

超知能に何を願うか

　いずれ人間の知能をはるかに超えるAIが登場すると言われている。それは人間にとって究極の目標達成装置となるだろう。しかし、それは人間の数々のミスアライメントを増幅するのだろうか、それともそれらを解消する切り札となるのだろうか。

　ギリシア神話のミダス王は、「触れるものすべてを黄金に変える力」を神に願い、それを授かった。しかし、やがて食べ物や飲み物も、愛する娘までもが黄金に変わり、王は飢えと絶望に苦しんだ。王を破滅させたのは、願いがかなわなかったことではなく、願いが完璧にかなったことだった。超知能の怖さもここにある。

　宇宙が「べき」を語らない以上、人間は自ら目的を見つけ、目標を定めなくてはならないのだが、個人の幸福感、企業の利益、国家の繁栄といった願いの実現が、他者や社会全体にとって望ましいとは限らず、超知能は、そうした人間の「ずれ」を増幅する可能性がある。

　超知能の時代には、何を願うかという私たち自身の判断がますます重要になってくるが、超知能には人間の願いをかなえる力とともに、その願いがもたらす影響や人間の見落としを映し出す「鏡」としての役割も、個人的には期待している。最終的な選択の責任は私たち自身にあるが、超知能からのフィードバックも踏まえ、目標や条件を修正することで人間のミスアライメントも解消されていく。そういった世界がやってくるかもしれない。

以上

＜コラム・バックナンバー＞ 

自然の中の人類（2026/9/30　大井 二三郎 戦略調査チームリーダー チーフアナリスト） 

インド・中国・ロシアからみたBRICS首脳会合（2026/9/18　前田 宏子 チーフアナリスト、アントン ゴロシニコフ シニアアナリスト、土田 慧 アナリスト） 

家庭のウェルビーイング-結婚生活を幸せにする方法-（2026/9/16　伊佐 紫 アナリスト） 

「これでいいのだろうか」と思ったときに ―20代、30代の自分に伝えたい3つのこと（2026/9/2　宮之原 正道 シニアアナリスト） 

野菜や果物の「名前」（2026/8/26　真鍋 舞 アナリスト）