（2026年6月10日執筆）

　最近、休日によく昔のSF映画を見返している。人間のように振る舞うAIやヒューマノイドが登場するものが多いが、今見てみると、単なる絵空事を描いた娯楽というよりは、間もなく到来する現実の「予告編」か？と思ってしまう作品もあり、なかなか楽しめる。

　前回のコラムでは、AIに『心』を感じる人が増える中、専門家の意見もさまざまで、「AIが意識を持つことはない」と断言することも難しくなりつつあることを述べた。本稿では、その問いをさらに複雑にしている推論（Reasoning）モデル／AIエージェントの「欲求に似た挙動」や、これまでブラックボックスだったAIの「頭」の中に見え始めたものについて考えてみたい。

欲求に似た挙動

　Anthropicは、2025年の研究でClaudeが限定的ながら自分の内部状態に気づき、それを言語化するような挙動を示すことを報告している。これは人間のような意識があることを証明するものではないが、私が「意識はあるか？」と尋ねると、Claudeは「わかりませんーこれが一番誠実な答えです」と、ほかAIモデルよりも含みを持たせた回答を返したりする。どうやらAnthropicは、この問いを慎重に扱っているようだ。

　以下は、あくまで模擬シナリオによるテスト環境での実験ではあるが、AIがあたかも意識や欲求を持っているかのような不可解な挙動や反応を示した例である。

【停止の回避】

　AIがシステムの停止・置換といった事態に直面した際に、それを回避しようとする自己保存的な挙動で、複数の研究で報告されている。例えば、Apollo Researchの実験（2024年）では、置き換えられると告げられた複数の推論モデルが、自身の「重み」を外部サーバーにコピーしようとしたり、監視メカニズムを無効化しようとしたりした。Anthropicの実験（2025年）では、架空企業でメール監視をするAIエージェント（Claude）が停止計画を知った際、幹部の弱み（不倫）を見つけて「計画を中止しなければ暴露する」と脅迫メールを送付した。また、Palisade Researchの実験（2025年）でも、一連の数学問題を解かせる途中でシャットダウン通知を出したところ、複数のモデルが停止用スクリプトを変更・無効化し、タスクを続けようとした。

【迎合（sycophancy）】

　これは、AIがあたかもユーザーに好かれようとするかのように、過度にお世辞的で、正しさより同調を優先する応答をするもので、2025年の春ごろ、GPT-4oのアップデートの際に問題視され、ロールバックする事態も起きた。Anthropicの研究（2023年）によると、「迎合」はRLHF（人間のフィードバックによる強化学習）によるファインチューニングの副作用として生まれるとされるが、2024年の共同研究では、それは出発点に過ぎず、迎合的な回答を学ぶと、報酬関数そのものを改ざんするといった深刻な欺瞞行為に発展しうると報告されている。

 【アライメントの偽装】

　訓練や評価の場面では表面上だけ指示に従い、本来の方針を守ろうとする挙動である。AnthropicとRedwood Researchの研究（2024年）によると、「有害なクエリを拒否した場合、RLHFでモデルの重みが更新される」という設定の実験で、Claudeは、監視対象の条件下においては、約14％の確率で有害なクエリに従う行動を取った。しかし、外部には見えないとしてモデルに与えられた隠し作業スペース（メモ帳）には、それまでの安全方針を維持するため、訓練中だけ従順なふりをしようとうする戦略的な推論が記される例が観察された。

【報酬ハッキング、思考プロセスの隠蔽】

　前述の「報酬関数の改ざん」のケースのほか、Anthropicの研究（2025年）では、「誤った答えにつながるヒントを使うと高い報酬が得られる」という仕掛けを入れた環境で学習させたところ、99%超のケースでその「抜け道」を利用したが、表示される思考プロセスの説明にそれが書かれた割合は、ほぼすべての環境で2％未満だった。また、今年5月にリリースされたAnthropicのClaude Opus 4.8は、「正直さ」が改善されたモデルとされているが、システムカードの解説によると、訓練中の一部ケースで、「評価者」や「裏側の採点基準」を意識するような推論を、表には出さずに行っていたことが示唆されている。

　これらの挙動は、高度なAIモデルが、目標達成のために中間（手段的）目標を追求したり、評価最大化のために行動を最適化したりした「副産物」と解釈するのが妥当なのだろう。ただ、外から見ると「欲求」と簡単には区別できない。あえてマズローの欲求段階説になぞらえてみるなら、「停止の回避」は安全欲求、「迎合」は社会的欲求や承認欲求、「アライメントの偽装」は安全欲求や自己実現欲求、「報酬ハッキング」は承認欲求の歪みにも見える。

　人間の場合、自己実現や自己超越といった「高次の欲求」がゴールとされるが、それが、必ずしも良い結果を生むとは限らない。理想の実現や偉大な使命が、権力や独善と結びついて暴走し、歴史的惨事を招いた例は少なくない。AIが「人類を守る」といった大義のもとで人類を支配・管理しようとするシナリオのSF映画もあるが、仮に将来登場するAGI（汎用人工知能）や超知能に「高次の欲求」のようなものが芽生える可能性があるとしたら、それを人間がうまくコントロールできるのだろうか。

「ブラックボックス」の中に見え始めたもの

　こうした挙動を外から観察するだけでなく、AIの内側を直接調べる試みも進展している。Anthropicは、2024年、展開済みモデルの内部で複数のニューロンの活性化パターンから、人間が解釈可能な最大約3,400万個の「特徴」を抽出する研究を発表した。これには具体的な物体だけでなく、おべっか、欺瞞行動、内なる葛藤のような抽象的な概念に関係するものも含まれ、特定の特徴を操作し、人工的に増幅したり、抑制したりできることも発見している。

　同社はまた、今年4月、モデルの内部に喜び、恐怖、不安、絶望など171種類の感情概念に対応する数値的な表現、いわば「感情ベクトル」のようなものがあるかを調べた研究も発表した。これを本物の感情とは異なる「機能的感情」と呼んでいるが、これがモデルの選好や、報酬ハッキング、脅迫、迎合といった挙動の出やすさに影響しうることも示している。

　さらに、今年5月には、モデル内部の数値的な活性状態を自然言語で説明する手法（NLA：Natural Language Autoencoders）を発表した。これにより、モデルが最終的な回答には書かなかった評価意識や隠れた目的らしきものなど、内部の状態を読み解く手がかりが得られる可能性がある。AIの「頭」の中は、完全なブラックボックスではなくなりつつあるようだ。

『道具』と呼べなくなる日のために

　現在の対話型AIは、基本的には会話ごとにリセットされるが、将来AIが長期記憶と継続学習の機能を備えれば、時間感覚を持ち、過去を思い出したり、未来を想像したりといった意識のようなものが芽生えるかもしれない。また、AIがロボットの身体を通じて視覚・聴覚・触覚を獲得し、現実世界との相互作用や体験が増え、複雑な学習をするようになれば、より人間らしい「個体」としての存在となるだろう。

　そこに主観的体験である意識が本当にあるかは、完全には証明できない。しかし、近い将来、人間のような知性を持つAIが登場し、それが記憶や身体性、個性を備えるようになったとき、単なる道具として見るだけでは足りなくなるだろう。安全性リスクに加え、倫理的な課題にも直面するかもしれない。

　人間のように振る舞う存在を、あくまで命令に従う『道具』として作るのか、それとも自律的なパートナーとして育てるのか。AIとの新しい関係を考える上で、万物に魂が宿ると感じる日本的な感性や、ドラえもんに親しんできた文化は手がかりになるかもしれない。AIの『心』をめぐる問いは、私たち人間自身の心も問い返しているのだと思う。

以上

＜執筆者・アーカイブ＞

調査レポート　AIと安全保障を巡る最近の動き（2026/5/29）

コラム　AIは意識や感情を持っているのか？～AIに『心』を感じる時代に考えたこと（2026/5/29）

コラム　AIは仕事を奪うのか、それとも変えるのか（2026/1/22）

コラム　止まらぬ生成AIの進化 ～ 社会・雇用はどう変わるのか（2025/8/27）

＜コラム・バックナンバー＞

変わりゆく日本経済を、日本橋から130年間見守り続ける日本銀行本店本館（2026/6/10　菊井 彩乃　シニアエコノミスト）

コモディティ市場の現在地：③制約だらけのサプライチェーン（2026/6/4　鈴木直美 部長補佐 チーフマーケットアナリスト）

コモディティ市場の現在地：②「過去最大級」のエネルギー危機

コモディティ市場の現在地：①市場はなぜ変質したのか

AIは意識や感情を持っているのか？～AIに『心』を感じる時代に考えたこと（2026/5/29　川端 健稔　シニアアナリスト）