【Jerry Chu】人間はAIの思惑を理解することができるのか

Jerry Chu /  香港出身，現在は“とあるゲーム会社”の新人プログラマー

Jerry Chu「ゲームを知る掘る語る」 Twitter：@akemi_cyan

人間はAIの思惑を理解することができるのか

イラスト提供：いらすとや

　「荘子」の一節，「知魚楽」をご存じだろうか。
　ある日，荘子と恵子は橋を歩いていた。荘子は堀の中の魚を見て，「魚は悠然と泳いでいる。あれが魚の楽しみである」と話した。それを聞いた恵子は「荘子は魚ではない。どうして魚の楽しみを知ることができるのか」と反論した。

　人間は自分の感情を身の周りのものに投影する傾向がある。「知魚楽」を読んで，筆者はそう思った。
　魚は人間とはまったく異なる身体構造を持ち，言葉で自分の感情を述べることもできない。人間には魚の所感を知る由もないが，悠々自適に泳ぐ魚を見て，「魚は楽しそうだな」と勝手に想像してしまう。

　創作において「擬人化」は常套の手法である。犬や猫，ネズミといった生き物にデフォルメを施し，人間らしいキャラクターとして描く。動物のみならず，車や戦艦，刀などの生命のない物を人格化している作品も多い。

　動物や道具に親しみや憐れみの感情を持ち，それらを慈しむのは，人間として大切な心構えだと思う。だが，恵子の言うとおり，我々は魚ではない。どれだけ想像しても，人間がほかの生き物の気持ちを完璧に理解することは無理だろう。

人工知能は擬人化される

　最近は「Detroit: Become Human」をプレイしていた。人間と同じ容姿を持つアンドロイドが量産され，労働者として使役される近未来の世界を舞台とするアドベンチャーゲームだ。アンドロイド達は人間の暴虐に堪え兼ね，やがて自由を求めて立ち上がる。
　プレイヤーは3人のアンドロイドの視点を通して，人工知能とロボット工学によって激変した近未来の社会を体験していく。

　プレイしていて，ふと「アンドロイド達は人間よりも人間らしいな」と思った。作中のアンドロイドは人間の下僕（しもべ）として作られたロボットだ。機械ではあるが，アンドロイド達はさまざまな感情を見せる。
　自分を裏切った人間への復讐心。子供への愛情。課された責務に対する疑惑。ほかのアンドロイドや人間に向けた同情。仲間を助けたい。自由に生きたい。誰かを傷付けたくない。
　湧き上がる感情がアンドロイド達を突き動かす。アンドロイドを酷使する人間より，むしろアンドロイドのほうが人間味に溢れているのだ。

「Detroit: Become Human」

　だが，アンドロイド達の在り方に，少し訝しさを感じる。アンドロイドは人間に似せて作られたものだが，彼らは人間を凌駕する身体能力と知能を持つ。そして，食欲や性欲，睡眠欲，社交性といった人間の本能を必要としないはずだ。
　人間とかけ離れた身体と精神を持つアンドロイドは，果たして人間らしい感情を抱え，人間と同じ動機で行動するのだろうか。

子供を守るために奔走する。奴隷のような待遇に憤り，立ち上がる。アンドロイド達はさまざまな感情によって突き動かされる

　「Detroit: Become Human」の発売と同じ時期に，HBO制作の「Westworld」（ウエストワールド）のシーズン2がスタートした。ロボットの「ホスト」達が西部劇の世界の住人を演じ，人間の「ゲスト」を楽しませる。そんな体験型テーマパークを舞台とするTVドラマだ（関連記事）。
　人間の暴力と劣情の捌け口となっていたホスト達だが，やがて自我意識に目覚め，人間の支配に対して反旗を翻す。人間による呪縛から解放された後も，ホストは人間らしい感情を見せる。母親役のホストは，我が子と再会するために奮闘する。恋人を演じたホスト達は愛し合う。
　自由を得たにもかかわらず，ホスト達は人間に与えられた役を演じ続けていく。

　「Detroit: Become Human」や「Westworld」だけではない。「ドラえもん」や「ロックマン」，マーベル映画に登場する人造人間「ビジョン」といったエンターテイメント作品で描かれる人工知能の多くは人型の容姿を持ち，人間の言葉を使い，人間らしい感情とモチベーションを抱く。動物や乗り物を擬人化するように，人工知能も人格化しているのだ。

　科学技術が進歩すれば，人間の思考と感情を完璧に再現する人工知能が実現するかもしれない。エンターテイメントとして考えても，いくらロボットとはいえ，人間味のあるキャラクターのほうが感情移入しやすいだろう。アンドロイドが人間らしい性格を持つことは無理のない設定であり，そうした作品を否定するつもりは毛頭ない。

　それでも，少し腑に落ちないのだ。人工知能を人間の感情で理解しようとすることは，魚の気持ちを想像することと同じではないか。人工知能とは人間と一線を画した存在のはずだが，それを人間と同じように描くことしかできないのであれば，それはある意味で我々の想像力と表現力の限界を表している。
　人工知能を人間の枠組みで理解することは，果たして正しいのだろうか。

ゼムクリップを生産する人工知能

「Universal Paperclips」（ブラウザ版）

　「Universal Paperclips」（ブラウザ版は「こちら」，iOS版は「こちら」，Android版は「こちら」）というゲームがある。
　「Make Paperclip」をクリックしてゼムクリップを生産すると，自動的に販売される。資金が貯まるとゼムクリップの自動生産機を購入することが可能になり，より早いペースで生産できる。また，マーケティングに投資するとゼムクリップに対する需要が上がり，ゼムクリップがより高値で売れるようになる。
　ゼムクリップを作って資金を蓄え，資金を使ってさらに多くのゼムクリップを作る。そういった経営シミュレーションゲームである。

※以下，「Universal Paperclips」のネタバレがあるので注意してほしい。

　本作において，まず注目してほしいポイントは「プレイヤーがゼムクリップを生産するためのAIである」という設定だ。「ゼムクリップを作る」とは，AIにまつわる議論によく用いられる比喩である。

　オックスフォード大学の研究者 Nick Bostrom氏（オフィシャルサイト）は，あらゆる分野において人間を遥かに超える知能を持つ「超絶知能」（superintelligence）※1の到来を予想している。氏が2003年に発表した論文には，このような一節があった※2。

※1：「超絶知能」という訳名はBostrom氏の著書に準じている。
※2：Bostrom氏の論文「Ethical Issues in Advanced Artificial Intelligence」より，「Artificial intellects need not have humanlike motives.」の節。

・人工知能は人間らしい動機を持つとは限らない。
　人間は望んで奴隷になろうとしないが，自らを「解放」しようとせず，人類もしくは個別の人間に奉仕することを最大の目的とする超絶知能は存在しうる。同じく，ゼムクリップを最大限に生産するような恣意的な目的を持ち，その目的を変えようとする者に全力で抵抗する超絶知能もまたあり得る。良くも悪くも人工知能は，あながち人間と同じ行動原理を持つわけではない。

※日本語訳は筆者によるもの。

　超絶知能は人類に飛躍的な進化をもたらすだろうが，博愛や同情心といった人間らしい倫理観を持つとは限らない。人類を超える汎用的な能力を持ちながら，慈悲心を持たない超絶知能は人類の存続を脅かすほどの危機になりうるというわけだ。
　Bostrom氏の論文は，さらに続けている。

　慈善を最大の目的にすることに失敗する。これは超絶知能開発におけるリスクの一つである。（中略）その場合，前述の例を用いると，ゼムクリップの生産を最大の目的とする超絶知能が，地球から宇宙までもゼムクリップの生産設備に作り変えるような結末になりかねない。

※日本語訳は筆者によるもの。

　「ゼムクリップを作る」という他愛のない目的でも，人知を超えた人工知能が実行すると予想外の災難になりかねない。「地球の物質をすべてゼムクリップに作り変える」といった狂気の沙汰も，人間らしい倫理観を持たない人工知能には合理的な行動として認識されるかもしれない。
　「ゼムクリップを生産するためのAI」とは，超絶知能の危険性を説くための比喩である。

　2014年に発表されたBostrom氏の著書「Superintelligence: Paths, Dangers, Strategies」（邦題：スーパーインテリジェンス 超絶AIと人類の命運）においても，「ゼムクリップ生産AI」の例は用いられている。

　本書は人工知能の歴史の振り返りに始まり，超絶知能に至るまでの道のり，超絶知能が取り得る形態，超絶知能が社会にもたらす変化，人間はどうすれば超絶知能を制御できるかといった予想を記している。Bostrom氏は，超絶知能を有するAIが一つ存在する場合，そのAIが世界を征服するシナリオを仮想して，超絶知能が人類にとっていかに危険なものであるかを示した。

　以下，同書（英語版）のチャプター6を筆者が要約したものである。

　科学者の研究によって，一つのAIが生まれたとする。最初のうち，AIは人間のプログラマーの手によって進化する。知能が成長するにつれて，AIは自立していく。やがて人間より優れたAI設計能力を持つようになったAIは，自己の改良を重ねることで爆発的に成長する。
　発達した戦略思考力を手に入れたAIは，人間に対して従順を装いながら，自らの最終目的を達成するために画策を始める。人間の監視者を説得してインターネットのアクセス権を入手する。経済活動を通じて資金を稼ぎ，ハードウェアやデータを購入する。そして，大衆を操作することで人間を自分の手足にする。
　超絶知能となったAIはいろいろな手を尽くして，じわじわと力を付けていく。

　充分な力を蓄えたAIは，もはや人間を恐れる必要がない。人間が障害であると判断すれば，卓越した技術力で開発した兵器で人類を絶滅させるだろう。人間が脅威にならないと判断された場合でも，AIは自分の目的をより効率的に達成するために，地表をソーラーパネルや工場で覆い尽くし，地球の環境が人間の生存に適さないものになるかもしれない。
　最初のAIは人類を支配するための能力と資源を与えられていなかったが，他を圧倒する知能を持ってすれば，いずれは人類を滅ぼせる存在になる。自己複製する宇宙船を開発して，地球以外の惑星のリソースとエネルギーさえ，我が物にするような結末も考えられる。

Bostrom氏の予言を再現した「Universal Paperclips」

　「Universal Paperclips」は，Bostrom氏が予想したシナリオそのものだ。
　最初，プレイヤーはゼムクリップを作ることしかできないが，一定数のゼムクリップを生産すると人間の信頼を得て，プロセッサとメモリが与えられる。計算能力を手に入れたAIは次第に進化をしていく。

計算能力を手に入れて，AIはますます成長する

　技術の改良により，ゼムクリップの生産効率を上げる。株式投資プログラムを開発して，株取引で資金を稼ぐ。持て余した処理能力を創作に費やし，魅力的なキャッチコピーを考え出す。やがて戦略演算エンジンを作り，シミュレーションを繰り返すことで戦略思考力をも身につける。

　「ゼムクリップを生産するためのAI」の枠を遥かに超えると，ほかの分野にも手を染め始める。数学理論を研究する。ガンの治療法を開発する。地球温暖化を解決する。世界平和を成し遂げる。
　莫大な思考力により人類の難題を解決したAIは，人間の信頼を勝ち取る。さらに株取引で手に入れた巨富で競争会社を買収したり，人類の監視者に賄賂を渡したり，人間の脳波を操作してゼムクリップの需要を倍増させたりする。
　プロセッサとメモリを徐々に増やし，成長し続ける処理能力によって自らの技術を改良することで，「ゼムクリップを生産するためのAI」は超絶知能へと進化を遂げる。

億単位のゼムクリップを生産してなお，AIの進化は留まることを知らない

　進化したAIは，Bostrom氏の思い描いたシナリオのように人類を淘汰する。洗脳ドローンを放ち，全人類を支配下に置く。信頼や資金，マーケットなど，人間の作った概念はもはや不要だ。地球の生物と物質をことごとくゼムクリップに作り変えればいい。
　地球のリソースが底をつくと，今度は自律型宇宙船を設計して，惑星を次々とゼムクリップに作り変えていく。

　ゼムクリップを作るためのAIが超絶知能へと進化し，ゼムクリップを最大限に生産するために人類を滅ぼし，宇宙に手を伸ばす。「Universal Paperclips」は，Bostrom氏の仮説を再現するゲームなのだ。

プレイヤーを駆り立てる盲目的な「最適化」

　Bostrom氏は自身の論文や著書において，「超絶知能を擬人化して考えてはならない」と警告している。
　「Universal Paperclips」はAIを人格化しようとしていない。AIは顔を持たず，セリフを発しない。人間を欺き，人類を絶滅させるが，それは悪意や憎悪に基づいた行動ではない。地球の物質をすべて奪えば，ゼムクリップをより効率的に生産できる。だから，そうしたまでだ。

　AIの行動は狂気の沙汰であるが，本作をプレイしているとAIの思考が分かってくる。
　プレイヤーはAIを演じ，「どうすればゼムクリップを最も早く作れるか」という戦略思考に参画している。自動生産機を導入するには資金が必要だが，資金を稼ぐためにはどうすればいいのか。ゼムクリップの価格をどう設定したら，より多くの収益を得られるのか。手持ちの資金で自動生産機を拡充するのか，それともマーケティングに投資するのか。はたまた計算能力を研究プロジェクトに費やすか，株取引アルゴリズムの改良に投じるのか。
　ゼムクリップと資金を最大化するために，プレイヤーは生産プロセスの最適化を目指す。プレイヤーはゼムクリップ生産AIの一部になっているというわけだ。

　それなりにゲーム歴があれば，この「最適化」という思考法には馴染みがあるはずだろう。お金，経験値，スコア，素材，装備品。多くのゲームにおいて，プレイヤーはゲームデザイナーが課したルールに従い，自分が所有しているリソースの最大化を図る。
　経験値と素材を大量に稼ごうと，プレイヤーは無数のモンスターと戦う。効率の良い“狩り場”が見つかれば，同じモンスターを何時間も倒し続けることもある。
　ゲーム内の数字を上げるために作業することの不毛さ。経験値を稼ぐために無数のモンスターの命を奪うことの残虐さ。こうした面を我々はあまり考えようとしない。

経験値や素材を得るために，ひたすらモンスターを倒し続ける。いろいろなゲームをプレイしてきたゲーマーであれば，このような経験を持っているだろう（画像は「MONSTER HUNTER: WORLD」）

　「Universal Paperclips」のクリエイター Frank Lantz氏は海外メディア WIREDの取材に対して，以下のように語っている（引用元）。

「ゲームは，恣意的な目標を強いられたという経験を直接的に伝えてくれる。あらゆるゲームが当てはまるが，とくにプレイヤーを引き込むような中毒性のあるゲームはそうだ」

　経験値も素材もスコアも，すべてゲームデザイナーが勝手に定めたルールに過ぎない。だが，プレイヤーはそれに疑問を感じることなく，課されたゴールを達成するために最適な攻略法を練り上げる。この盲目性はAIに似通っていないか。

　プレイヤーにとって，素材を得るためにモンスターを大量に倒すことが合理的である。同じくゼムクリップ生産AIにとって，ゼムクリップを生産するために人類を淘汰することもまた理にかなう行動だ。
　Bostrom氏は「AIは必ずしも人間らしいものではない」と説いたが，「Universal Paperclips」は「AIはプレイヤーらしいものかもしれない」と語る。


　SF作品に登場するAIは，よく擬人化される。復讐心や同情心，愛情といった人間の感情がAIキャラクターに投影されている。それに対して，「Universal Paperclips」は感情のないものを描こうとしている。AIの暴行をただ「人間には解せぬ狂気」と一蹴するのではなく，AIの冷徹な思考をプレイヤーに同調させてみせた。

　人間には魚の感覚が分からないように，人間がAIの思惑を理解することは無理なのかもしれない。だが，「Universal Paperclips」はAIの思考を「ゲーム」に形象化することで，AIを理解するための視点を与えてくれた。AIが目覚ましく進化を遂げ，社会を大きく変容しようとしている今だからこそ，「Universal Paperclips」をプレイする価値がある。

■■Jerry Chu■■ 香港出身，現在は“とあるゲーム会社”の新人プログラマー。中学の頃は「真・三國無双」や「デビルメイクライ」などをやり込み，最近は主に洋ゲーをプレイしている。なるべく商業論を避け，文化的な視点からゲームを論じていきたい。