ムスタファ・スレイマン マイケル・バスカー 訳・上杉隼人 日本経済新聞社 2024.9.25
読書日：2025.7.28
テクノロジーはこれまでも国家を社会に影響を与えてきたが、ＡＩや合成生物の技術は国家の存続を揺るがしかねない強力なテクノロジーなので、適切に管理しないといけない、と主張する本。
著者はDeepMindの創業者であるから、2016年にAlphaGoという囲碁ＡＩが韓国のイ・セドルと対戦した世紀の一戦を間近で見ていたそうだ。このとき、AlphaGoが人間には理解できない一手を打ったのを見て、衝撃を受けたらしい。これはＡＩの歴史で語り継がれている逸話で、ＡＩがブラックボックス化していることを示している。
そういうこともあって、ＡＩをまったく管理なしに開発すると、大変なことになると直感したらしい。
他にも、破壊的なテクノロジーとして挙げられるのは合成生物で、これはDNAを設計して新しい生物を作る技術のことだ。これはたぶん、コロナウイルスによるパンデミックを経験したからじゃないかな。文章から推察するに、著者はどうも中国・武漢のウイルス研究所で新型コロナが人工的に設計されて、それが漏れたと確信しているようだ。（ついでに量子コンピュータも危険なテクノロジーに挙げている）。
というわけで、ＡＩに限らず、これらのテクノロジーはなにも考えずに開発すると大変な厄災を生む可能性があるとして、著者はテクノロジーの「封じ込め」について話すようになった。
ところが、それを聞いた人たち（ほとんどテック企業のお偉い人）は、「はぁ？」と首を傾げるばかりだったという。そもそもこの人達は、テクノロジーの未来に超楽観的な人ばかりで、「悲観論嫌悪」（悲観論なんて聞きたくない）というような人たちなんだそうだ。
著者の主張には、このままでは国家がなくなるかもしれないという危機感もあるのだが、テック企業のお偉いさんにはリバタリアンも多くて、国家なんてないほうがいい、くらいに思っている人たちだから、どうも意見が噛み合わなかったらしい。
ちなみに、このままだと国家がどうなるかというと、著者の意見では、最悪、国家がまったく機能しなくなるゾンビ国家になるか、国民を完全に監視下に置くテクノ全体主義国家になるか、のどちらかなんだそうだ。
しかしChatGPTが出始めた頃から、著者の意見に耳を傾けてくれる人が多くなっていったようで、このたび本を出版することになったようだ。たぶん、ChatGPTのおかげで、未来のＡＩのイメージができてきたからだろう。ご承知のように、ChatGPTはすごいんだけど、なんか危ういところも多くあるからね。
というわけで、長年、ＡＩの封じ込めについて考えてきたという著者の意見を聞いてみよう。
まず、テクノロジーの開発は止まらないし止めるべきでもないという。テクノロジーはアイディアだからアイディアが広がることは止められないし、資本主義では経済成長とテクノロジーの進化が一体化しているから、開発を止めると「停滞」という別の危険な状態になるし、さらに他の国家よりテクノロジーが遅れると地政学的に危険な状態になるからだという。つまり、開発を止めるのでなく、開発を進めながらなんとかしなくてはいけない。
こういうときに他の人にどうすればいいか聞くと、すぐ政府による「規制」を行えばいいという話になるのだそうだ。これまでもいろいろ規制してうまくいったから良いではないか、と。
しかし著者の意見では、これはＡＩの開発のスピードに対して遅すぎる。たとえば自動車は交通事故を防ぐためにいろいろな規制があるけれど、それがまとまるまでに何十年もの月日が経ってしまっている。人々が話し合って、法律化するのにそれだけの時間がかかるのだ。これでは遅すぎる。そんなことをしているうちに、国家のほうがゾンビ化してしまうという。
そういうわけで、開発を続行しながら、何か手を打たなければいけない。
そこで、テクノロジーの危険にはテクノロジーで対抗する、というのがまず最初の一歩になりそう。
ひとつはＡＩをオープンにする前に、シミュレーション技術で事前にテストすることで危険を減らすことだという。なるほどね。
別の方法としては、対抗するＡＩを作るということ。このＡＩは構成をシンプルなものにして、人間以下の知能にして、人間に理解できるものにする。これは「クリティックＡＩ」といって、汎用ＡＩのモデルをチェックして、問題がないかどうかをだけを調べるんだそうだ。汎用的でない知能の劣るＡＩを味方につけるというのはいいかも。
最終的にどうにもならなくなった場合には、ＡＩを周囲から切り離せるような技術の開発、あるいは電源をオフにできるような設計にするということが大切なようだ。
そして、これらの技術がきちんと実装されて有効になっているかどうか確認する外部監査が不可欠だという。
あと、企業の倫理に封じ込めを入れるとか、国際的な協調とか、市民の運動とか、文化的な努力も必要なのだとか。ふーん。
しかしですねえ、この辺の対策に割いている分量はたったの１０％。一方で、この本の残りのほとんどはテクノロジーの話が満載で、どちらかというとこっちのほうが面白い（笑）。著者がどれだけテクノロジーが大好きかという感じなんですが、そんなテクノロジー大好き人間があえて警鐘を鳴らしているところに意味があるのかもしれません。
どうでもいいですが、DeepMindの開発したアルゴリズム名は、Deep Q-Network（DQN）というんだそうです。そうですか。DQN（ドキュン）ですか。日本人なら絶対にこの名は付けないでしょうね（苦笑）。
★★★★☆
