AIのタイムライン ─ 提案されている論証と「専門家」の立ち位置

This is a Japanese translation of “AI Timelines: Where the Arguments, and the "Experts," Stand”

by Holden Karnofsky2021年9月8日

オーディオ版がCold Takesで利用可能です（あるいはStitcher, Spotify, Google Podcasts, etc.で「Cold Takes Audio」を検索してみてください） 。^[1]

この記事でははじめに、この連載中の以前の記事で扱った複数の視点から、変革的AIの開発時期がいつ頃になるのかを要約的に説明します。

次いで「この話題について専門家の間に揺るぎないコンセンサスがないのはなぜなのか、またこの事実は私たちにとって何を意味するのか」という問題を検討します。

私の見積もりはこうです。15年以内（2036年迄）に変革的AI（transformative AI）が出現する確率は10%以上、40年以内（2060年迄）であれば約50%、今世紀中（2100年迄）であれば約2/3の確率がある。

（「変革的AI」ということで「私たちが質的に異なる、新たな時代に突入させることになるほど強力なAI」のことを私は意味しています。私が PASTA と呼ぶものに特に焦点をあてます。これは、科学的・技術的進展の速度を増加させるためのすべての人間活動を本質的に自動化しうるAIシステムのことです。PASTAは、生産性の爆発的な向上とともに逸脱したAIに由来するリスクの可能性をもたらすために、今世紀を最も重要な世紀とするのに十分なものでありうると、私は論じています。

これが、AIの発展予測にアプローチする様々な、異なる視点からの技術的な報告を踏まえて、私が辿り着いた結論の概要です。そうした報告の多くは、長期主義的な助成金提供を考えるために、変革的AIの発展予測に関する徹底した描像を描こうとする過程で、ここ数年間でオープン・フィランソロピーが作成してきたものです。

こちらは、私が検討してきた、変革的AIの予測についての異なる視点をひとつの表にまとめたものです。以前の一連の投稿で展開したより詳細な議論と、裏付けとなる技術的な報告へのリンクも合わせて載せています。

透明性を確保するために、多くの技術的な報告が Open Philanthropy による分析であること、私は Open Philanthropyの共同最高経営責任者（co-CEO）であることを注記しておく。

以上の考察を踏まえても、読者の一部はまだ落ち着かない気持ちを抱いているのではないかと予測する。私の議論が理にかなっていると考えていたとしても、次のように考えるかもしれない。これが正しいなら、なぜもっと議論され、人びとに受け止められていないのだろうか。専門家たちはどんな意見をもっているのか。

現時点の専門家の意見を、私は以下のように要約する。

• 私の主張は専門家の間のコンセンサスのどれにも矛盾しない。（実際、一列目が示しているように、私が提示した確率は、AI研究者たちの予測と思われるものから乖離しているわけではない。）しかし専門家達がこの問題について真剣に考えていないことを示す徴候がいくつか存在する。
• 私が典拠としてきたオープン・フィランソロピーの技術的な報告は、外部の専門家から相当程度のレビューを経ています。機械学習の専門家が「生物学的アンカー」を、神経科学者が「ブレインコンピューティング」を、経済学者が「爆発的成長」を、不確実性と／または確率の分野で関連する話題を扱っている学者が「半情報事前確率」をそれぞれレビューしています。2（こうしたレビューの一部には重要な論点で意見の相違がありますが、そうした論点のどれも、専門家の間や文献に見つけられる明確なコンセンサスに、当該の報告が矛盾する事例にはなっていないように思われます。）
• しかし例えば気候変動に対して行動を起こす必要を支持するのと同様の仕方で、「2036年迄に変革的AIが開発される確率は少なくとも10%ある」とか「私たちが人類にとって最も重要な世紀に生きている確率はかなり高い」などの主張を支持する積極的で、揺るぎないコンセンサスが、専門家たちの間にあるわけでもありません。

つまるところ私の主張は、その研究に専心する専門家がいない分野を話題とするものです。これは、このこと自体が既に恐ろしい事実であり、早晩変わって欲しいと私が願うことです。

とはいえ、そうなる前にも、「最も重要な世紀」仮説に基づいて行動しようとすべきなのでしょうか。

以下で私が論じるのは次の項目です。

• 「AI発展予測分野（AI forecasting field）」はどんなものでありうるか。
• この話題に関する今日の議論は少なすぎるし、一様で、蛸壺化しており（これには私も同意します）、したがって成熟し、より堅固な分野が登場するまで我々は「最も重要な世紀」仮説に基づいた行動をすべきではない（私はこれには同意しかねます）という「懐疑的見解」
• 成熟し、より堅固な分野が登場するまでの間にも、「最も重要な世紀」仮説を真剣に受け取るべき理由は、以下の通りです。
  • 専門家の間に揺るぎないコンセンサスが形成されるのを待つ時間はない。
  • 優れた反論があるとしても ── あるいは未来の専門家が優れた反論を展開する可能性があるとしても ── そのような反論を我々はまだ見つけていない。仮説がより真剣に受け取られれば受け取られるほど、そのような反論が現れる可能性もより高くなる。（またの名をカニンガムの法則（Cunningham’s Law）という。それによれば「正しい答えを得る最善の方法は間違った答えをインターネットに投稿することだ」。）
  • 専門家の間の揺るぎないコンセンサスに一貫してこだわり続けることは、危険な推論パターンだと考えます。私の考えでは、自分勝手な思い込みや蛸壺化に陥るリスクがいくらかあっても、最も重要なタイミングで正しいことができれば問題はありません。

AIの発展予測に必要なのは、どの分野の専門的知識か

上に挙げた技術的な報告が分析した問いには、例えば以下のものがあります。

• AIの能力は、時間とともに進化しているのか。（AI、AI史）
• AIモデルを動物／人間の脳と比較するとどうなるか。（AI、神経科学）
• AIの能力を動物の能力と比較するとどうなるか。（AI、動物行動学）
• 過去のAIシステムの訓練についての情報に基づくと、難しいタスクのための大規模なAIシステムの訓練にかかる出費について、どのような推定が立てられるか。（AI、曲線あてはめ）
• これまでにこの分野につぎ込まれてきた年数／人員／資金に基づくと、変革的AIについて、最小限の情報からどのような推定が得られるか。（哲学、確率論）
• 理論や歴史的傾向に基づくと、今世紀に爆発的経済成長が起こる確率はどれほどか。（成長経済学、経済史）
• 過去「AIの過剰な喧伝（AI hype）」はどのようなものだったのか。（歴史学）

「最も重要な世紀」に変革的AIがもつ広範囲に渡る含意について語るとき、私は「デジタル化した人間や銀河中の植民地化の実行可能性」などを論じてきました。これらは物理学や神経科学、工学、心の哲学等々に触れる話題です。

変革的AIの登場がいつになると予測できるのかという問題、あるいは、私たちが最も重要な世紀にいるかどうかという問題の専門家になるための職や資格は存在しません。

（特に、この予測に関しては、もっぱらAI研究者に頼るべきだというどんな主張も、私には受け入れがたいです。この話題についてAI研究者はそれほど真剣に考えてないように思われるだけでなく、これまでになく強力なAIモデルの構築を専門とする人びとに頼って、変革的AIがいつ登場するかを教えてもらおうとするのは、太陽光エネルギー関連の研究開発企業 ── あるいは、あなたの見方次第では、原油掘削会社 ── に頼って、二酸化炭素の排出や気候変動を予測してもらうようなものです。AIの研究者たちが全体のピースになることは確かですが、しかし予測というのは、最先端のシステムを発明、構築することとは区別される活動です。）

加えて、こうした問題がひとつの学術分野の体裁をとるかどうかも、私には定かでありません。変革的AIを予測しようとすること、あるいは、私たちが最も重要な世紀にいる確率を見極めようとすることは、

• アカデミックな政治学（「政府と憲法はいかに相互に作用しあうのか」）よりも、538モデル（「バイデンとトランプのどちらが代表選を勝ち抜くのか」）に似ている。
• アカデミックな経済学（「なぜ景気後退が存在するのか？」）よりも、金融市場での取引（「この価格は将来、増えるのか、減るのか？」）に似ている。3
• アカデミックな開発経済学（「貧困の原因は何であり、貧困はどのような要因によって減るのか」）よりも、GiveWell の研究（「1ドル当りで人びとに役立つことが最も多大であるのはどの慈善活動か」）に似ている。4

つまり、変革的AIの発展予測や「最も重要な世紀」に関する専門知にとっての自然な「住処となる学術機関（institutional home）」がどのような外観を呈するのかが、私には明らかではないのです。とはいえ、この種の問いに献身する大規模で強固な学術機関が存在しないと言うに留めておくのが、適当でしょう。

専門家の間に揺るぎないコンセンサスが欠けている場合
私たちはどう振る舞うべきか

懐疑的見解

専門家の間に揺るぎないコンセンサスが欠けているため、一部の（実はほとんどの）人びとはどのような議論が提示されようとも、疑いの眼差しを向けるだろうと予測します。

極めて一般的に見られる懐疑的な反応の内、私がある程度の共感を抱いているのは次のものです。

1. 議論全体が大胆過ぎる。
2. 最も重要な世紀に生きているなどという派手な主張をしているが、これは自分勝手な思い込みに陥っている人間の行動と合致している。
3. 注目すべき、不安定な時代に生きていると考えられる仕方は様々あるのだから、証明責任がそんなに高いものであるべきではないとあなたは論じているが...そうした主張や、AIについてのあなたの主張、あるいは正直なところ、こうした大胆な話題に関してはどんなことについても、自分がそれを評価できるとは思わない。
4. こうした議論に従事する人があまりに少ないことが心配だ。つまりこの議論が小さな、同質的なグループ内の内輪の議論になっていないかを懸念している。全体的に現状は、賢い人たちが自分たちが歴史上、どの位置を占めるのかについての物語を ── それを合理化するためにチャートや数字をふんだんに使って ── 仲間内で語り合っているだけのように感じられる。「現実」感がない。
5. というわけで、何百あるいは何千人だろうか、そのくらいの数の専門家が互いに批判し合い、評価し合うまでに分野が成熟し、気候変動について私たちが目撃しているのと同程度のコンセンサスに専門家たちが達したら、そのときにまた声をかけてほしい。

あなたがこんな風に感じるのもわかるし、私自身、ときたま同じように感じてきました ── 特に1-4番目の点についてはそうです。しかし5番目の論点が正しくないと考えられる3つの理由を指摘します。

理由1　専門家の間の揺るぎないコンセンサスを待つ時間はない。

変革的AIの到来は COVID-19パンデミックのよりゆっくりとした、しかしよりリスクの高いバージョンのようなものとして起こるのではないかと私は心配しています。今日利用可能な最善の情報と分析結果を観れば、何かしら大きなことが起こるという予測を支持する事実は存在します。しかしこの状況はかなりの範囲にわたって馴染みのないものです。私たちの制度が常日頃から扱っているパターンに合わないのです。しかも、どの追加の活動一年分も貴重です。

変革的AIの到来は、気候変動にあったダイナミクスの速度が増したバージョンだと考えることもできます。温室効果ガスの排出が（18世紀中盤ではなく）最近になって始まったばかりだったとして5、また、気候科学という分野が確立されていなかったとしたら、どうなるか想像してみてください。排出量の削減に努める前に研究分野が確立されるのを何十年も待つというのは全くもって良くない考えでしょう。

理由2　カニンガムの法則（「正しい答えを得る最善の方法は、誤った答えを投稿することだ」）に従うのが、こうした議論に含まれる欠点を見つける方法としては最も見込みがある。

私は真剣ですよ。

数年前に、私と何人かの同僚たちは、「最も重要な世紀」仮説がもしかすると真でありうるのではないかと考えました。しかしこの仮説に基づいて行動を起こし過ぎるその前に、この仮説に致命的な欠陥がないかどうかを確かめたいとも考えました。

過去数年間で私たちがしてきたことは、あたかも「最も重要な世紀」仮説が誤っていることを明らかにするためにできるあらゆることをしてきたのだと解釈することもできます。

第一に、私たちは重要な論証についてAI研究者や経済学者等々、なるべく色々な人びとと話してきました。しかし

• この連載中に当の論証（そのほとんど、またはすべてが、他人から拝借したものだ）について曖昧な理解しかもっていませんでした。そうした論証を歯切れよく、具体性をもって述べることはできなかったのです。
• 後で裏付けをとるつもりだったが、6 決定的な結論を下せず、批判に晒すために提示することができなかった重要な、事実に関わる論点が多数存在する。
• 全体的に見て私たちは、他の人びとが決着をつけられる機会を与えられるほど十分に、具体例を説明できたわけではない。

以上の事情から私たちは、重要な論証の多くについて、技術的な内容の報告を作成することに力を注ぎました。（これらの報告は現在公開されています。この投稿の最上部にある表を参照してください。）これによって私たちは論証を公開することができ、決定的な反論を迎える用意ができました。

それから私たちは、外部専門家に意見を求めました。7

あくまで自分自身の意見を言わせてもらえるなら、「最も重要な世紀」仮説は、以上すべての過程を経てもなお妥当な仮説として残り続けているように思われます。実際、様々な観点から、より詳細を詰めていった後で、私は以前よりも強く、この仮説が正しいと考えるようになっています。

しかしそう思えるのは、真の専門家たち ── 破壊的な反論を手にしているが私たちにはまだ見つけられていない人びと ── には問題全体があまりに愚かしくみえ、あえて真剣に関わろうとしていないからだとしましょう。あるいは、いま生きている誰かがいつかこうした話題に関する専門家となって、問題の論証を撃破するとしましょう。それが起こるために〔つまり、真の専門家が真剣に議論に参加し始めたり、誰かが決定的な反論を思いつくために〕私たちに何ができるでしょうか。

私が思いつく最善の答えは「この仮説がもっと有名になり、より広く受け入れられ、より影響力をもつなら、もっと批判的に検討されるようになるだろう」というものです。

この連載はその方向で ── 「最も重要な世紀」仮説に関するより広範囲からの信用を得る方向へ ── 舵を切ろうと試みるものです。仮説が正しかったとしたら、この試みも善いことであるでしょう。私の唯一の目標が、私の信念に挑戦し、それが偽であることを知ることにあったとしても、この試みは次に取るべき最善の一手であるようにも思われます。

もちろん、もしあなたに「最も重要な世紀」仮説が正しいように思えないなら、この仮説を受け入れたり、推し進めたりしろと言うつもりはありません。それでも、もしあなたが踏みとどまる理由が、専門家の間に揺るぎないコンセンサスがないというそれだけであるとしたら、現状を無視し続けるのはおかしいように私には思えます。もしみんながみんなこの仕方で振る舞ったとしたら（つまり、どんな仮説も、揺るぎないコンセンサスに支えられていなければ無視するのだとしたら）正しい仮説も含めて一体どんな仮説が周縁的な位置から、広く受け入れるようになるのか分からないように私には思われます。

理由3　これほど全般的な懐疑主義は悪手であるように思われる。

私がGiveWellに力を入れていた頃、事あるごとに、人から大体次の趣旨のことを言われたものです。「あらゆる議論を、GiveWellがトップの慈善団体におく水準に保つ ── ランダム化比較試験、揺るぎない経験的データ等々を求める ── ことはできない。善いことを行う最高の機会には、あまり明白でないようなものもある  ── そのため、GiveWellのこの基準では、インパクトをもつための最大の潜在的機会を一部、逃してしまうことになる。」

これは正しいと私も考えます。推論やエビデンスに関する基準についての自分の一般的なアプローチをチェックして「自分のアプローチでは上手くいかないが、自分のアプローチが成功してほしいと真に思うシナリオはどのようなものか」と尋ねるのが重要であるように思われます。私の見解では、最も重要なタイミングで正しいことを行えるなら、自分勝手な思い込みに陥ったり、蛸壺化する一定程度のリスクを負うことに問題はありません。

専門家の間に揺るぎないコンセンサスがないこと ── そして自分勝手な思い込みや蛸壺化することへの懸念 ── は、「最も重要な世紀」仮説をすぐさま受け入れるよりも、その粗を隈なく探す良い理由になります。まだ見つかっていない欠陥がないかどうかを尋ね、私たち自身をつけあがらせる偏見を探し出し、この論証で最も疑問の余地があるように思われる部分を研究する、などのことを行うことができます。

しかし、この問題をあなたにとって理に適う／実際的な程度に探求したことがあるとしたら ── そして「専門家の間に揺るぎないコンセンサスがない」とか「自分勝手な思い込みに陥っていたり、議論が蛸壺化していないか心配だ」といった考慮事項以外の欠陥を見つけていないとしたら ── 「最も重要な世紀」仮説を見限ることで、本質的にはあなたは、〈機会が生まれたときに、途方もなく重要な問題の存在に気づき、それに対して行動をとる初期の人間になり損ねる〉のは確実だ。私が思うに、善いことをたくさん行う潜在的な機会を放棄するという点で、それはあまりに多くのことを手放すことになる。

1. ^{^}

   本文中の注に関しては原文を参照してください。