This is a Japanese translation of “Preventing an AI-related catastrophe - Problem profile”
私たち（80,000 Hours）はAI由来の存亡リスクを減らすという問題について、これまでで最も長く、最も詳しい分析結果を公開しました。
分析結果はこちらで読むことができます。
この投稿の残りの部分では、この分析の背景の一部や、要約、目次を掲載します。
背景
私たちの提供する他のコンテンツと同様に、こちらの分析結果は、80,000 Hoursのウェブサイトを何度か読んだことはあるが、それ以外では、EAにはあまり馴染みのない読者を対象としています。そのためこの分析結果はいくらか初歩的な内容になっています。とはいえこの分析結果がEAコミュニティのメンバーにとっても有益で、問題を明確化してくれるのではないかと期待しています。
当分析結果は主に私の（ベンジャミン・ヒルトンの）見解を反映していますが、アルデン・ケーラー（弊ウェブサイトの管理者）が編集し、ホーウィー・レンペル（80,000 Hours CEO）がレビューを行っていて、両者とも中心的な論点の多くについては同意しています。
この問題に新しく触れた人々にとっても、この分析結果がなるべく有用なものになるように、私は以下、何点かのことを試みました。
- 私が最大の問題だと理解するものに焦点を当てています。すなわち、高度な能力を備え、戦略意識的な（strategically aware）計画立案実行システムに由来する、権力追及AIのリスクです（ジョー・カールスミスが指摘した問題です）。
- 問題がより具体的に感じられるようにして、AIが引き起こす破局は具体的には、どのようなものになるのだろうかについては、単独の記事を公開しています。（こちらはカールスミスの報告と、クリスティアーノの What failure looks like、ボストロームの『スーパーインテリジェンス』に多くを負っています。）
- 重要（だとやはり私が理解する）背景情報に関して説明しています。例えば機械学習の専門家を対象としたAIリスクに関する調査の結果や、近年のAI技術の発展に関する概観、スケーリング則などです。
- 私が提示する議論が誤っていると考えられる最も強力な理由を正直に説明することを試みています。
- AIリスクへの取り組みに対する反感は強いものだと私は考えますが、この取り組みへに対する一般的な反論についての長いFAQを加えています。
また、フィードバックを提供したいが、公開したいわけではない場合には、こちらの投書フォームをご利用ください。
本投稿には、この問題についての分析結果の要約と、目次も掲載しています。
要約
次の二、三十年間でAIには実質的な進展があり、機械が、すべてではないとしても多くの課題で人間を凌駕するパフォーマンスを行うようになる可能性があると私たちは予測しています。これは、現時点では手に負えない、地球規模の問題の解決に役立つことによって、途方もない利益を生む可能性がありますが、深刻なリスクを投げかけてもいるかもしれません。そうしたリスクは不意に生じるかもしれませんし（例えば、AIシステムの安全性に対する懸念を技術的に解決できない場合）、計画的に生じるかもしれません（例えばAIシステムが地政学的な対立を煽る場合）。私たちは、こうしたリスクを減らすためになされるべきことは、これまで以上にあると考えています。
発展したAIに由来するこうしたリスクの一部は存亡リスクになりえます ── すなわちそうしたリスクは、人類滅亡や、それと等しく永続的かつ深刻な人類の弱体化を引き起こすかもしれません。[1] 急激に接近してきている、この変革的な技術をどうしたら安全に開発し、私たちの社会に取り込むことができるのかに関する懸念 ── 以下で論じる懸念 ── に対する満足のいく回答はまだありません。こうした懸念に対する回答を見つけ出すという課題は余りに見過ごされていながら、十分に取り組みやすいものであるでしょう。私たちの推定では、この問題に直接取り組んでいるのは300人ほどです。したがってAI関連の破局の可能性は、この世界の最も切迫した問題であり、この問題に貢献するに相応しい人材が取り組むべき最善の課題でしょう。
この問題に取り組む際に取りうる選択肢の内で見込みがあるのは、安全なAIシステムを創出する方法に関する技術的な研究や、AIが生むかもしれない特定のリスクを深掘りする戦略的な研究、そして、企業や政府がこうしたリスクを緩和する方法についての政策研究です。取り組む価値のある政策が策定されるなら、その政策を施行するための人材が必要になります。オペレーション・マネジメントやジャーナリズム、寄付するために稼ぐこと、あるいはそれ以外の様々な補完的な役割にも大きなインパクトがあります。その一部は、下にリストアップしています。
私たちの基本的見解
〔AIのリスクは〕推奨される - 最優先事項
AIに関連する破局は、取り組むべき最も切迫した問題のうちのひとつです。
規模
AIは、様々なインパクトをもたらすでしょうし、大規模な善さをもたらす可能性を秘めています。しかし私たちが特に懸念しているのは、極端に悪い結末となる可能性であり、中でも存亡的破局の可能性です。確信は全くもてませんが、多岐にわたる方法を用いた他の見積もりを踏まえた私たちの大まかな試算によれば、次の100年間で人工知能が引き起こす存亡的破局のリスクは、10%ほどです。この数値は研究が増えれば大幅に変わる可能性もあります ── 研究者の中には、0.5%程度だと考える者もいれば、50%よりもずっと高いと考える者もいますが、私たちにとっては、そのどちらが正しいとしても構いません。全体としては、私たちの現在の立場はこうです。AIの発展は、既知の他のどの問題よりも、人類の長期的な繁栄に対してより大きな脅威を投げかけています。
見過ごされている度合い
2020年、AIに由来する最悪のリスクを減らすために費やされた資金は約5,000万ドルであるのに対して、AIの性能を高める目的には数十億ドルがつぎ込まれました。AIの専門家からも懸念の声が高まっているのを私たちは知っていますが、それでも、AIに関連する存亡的破局の可能性を減らすことに直接取り組んでいるのは300人程度にとどまります。こうした人々の約3分の2は、技術的な側面からAIの安全性を研究しているのに対して残りの3分の1は戦略（・政策）研究と、活動団体に分かれています。
解決可能性
AI関連の破局の予防で進捗をあげるのは難しいようにみえますが、さらなる研究の余地は大いにありますし、この分野は非常に若くもあります。ですから、この課題は中程度に取り組みやすいと考えますが、あまり確信を持っているわけでもありません。 というのも、AIの安全性を高めることが取り組みやすいかどうかの評価には、ここでもやはり大きなぶれがあるからです。
目次全体
※コンテンツ全体は80,000Hoursのウェブサイト上にあります。こちらは英語のみでの提供になります。
- イントロダクション
- 1. AIが人類滅亡と同じくらい悪い結末をもたらす可能性は無視できないと多くの研究者たちが考えている
- 2. AIの進歩は目まぐるしい
- 3. 権力追及型AIは人類存亡への脅威となりうる
- 以上すべては極めて抽象的に聞こえる。AIが引き起こす存亡的破局は具体的には、どのようなものになるのだろうか
- 4. 権力追及型AIを回避する方法が見つかったとしても、まだリスクは残る
- では、AIに関連する破局はどれほどの確率で起こるのか
- 5. 私たちにはこのリスクに対処することができる
- 6. この取り組みは極端に見過ごされている
- 私たちが間違っていることを示す最も強力な議論（だと私たちが考える議論）
- AIリスクへの取り組みに反対する議論のうち、強い応答があると私たちが考える議論
- この取り組みを支援するために具体的にできること
- もっと詳しく知るためのトップリソース
- 謝辞
謝辞
記事のレビューや、極めて思慮深く、また有益なコメント、会話の機会を提供してくださった以下の諸氏にこの場を借りて感謝申し上げます（だからといって、私が書いたことのすべてに全員が同意しているわけではありません。実のところ、この記事へのコメントには多くの、貴重な相違点もありました！）。