This is a Japanese translation of “AI Safety researcher career review”
By Benjamin_Todd 2021年11月23日
この記事の概要
人工知能（AI）の開発に伴うリスクを軽減するために、強力なAIのシステムが予期しない形で壊滅的な結果を招くことなく（人間の要求に確実に応対し）人間にとって有益なものであり続けるように、技術的な課題や設計問題の解決策を研究することは不可欠です。
推奨
あなたがこのキャリアに適性を感じたのであれば、このキャリアの選択が、社会的影響を与えるための最善の道かもしれません。
当レビューについて：中程度の調査に基づく
AI安全性の研究に取り組むことが、社会的に影響が大きいのはなぜでしょうか？
これまでお伝えしたように、これから30年の間に社会を一変させるような強力な機械学習アルゴリズムが開発されるかもしれません。プラス面、マイナス面ともにその社会的影響は大きいことが予想され、大惨事を引き起こす危険をも孕んでいます。
こちらのキャリアレビューで取り上げた戦略や政策の他に、リスク抑制のために重要なもう一つの取り組みとして、強力なAIシステムに関わる技術的課題の研究が挙げられます。簡単に言うと、人間の要望に応える強力なAIシステムを設計するにはどうすればいいのか、意図しない結果を招かないためにはどうすればいいのか、といったことを研究対象にするものです。
この分野の研究は本格化し、こうした問題解決に実際携わることのできる研究組織や研究所があちこちに存在しています。例えば、 Mila（モントリオール）、 Future of Humanity Institute（オックスフォード）、Center for Human-Compatible Artificial Intelligence （バークレー）、DeepMind （ロンドン）、OpenAI （サンフランシスコ）などです。80,000 Hoursでは、このキャリアを選んだ100名以上の人々をこれまで支援してきましたが、そのうちの数人が既にこのような機関で働いています。バークレーのMachine Intelligence Research Instituteは、AIの安全性の問題に2005年から取り組んでおり、他研究所と比較しても奇抜な視点を持ち、その研究課題もまた斬新なものです。
優秀な研究者には、研究費助成金やOpen Philanthropyなどの主要支援団体からの寄付金など、利用可能な資金が豊富に用意されています。また、博士課程を修了するための学費を獲得することもできます。このような資金を利用し、研究を遂行できる人材が増えていくことが、この分野で今まさに求められているのです。
この道に進むには？
この道に進むことで、業界、非営利団体、学術界のいずれかでトップクラスの団体の研究職の獲得を目指し、最も切迫した問題に取り組むことが考えられます。また、最終的な目標として、安全性の研究を指揮・監督することを視野に入れることができます。
AI安全性に関する技術職としては①研究職②エンジニア職の二つに大きく分けられます。研究職は研究事業をリードし、エンジニアはシステムを構築し、また研究のために分析を行います。
ハイレベルな研究目標に対して、エンジニア職が持つ直接的な影響はそれほど大きくないものの、エンジニアとして活躍する人が安全性について関心を持つことはとても重要です。そうすることで、エンジニアとして、研究の最終目標の理解を深め、（そのことでより良い優先順位を組むことができます）、高い意欲を持って、安全を重視する風土を作り出し、仕事を通じて培ったキャリア・キャピタル（経験・技能）を他の将来の安全保障のプロジェクトへ活かすことができるでしょう。つまり、研究科学者以外の道を志願する人にとってエンジニア職は良い選択肢であると言えます。
また、AIの安全性に係る課題に理解を持った人材が、AI安全性に直接焦点を当てていないAI研究チームに加わることは社会にとって有益であると言えます。その中で、周囲の安全問題の関心を高める役割を果たし、また将来的に管理職に就任することがあれば、安全性を優先させるために、組織全体に影響を与えることができるでしょう。
将来的に、中国で（又は中国に関係する形で）AIの安全性に取り組める専門知識を持った人が増えることに期待しています。詳細についてはキャリアレビュー：中国のAI安全性および管理・運営に取り組む（技術研究の役割について説明しています）をご覧ください。
「AIの安全性」に取り組む人々
1. Catherine Olssonさん
Catherineはニューヨーク大学で博士号を取得し、人間の視覚の計算モデルに携わりました。やがて彼女は、AI安全性に直接関わっていくことを決意し、OpenAI、Google Brainでの勤務を経て、現在はAnthropicに勤務しています。
2. Daniel Zieglerさん
スタンフォード大学の機械学習博士課程を中退。その後、もともと何かを構築することが好きだったことから、AIの発展に貢献したいと考え、OpenAIへ応募を決心。6週間かけて面接の準備を行い、無事就職することができました。もし博士号取得をしていたら、実際キャリアをスタートするまでに6年はかかっていたかもしれません。Danielさんは自分以外の多くの人にとっても、このように道のりを短縮化し、キャリアを切り開くことは可能なのではないかと考えています。
3. Chris Olahさん
Chrisさんは魅力的で型破りな道を歩んできました。彼は博士号はおろか学士号すら持っていません。不当な刑事責任を問われた知人を弁護するために大学を中退し、その後機械学習の研究に独自に取り組み、やがてGoogle Brainでインターンシップを経験する機会を獲得しました。
適性を知る
社会貢献度が最も高いと思われるAIの安全性の研究には、おそらく前述のような人材が配置されることが予想されます。AIの研究に適性があるかどうかを確かめるためには、まずそのような仕事に就ける可能性が十分にあるかどうか考えてみることが重要です。
・機械学習で上位5に入る大学院に入れるポテンシャルがあるか。──必須条件ではありませんが、一流のAI研究機関での職を獲得できるかどうかを知る良い指標になります。
・AIの長期的な安全の重要性に確信を持っているかどうか。
・もしあなたが、FAANGやその他の競争力ある企業で勤務経験のあるソフトウェアエンジニア、あるいは機械学習エンジニアであれば、トレーニングをすることで研究職に就くことができるかも知れませんし、そうでなくてもエンジニア職に就ける可能性があります。
・関連する研究課題へ貢献できる素質があるか。──例えば、これらの研究課題に強い関心を持ち、研究課題に対して何らかの考えを持っていたり、それらを追究せずにいられないほど探究心を持っているか等です。研究職に関する適性についてはこちら
業界に入る
まず、良い大学で機械学習の博士号を取得することが一般的です。博士号を取得していない人でも、この分野に関わっていくことは可能ですが、多くの研究職のポストがある研究機関やDeepMindなどで求められることが多いようです。また、機械学習で博士号を取得すると、選択肢が広がります。例えば、AI関連の政策や応用に貢献したり、あるいは”Earning to give”（寄付するために稼ぐ）といった働き方が可能になります。ですから、後にAI安全性の研究を断念することを決めても、他で仕事を見つけることはそれほどむずかしくないと思われます。
研究職ではなく、技術職を志願する場合、博士号取得は必須ではありません。修士課程を修了するか、もしくは業界で実務の経験を積んでいくことができます。
また、神経科学（特に計算論的神経科学）の分野から、AI安全性の研究の道に進むことも可能です。この分野の専門知識や経験があれば、新たに教育を受ける必要はないかもしれません。
AI安全性において既に知識が豊富な方は、Charlie Rogers-Smithによる段階的指導付ガイドが最もお勧めです。
最近では、社会科学者にもAI安全性の分野に貢献する機会が広がっているようです。
詳細については、以下をご覧ください。
推奨する組織団体
- AI Safety Supportは、この課題解決に取り組みたいと考えているすべての人を支援することで、存亡リスクや壊滅的リスクの低減に努めています。彼らは、キャリアアドバイスやコミュニティ構築を通じて、AI安全性に取り組む新研究者を手助けすることに注力しています。
- Alignment Research Centerは、将来の機械学習システムと人々の利害が合致するよう取り組む非営利研究組織です。現在は”徹底した”アライメント戦略を開発の主眼に置いています。将来の機械学習システムが勢いよく拡張していくなかで、これを今日の業界に導入させることが可能です。→現在の募集を見る
- Anthropicは、AIの安全性と研究に取り組む企業です。信頼性、解釈可能、操縦可能な性質を伴ったAIシステムを構築します。研究チームは多くの専門分野をまたぐ人材で構成され、また彼らの研究の対象も、自然言語、人間フィードバック、スケーリング法則、強化学習、コード生成、解釈性など多岐にわたっています。→現在の募集を見る
- Center for Human-Compatible Artificial Intelligenceは、AI研究が全体的に、人間にとって有益なシステムとして開発が進むよう、概念的・技術的に必要な手段の開発に取り組んでいます。→現在の募集を見る
- Center on Long-term Riskは、AIの開発・展開に伴う最悪のリスクについて取り組んでいます。現在は、AIの対立シナリオ、および技術的・哲学的観点からみたAI協力、に注力しています。また、学際的研究の実施、助成金提供・推薦、これらの優先領域における専門家やその他研究者のコミュニティ構築なども活動の一環として取り組んでいます。→現在の募集を見る
- DeepMindは一般的なAIを開発する、欧米で最大の研究グループです。ここで私たちが自信を持ってお薦めできるのは、安全性、倫理、政策、セキュリティ問題などに具体的に取り組む職務に限ります。→現在の募集を見る
- Future of Humanity Institute(FHI) は、オックスフォード大学の学際的な研究機関です。FHI研究者は、数学、哲学、社会科学の知識を応用し、人類とその将来に関する大局的な問いに取り組んでいます。
- Machine Intelligence Research Instituteは、’00年代前半から、世界に先駆けてAIの危険性に注目し、取り組んできた団体の一つです。安全性の問題やその解決策について多くの論文を発表してきました。→現在の募集を見る
- OpenAIは、AIの安全性を守る研究を行うことを目的に、2015年に設立されました。テクノロジー界から10億ドル以上の支援を受けています。ここでは、政策、安全、セキュリティ問題に係る職務のみを薦めることにします。→現在の募集を見る
- Redwood Researchは、将来のAIシステムと人間の利害を一致を手助けするべく応用研究に取り組んでいます。→現在の募集を見る
個別キャリアアドバイスを受ける
AIの安全性は、80,000 Hoursの優先課題の一つであることから、もしもこのキャリアパスに魅力を感じていただけたのなら、より一層嬉しく思います。是非、次のステップについて1対1でアドバイスさせていただきたいと思います。どんな選択肢があるのか一緒に考えたり、同じ分野で働く仲間を紹介したり、場合によっては仕事や資金調達の機会を探すことなど、様々な場面でサポートが可能です。
Learn more
Key further reading:
- To help you get oriented in the field, we recommend the AI safety starter pack.
- Charlie Rogers-Smith’s step-by-step guide to AI safety careers
- Our problem profile on AI risk
- This curriculum on AI safety (or, for something shorter, this sequence of posts by Richard Ngo)
- Our guide to becoming an ML engineer focused on AI safety
Other further reading:
- Machine learning PhD career review
- Our AI technical safety career review from 2015
- Reading list from the Center for Human-Compatible AI
- A collection of reading lists about AI safety
- Podcast: Dr Paul Christiano on how OpenAI is developing real solutions to the ‘AI alignment problem’, and his vision of how humanity will progressively hand over decision-making to AI systems
- Podcast: Machine learning engineering for AI safety and robustness: a Google Brain engineer’s guide to entering the field
- Podcast: The world needs AI researchers. Here’s how to become one
- Podcast: Chris Olah on working at top AI labs without an undergrad degree and What the hell is going on inside neural networks
- Podcast: A machine learning alignment researcher on how to become a machine learning alignment researcher
- See all of our articles on AI safety careers
This work is licensed under a Creative Commons Attribution 4.0 International License.