Effective Altruism Forum
EA Forum

Hide table of contents
by EA Japan
2 min read 0

2

Effective altruism in JapaneseTranslation
Personal Blog

This is a Japanese translation of “AI Safety researcher career review”

By Benjamin_Todd 2021年11月23日

この記事の概要

人工知能（AI）の開発に伴うリスクを軽減するために、強力なAIのシステムが予期しない形で壊滅的な結果を招くことなく（人間の要求に確実に応対し）人間にとって有益なものであり続けるように、技術的な課題や設計問題の解決策を研究することは不可欠です。

推奨

あなたがこのキャリアに適性を感じたのであれば、このキャリアの選択が、社会的影響を与えるための最善の道かもしれません。

当レビューについて：中程度の調査に基づく

AI安全性の研究に取り組むことが、社会的に影響が大きいのはなぜでしょうか？

これまでお伝えしたように、これから30年の間に社会を一変させるような強力な機械学習アルゴリズムが開発されるかもしれません。プラス面、マイナス面ともにその社会的影響は大きいことが予想され、大惨事を引き起こす危険をも孕んでいます。

こちらのキャリアレビューで取り上げた戦略や政策の他に、リスク抑制のために重要なもう一つの取り組みとして、強力なAIシステムに関わる技術的課題の研究が挙げられます。簡単に言うと、人間の要望に応える強力なAIシステムを設計するにはどうすればいいのか、意図しない結果を招かないためにはどうすればいいのか、といったことを研究対象にするものです。

この分野の研究は本格化し、こうした問題解決に実際携わることのできる研究組織や研究所があちこちに存在しています。例えば、 Mila（モントリオール）、 Future of Humanity Institute（オックスフォード）、Center for Human-Compatible Artificial Intelligence （バークレー）、DeepMind （ロンドン）、OpenAI （サンフランシスコ）などです。80,000 Hoursでは、このキャリアを選んだ100名以上の人々をこれまで支援してきましたが、そのうちの数人が既にこのような機関で働いています。バークレーのMachine Intelligence Research Instituteは、AIの安全性の問題に2005年から取り組んでおり、他研究所と比較しても奇抜な視点を持ち、その研究課題もまた斬新なものです。

優秀な研究者には、研究費助成金やOpen Philanthropyなどの主要支援団体からの寄付金など、利用可能な資金が豊富に用意されています。また、博士課程を修了するための学費を獲得することもできます。このような資金を利用し、研究を遂行できる人材が増えていくことが、この分野で今まさに求められているのです。

この道に進むには？

この道に進むことで、業界、非営利団体、学術界のいずれかでトップクラスの団体の研究職の獲得を目指し、最も切迫した問題に取り組むことが考えられます。また、最終的な目標として、安全性の研究を指揮・監督することを視野に入れることができます。

AI安全性に関する技術職としては①研究職②エンジニア職の二つに大きく分けられます。研究職は研究事業をリードし、エンジニアはシステムを構築し、また研究のために分析を行います。

ハイレベルな研究目標に対して、エンジニア職が持つ直接的な影響はそれほど大きくないものの、エンジニアとして活躍する人が安全性について関心を持つことはとても重要です。そうすることで、エンジニアとして、研究の最終目標の理解を深め、（そのことでより良い優先順位を組むことができます）、高い意欲を持って、安全を重視する風土を作り出し、仕事を通じて培ったキャリア・キャピタル（経験・技能）を他の将来の安全保障のプロジェクトへ活かすことができるでしょう。つまり、研究科学者以外の道を志願する人にとってエンジニア職は良い選択肢であると言えます。

また、AIの安全性に係る課題に理解を持った人材が、AI安全性に直接焦点を当てていないAI研究チームに加わることは社会にとって有益であると言えます。その中で、周囲の安全問題の関心を高める役割を果たし、また将来的に管理職に就任することがあれば、安全性を優先させるために、組織全体に影響を与えることができるでしょう。

将来的に、中国で（又は中国に関係する形で）AIの安全性に取り組める専門知識を持った人が増えることに期待しています。詳細についてはキャリアレビュー：中国のAI安全性および管理・運営に取り組む（技術研究の役割について説明しています）をご覧ください。

「AIの安全性」に取り組む人々

1. Catherine Olssonさん

Catherineはニューヨーク大学で博士号を取得し、人間の視覚の計算モデルに携わりました。やがて彼女は、AI安全性に直接関わっていくことを決意し、OpenAI、Google Brainでの勤務を経て、現在はAnthropicに勤務しています。

もっと詳しく

2. Daniel Zieglerさん

スタンフォード大学の機械学習博士課程を中退。その後、もともと何かを構築することが好きだったことから、AIの発展に貢献したいと考え、OpenAIへ応募を決心。6週間かけて面接の準備を行い、無事就職することができました。もし博士号取得をしていたら、実際キャリアをスタートするまでに6年はかかっていたかもしれません。Danielさんは自分以外の多くの人にとっても、このように道のりを短縮化し、キャリアを切り開くことは可能なのではないかと考えています。

もっと詳しく

3. Chris Olahさん

Chrisさんは魅力的で型破りな道を歩んできました。彼は博士号はおろか学士号すら持っていません。不当な刑事責任を問われた知人を弁護するために大学を中退し、その後機械学習の研究に独自に取り組み、やがてGoogle Brainでインターンシップを経験する機会を獲得しました。

もっと詳しく

適性を知る

社会貢献度が最も高いと思われるAIの安全性の研究には、おそらく前述のような人材が配置されることが予想されます。AIの研究に適性があるかどうかを確かめるためには、まずそのような仕事に就ける可能性が十分にあるかどうか考えてみることが重要です。

・機械学習で上位5に入る大学院に入れるポテンシャルがあるか。──必須条件ではありませんが、一流のAI研究機関での職を獲得できるかどうかを知る良い指標になります。

・AIの長期的な安全の重要性に確信を持っているかどうか。

・もしあなたが、FAANGやその他の競争力ある企業で勤務経験のあるソフトウェアエンジニア、あるいは機械学習エンジニアであれば、トレーニングをすることで研究職に就くことができるかも知れませんし、そうでなくてもエンジニア職に就ける可能性があります。

・関連する研究課題へ貢献できる素質があるか。──例えば、これらの研究課題に強い関心を持ち、研究課題に対して何らかの考えを持っていたり、それらを追究せずにいられないほど探究心を持っているか等です。研究職に関する適性についてはこちら

業界に入る

まず、良い大学で機械学習の博士号を取得することが一般的です。博士号を取得していない人でも、この分野に関わっていくことは可能ですが、多くの研究職のポストがある研究機関やDeepMindなどで求められることが多いようです。また、機械学習で博士号を取得すると、選択肢が広がります。例えば、AI関連の政策や応用に貢献したり、あるいは”Earning to give”（寄付するために稼ぐ）といった働き方が可能になります。ですから、後にAI安全性の研究を断念することを決めても、他で仕事を見つけることはそれほどむずかしくないと思われます。

研究職ではなく、技術職を志願する場合、博士号取得は必須ではありません。修士課程を修了するか、もしくは業界で実務の経験を積んでいくことができます。

また、神経科学（特に計算論的神経科学）の分野から、AI安全性の研究の道に進むことも可能です。この分野の専門知識や経験があれば、新たに教育を受ける必要はないかもしれません。

AI安全性において既に知識が豊富な方は、Charlie Rogers-Smithによる段階的指導付ガイドが最もお勧めです。

最近では、社会科学者にもAI安全性の分野に貢献する機会が広がっているようです。

詳細については、以下をご覧ください。

推奨する組織団体

  • AI Safety Supportは、この課題解決に取り組みたいと考えているすべての人を支援することで、存亡リスクや壊滅的リスクの低減に努めています。彼らは、キャリアアドバイスやコミュニティ構築を通じて、AI安全性に取り組む新研究者を手助けすることに注力しています。
  • Alignment Research Centerは、将来の機械学習システムと人々の利害が合致するよう取り組む非営利研究組織です。現在は”徹底した”アライメント戦略を開発の主眼に置いています。将来の機械学習システムが勢いよく拡張していくなかで、これを今日の業界に導入させることが可能です。→現在の募集を見る
  • Anthropicは、AIの安全性と研究に取り組む企業です。信頼性、解釈可能、操縦可能な性質を伴ったAIシステムを構築します。研究チームは多くの専門分野をまたぐ人材で構成され、また彼らの研究の対象も、自然言語、人間フィードバック、スケーリング法則、強化学習、コード生成、解釈性など多岐にわたっています。→現在の募集を見る
  • Center for Human-Compatible Artificial Intelligenceは、AI研究が全体的に、人間にとって有益なシステムとして開発が進むよう、概念的・技術的に必要な手段の開発に取り組んでいます。→現在の募集を見る
  • Center on Long-term Riskは、AIの開発・展開に伴う最悪のリスクについて取り組んでいます。現在は、AIの対立シナリオ、および技術的・哲学的観点からみたAI協力、に注力しています。また、学際的研究の実施、助成金提供・推薦、これらの優先領域における専門家やその他研究者のコミュニティ構築なども活動の一環として取り組んでいます。→現在の募集を見る
  • DeepMindは一般的なAIを開発する、欧米で最大の研究グループです。ここで私たちが自信を持ってお薦めできるのは、安全性、倫理、政策、セキュリティ問題などに具体的に取り組む職務に限ります。→現在の募集を見る
  • Future of Humanity Institute(FHI) は、オックスフォード大学の学際的な研究機関です。FHI研究者は、数学、哲学、社会科学の知識を応用し、人類とその将来に関する大局的な問いに取り組んでいます。
  • Machine Intelligence Research Instituteは、’00年代前半から、世界に先駆けてAIの危険性に注目し、取り組んできた団体の一つです。安全性の問題やその解決策について多くの論文を発表してきました。→現在の募集を見る
  • OpenAIは、AIの安全性を守る研究を行うことを目的に、2015年に設立されました。テクノロジー界から10億ドル以上の支援を受けています。ここでは、政策、安全、セキュリティ問題に係る職務のみを薦めることにします。→現在の募集を見る
  • Redwood Researchは、将来のAIシステムと人間の利害を一致を手助けするべく応用研究に取り組んでいます。→現在の募集を見る

個別キャリアアドバイスを受ける

AIの安全性は、80,000 Hoursの優先課題の一つであることから、もしもこのキャリアパスに魅力を感じていただけたのなら、より一層嬉しく思います。是非、次のステップについて1対1でアドバイスさせていただきたいと思います。どんな選択肢があるのか一緒に考えたり、同じ分野で働く仲間を紹介したり、場合によっては仕事や資金調達の機会を探すことなど、様々な場面でサポートが可能です。

面談を申し込む

Learn more

Key further reading:

Other further reading:

This work is licensed under a Creative Commons Attribution 4.0 International License.

2

0
0

Reactions

0
0
Comments


No comments on this post yet.
Be the first to respond.
More from EA Japan
47
ウィリアム・マッカスキル「効果的利他主義の定義」
EA Japan
· · 5m read
2
2
View more
Curated and popular this week
Paul Present
 ·  · 28m read
 · 
Note: I am not a malaria expert. This is my best-faith attempt at answering a question that was bothering me, but this field is a large and complex field, and I’ve almost certainly misunderstood something somewhere along the way. Summary While the world made incredible progress in reducing malaria cases from 2000 to 2015, the past 10 years have seen malaria cases stop declining and start rising. I investigated potential reasons behind this increase through reading the existing literature and looking at publicly available data, and I identified three key factors explaining the rise: 1. Population Growth: Africa's population has increased by approximately 75% since 2000. This alone explains most of the increase in absolute case numbers, while cases per capita have remained relatively flat since 2015. 2. Stagnant Funding: After rapid growth starting in 2000, funding for malaria prevention plateaued around 2010. 3. Insecticide Resistance: Mosquitoes have become increasingly resistant to the insecticides used in bednets over the past 20 years. This has made older models of bednets less effective, although they still have some effect. Newer models of bednets developed in response to insecticide resistance are more effective but still not widely deployed.  I very crudely estimate that without any of these factors, there would be 55% fewer malaria cases in the world than what we see today. I think all three of these factors are roughly equally important in explaining the difference.  Alternative explanations like removal of PFAS, climate change, or invasive mosquito species don't appear to be major contributors.  Overall this investigation made me more convinced that bednets are an effective global health intervention.  Introduction In 2015, malaria rates were down, and EAs were celebrating. Giving What We Can posted this incredible gif showing the decrease in malaria cases across Africa since 2000: Giving What We Can said that > The reduction in malaria has be
LewisBollard
 ·  · 8m read
 · 
> How the dismal science can help us end the dismal treatment of farm animals By Martin Gould ---------------------------------------- Note: This post was crossposted from the Open Philanthropy Farm Animal Welfare Research Newsletter by the Forum team, with the author's permission. The author may not see or respond to comments on this post. ---------------------------------------- This year we’ll be sharing a few notes from my colleagues on their areas of expertise. The first is from Martin. I’ll be back next month. - Lewis In 2024, Denmark announced plans to introduce the world’s first carbon tax on cow, sheep, and pig farming. Climate advocates celebrated, but animal advocates should be much more cautious. When Denmark’s Aarhus municipality tested a similar tax in 2022, beef purchases dropped by 40% while demand for chicken and pork increased. Beef is the most emissions-intensive meat, so carbon taxes hit it hardest — and Denmark’s policies don’t even cover chicken or fish. When the price of beef rises, consumers mostly shift to other meats like chicken. And replacing beef with chicken means more animals suffer in worse conditions — about 190 chickens are needed to match the meat from one cow, and chickens are raised in much worse conditions. It may be possible to design carbon taxes which avoid this outcome; a recent paper argues that a broad carbon tax would reduce all meat production (although it omits impacts on egg or dairy production). But with cows ten times more emissions-intensive than chicken per kilogram of meat, other governments may follow Denmark’s lead — focusing taxes on the highest emitters while ignoring the welfare implications. Beef is easily the most emissions-intensive meat, but also requires the fewest animals for a given amount. The graph shows climate emissions per tonne of meat on the right-hand side, and the number of animals needed to produce a kilogram of meat on the left. The fish “lives lost” number varies significantly by
Neel Nanda
 ·  · 1m read
 · 
TL;DR Having a good research track record is some evidence of good big-picture takes, but it's weak evidence. Strategic thinking is hard, and requires different skills. But people often conflate these skills, leading to excessive deference to researchers in the field, without evidence that that person is good at strategic thinking specifically. I certainly try to have good strategic takes, but it's hard, and you shouldn't assume I succeed! Introduction I often find myself giving talks or Q&As about mechanistic interpretability research. But inevitably, I'll get questions about the big picture: "What's the theory of change for interpretability?", "Is this really going to help with alignment?", "Does any of this matter if we can’t ensure all labs take alignment seriously?". And I think people take my answers to these way too seriously. These are great questions, and I'm happy to try answering them. But I've noticed a bit of a pathology: people seem to assume that because I'm (hopefully!) good at the research, I'm automatically well-qualified to answer these broader strategic questions. I think this is a mistake, a form of undue deference that is both incorrect and unhelpful. I certainly try to have good strategic takes, and I think this makes me better at my job, but this is far from sufficient. Being good at research and being good at high level strategic thinking are just fairly different skillsets! But isn’t someone being good at research strong evidence they’re also good at strategic thinking? I personally think it’s moderate evidence, but far from sufficient. One key factor is that a very hard part of strategic thinking is the lack of feedback. Your reasoning about confusing long-term factors need to extrapolate from past trends and make analogies from things you do understand better, and it can be quite hard to tell if what you're saying is complete bullshit or not. In an empirical science like mechanistic interpretability, however, you can get a lot more fe
Relevant opportunities
48
I'm hiring a Research Assistant for a nonfiction book on AI!
Garrison
· · 1m read
2
2
23
Center on Long-Term Risk: Summer Research Fellowship 2025
Center on Long-Term Risk
· · 1m read
0
0
53
AI Moral Alignment: The Most Important Goal of Our Generation
Ronen Bar
· · 10m read
11
11
View more