Hide table of contents

This is a Japanese translation of “The Possibility of an Ongoing Moral Catastrophe (Summary)

By Linch 2019年 8月3日

私は数年前、地元のディスカッショングループ用にエバン・ウィリアムズによる優れた哲学論文のアウトラインを作りました。そのアウトラインが徐々にEAのオンラインコミュニティ上で回覧されるようになり、もっと広く知らせるようにと勧められたので、こちらに掲載しようと思います。

その哲学論文は読みやすく、無料で閲覧できるので、時間があれば原著を読むことを強くお薦めします。

要約

I. 核となる主張

  1. 道徳的客観主義(あるいはそれに近いもの)を前提とした場合、私たちはおそらく知らず知らずのうちに重大かつ大規模な過ち(「現在進行中の道徳的大惨事」)を犯していることになる。

II. 定義:道徳的大惨事とは?3つの基準

  1. 重大な過ちでなければならない(軽い侮辱や不都合というよりも不正な死や奴隷制に近い)
  2. 大規模でなければならない(一回きりの不当な処刑や一人に対する拷問よりも規模が大きい)
  3. 社会の幅広い層が、行動や行動しないことを通じて責任を負う(一人の独裁者による一方的な不可抗力ではありえない)

III. 私たちが未知の道徳的大惨事をおそらく迎えるわけ。二つの主な主張。

  1. 帰納法
    1. 前提条件:自分自身や社会の道徳に則って行動していても、大きな道徳的な過ちを犯すことは可能である。
      1. 基本的な動機:ナチスが正直で誠実であったとしても、重要な点において間違った行動をとっているように思われる。
      2. この過ちが、誤った経験的信念(全てのユダヤ人は世界規模の陰謀に加担している)によるものなのか、間違った価値観(ユダヤ人は人間以下であり道徳的価値はない)によるものなのかは関係ない。
    2. この前提を念頭に置くと、歴史上の主要な社会はほぼ全て、破滅的に間違った行動をとってきたことになる。
      1. コンキスタドール、十字軍、イスラム帝国、アステカなどの、彼らが善や正義と呼んだ神の名の下において、征服行為を行なった者のことを考えてほしい。
      2. これらの歴史上の人物がみな、そのような信念を称しただけで、真の信者ではなく、嘘つきであったということは考えにくい。
      3. 存在の証明:人は無自覚のまま、大きな悪事を行うことができる(そして実際に行っている)。
    3. 現在進行中の道徳的大惨事を私たちが迎えることは、ただの可能性ではなく、十分にありえる
      1. 私たちは過去の世代とさほど変わらない。文字通り何百もの世代が、自分たちは正しくて、「唯一の真の道徳」を見つけ出したと考えてきた。
      2. 私たちの親の世代では、人種やセクシュアリティなどの理由で、ある人は他の人より多くの権利を持っているというのが一般的な考えであった。
      3. 私たちは道徳が激変している時代に生きており、私たちの道徳は祖父母の時代とはかなり異なっている。
      4. 仮にいずれどこかの世代が「道徳の全て」を解明するとしても、その全てを正しく理解する世代はおそらく、その親世代がほとんどすべてを正しく理解している世代であろう。
  2. 選言的論法
    1. 活動家が免責されるわけではない。たとえ、あなたが興味のある問題が全て解決したとしても、私たちの社会がよいものであるとは限らない。なぜなら、そこにはまだ未知の道徳的大惨事があるから。
    2. 社会が間違いを犯すにはさまざまな方法があり、文字通り全てを正すことはほぼ不可能である。
    3. これは単なる些細な心配事ではなく、ホロコーストの悲惨さに相当するレベルで私たちが間違っている可能性がある。
    4. 社会の間違い方にはさまざまな種類がある。
      1. 誰が道徳的地位を持つのかに関して間違っているかもしれない(例:胎児や動物)
      2. 道徳的に重要な人に害を及ぼしたり傷つけたりすることに関して経験的に間違っているかもしれない(例:子どもへの宗教的思想の吹き込み)
      3. ある義務に関しては正しくても、他の義務に関しては間違っているかもしれない。
        1. 誤った道徳的義務に過剰な注意を払い、リソースを使うことで、道徳に反した行動をとりうる(十字軍のように)。
      4. 何が間違っていて修正されるべきであるかに関しては正しいが、さまざまな修正への優先順位の付け方に関しては間違っているかもれない。
      5. 何が間違っているかに関しては正しいが、何を修正することが私たちの責任であり、何がそうでないのかに関しては間違っているかもしれない。(例:貧困、国境)
      6. 遠い未来について間違っているかもしれない。(出生論、存亡リスク)
    5. 各カテゴリーには、複数の間違え方がある。
      1. さらに、なかには相互に排他的なものもある。例えば、プロライフ(中絶反対派)を唱える人が正しくて、人工妊娠中絶は大きな罪であるかもしれないし、もしくは、胎児は重要ではなく、例えば妊娠末期の中絶において、女性の自由を奪うことは道徳に強く反するかもしれない。
      2. 私たちが現在、これら全てのトレードオフにおいて完璧なバランスを取れているとは考えにくい。
    6. 選言的判断が絡んでくる。
      1. 重要な問題それぞれにおいて95%の確率で私たちが正しいと信じたとして、そのような問題が15個あったとすると、私たちが正しい合計確率は 0.95^15 ~= 46% である(独立性を仮定)。 
      2. 実際には、重要な問題それぞれにおいて95%の確率で正しいと思うのは過信した見積もりであり、15項目というのは少なぎるように思われる。

IV. 私たちはどうすればいいのか?

  1. 切り捨てられた可能性:予防策を取る。確信が持てない場合は、道徳的に言って「安全な」行動をとる。
  2. 例えば、畜産動物には知覚力はないだろうとか、知覚力の有無は道徳的に重要ではないと考えていたとしても、「念のために」ベジタリアンになることができる。
  3. この方法は強力ではないため、一般的には十分に機能しない。前述のように、あまりに多くのことが間違っている可能性があり、なかには矛盾したものもある。
  4. 過ちを認識する
    1. どのような破滅的な過ちを犯しているのか、積極的に把握しようとする。
      1. 私たちが決定的に間違っている可能性のある実践的な分野(例:動物の意識)をもっと研究する
      2. 道徳哲学をもっと研究する
        1. 重要:道徳的な知恵が増えずに技術的な知識が増えることはよくない・
        2. 核兵器を持ったチンギス・ハーンを想像してほしい
      3. これらの分野は相互に関わらなければならない
        1. 哲学者が動物は意識があるのであれば重要であり、科学者がイルカは意識があるが重要かはわからない、と言うだけでは不十分である。私たちの社会がこれらを統合できなければならない。
    2. 本物のアイディアが勝つアイディア市場が必要である
    3. 急速な知的進歩は必要不可欠である
      1. ナチスを倒すため、あるいは奴隷制度を終わらせるために文字通りの戦争をする価値があるのならば、私たちが現在どんな過ちを犯しているかを解明するために、多大な物質的投資をして社会的損失を被る価値があるはずだ。
  5. 改善した価値観を実現する
    1. 私たちが犯してきた重大な道徳的過ちを理解したら、過去の被害に対して道徳的な償いをする、さもなければ少なくとも同様の間違いを犯してさらに被害を出すことをできるだけ早く止められるようにしたい。
    2. そのためには、物質的な面での柔軟性を最大化したい。
      1. 極端に貧しい社会や戦争で荒廃した社会では、必要に応じて迅速に道徳的な変化を起こすことはできないだろう。
      2. 例:特定のデザインに沿って構築された複雑なシステムは、衝撃に弱く、変化しにくい。アンチフラジャイルを参照。
      3. 戦争に備えて資源を蓄えておくのと同じように、将来の道徳的な緊急事態のために資源を蓄え、例えば賠償金の支払いや、少なくとも適切な変更を迅速に行うことができるようにしておくと良いだろう。
        1. これが実際にどのように可能なのかはよく分からない。例えば、個人は通常、投資をすることで貯蓄し、政府は他の政府の債券を購入したり、民間部門に投資したりすることで貯蓄するが、世界全体としてどのように「貯蓄」するのかは不明だ。
    3. 社会情勢の柔軟性を最大化したい。
      1. 物質的には大きな変化が可能でも、惰性や保守的なバイアスにより、社会がそのような変化を非常に難しくしている場合がある。
      2. 例えば、憲法改正によって社会を統治することは柔軟性に欠ける社会状況をもたらす可能性が高く、疑念の目をもって見る必要がある。

V. 結論・その他の指摘

  1. 批判的考察①:道徳的大惨事を是正できる社会を作ることと、実際に道徳的大惨事を是正することは同じではない。
  2. 批判的考察 ②:道徳的大惨事の是正に備えるために上で提案した方策の多くは、それ自体が悪であるかもしれない。
    1. 例えば、道徳的研究に費やされたお金は、代わりに世界の貧困に使われたかもしれないし、最大限に柔軟な社会を構築するには、現在の人々の権利に対する非情な制約を伴うかもしれない。
  3. しかし、短期的にはまだこれらをやってみる価値がある。

2

0
0

Reactions

0
0
Comments


No comments on this post yet.
Be the first to respond.
Curated and popular this week
jackva
 ·  · 3m read
 · 
 [Edits on March 10th for clarity, two sub-sections added] Watching what is happening in the world -- with lots of renegotiation of institutional norms within Western democracies and a parallel fracturing of the post-WW2 institutional order -- I do think we, as a community, should more seriously question our priors on the relative value of surgical/targeted and broad system-level interventions. Speaking somewhat roughly, with EA as a movement coming of age in an era where democratic institutions and the rule-based international order were not fundamentally questioned, it seems easy to underestimate how much the world is currently changing and how much riskier a world of stronger institutional and democratic backsliding and weakened international norms might be. Of course, working on these issues might be intractable and possibly there's nothing highly effective for EAs to do on the margin given much attention to these issues from society at large. So, I am not here to confidently state we should be working on these issues more. But I do think in a situation of more downside risk with regards to broad system-level changes and significantly more fluidity, it seems at least worth rigorously asking whether we should shift more attention to work that is less surgical (working on specific risks) and more systemic (working on institutional quality, indirect risk factors, etc.). While there have been many posts along those lines over the past months and there are of course some EA organizations working on these issues, it stil appears like a niche focus in the community and none of the major EA and EA-adjacent orgs (including the one I work for, though I am writing this in a personal capacity) seem to have taken it up as a serious focus and I worry it might be due to baked-in assumptions about the relative value of such work that are outdated in a time where the importance of systemic work has changed in the face of greater threat and fluidity. When the world seems to
 ·  · 4m read
 · 
Forethought[1] is a new AI macrostrategy research group cofounded by Max Dalton, Will MacAskill, Tom Davidson, and Amrit Sidhu-Brar. We are trying to figure out how to navigate the (potentially rapid) transition to a world with superintelligent AI systems. We aim to tackle the most important questions we can find, unrestricted by the current Overton window. More details on our website. Why we exist We think that AGI might come soon (say, modal timelines to mostly-automated AI R&D in the next 2-8 years), and might significantly accelerate technological progress, leading to many different challenges. We don’t yet have a good understanding of what this change might look like or how to navigate it. Society is not prepared. Moreover, we want the world to not just avoid catastrophe: we want to reach a really great future. We think about what this might be like (incorporating moral uncertainty), and what we can do, now, to build towards a good future. Like all projects, this started out with a plethora of Google docs. We ran a series of seminars to explore the ideas further, and that cascaded into an organization. This area of work feels to us like the early days of EA: we’re exploring unusual, neglected ideas, and finding research progress surprisingly tractable. And while we start out with (literally) galaxy-brained schemes, they often ground out into fairly specific and concrete ideas about what should happen next. Of course, we’re bringing principles like scope sensitivity, impartiality, etc to our thinking, and we think that these issues urgently need more morally dedicated and thoughtful people working on them. Research Research agendas We are currently pursuing the following perspectives: * Preparing for the intelligence explosion: If AI drives explosive growth there will be an enormous number of challenges we have to face. In addition to misalignment risk and biorisk, this potentially includes: how to govern the development of new weapons of mass destr
 ·  · 2m read
 · 
2024 marked 10 years since we launched Open Philanthropy. We spent our first decade learning (about grantmaking, cause selection, and the history of philanthropy), and growing our team and expertise to be able to effectively deploy billions of dollars from Good Ventures, our main funder. Our early grants — and some grantees we’ve helped get started — are now old enough that we can see material signs of our impact in the world. The start of our second decade also marked a major change in our direction. With Good Ventures approaching the level of spending consistent with its founders’ ambition to spend down in their lifetimes, we finally began to execute at scale on our long-held ambition to support other funders, and found a surprising degree of early success. I expect that our ambition to serve additional partners will guide much of our second decade. A few highlights from the year: * We launched the Lead Exposure Action Fund (LEAF), a >$100 million collaborative fund to reduce lead exposure globally. LEAF marked our first major foray into partnering with other funders beyond Good Ventures, and we’re planning to do a lot more in this vein going forward — more below. * Our longtime grantee David Baker won the Nobel Prize in Chemistry for his groundbreaking work using AI for protein design. We’re proud to have supported both the basic methods development and the potentially high-impact humanitarian applications of his work for ailments like syphilis, hepatitis C, snakebite, and malaria. * Our grantee Open New York played an important role in the recent passage of New York City’s largest zoning overhaul in over 60 years. The city planning department expects the package to create 80,000 new homes over 15 years, making this the first set of major YIMBY reforms to pass in New York City. * Research mentorship programs that we fund continue to produce some of the top technical talent in AI safety and security. Graduates of programs like MATS, the Astra Fellowship, LA