This is a Japanese translation of “The Bottom Line

By Eliezer Yudkowsky 2007年9月29日

AとBの2つの密閉された箱がオークションに出品されている。そして、そのうちの1つの箱には、高価なダイヤモンドが入っている。それぞれの箱には、中にダイヤモンドが入っているかどうかを示唆するような特徴や印があるが、どれも完全に信頼できるものではない。例えば、一方の箱には青いスタンプが押されているが、ダイヤモンドの箱は空の箱よりも青いスタンプが押されている可能性が高いことを私は知っている。また、ある箱の表面には光沢があるが、ダイヤモンドの入った箱には、決して光沢などないのではないかという疑念が(定かではないが)ある。

ここで、一枚の紙を持った巧妙な論者がいるとしよう。その人はAの箱とBの箱の持ち主にこう言うのだ。「私のサービスに入札してください。落札したあかつきには、あなたの箱にダイヤモンドが入っていると私が論じましょう。そして、その箱にはより高い値がつくことになるでしょう」。そこで箱の持ち主たちがそれぞれ金額を提示した結果、Bの箱の持ち主が落札し、巧妙な論者のサービスを獲得することになった。

巧妙な論者は、自身の考えを整理し始める。まず、紙の一番下に「したがって、Bの箱にはダイヤモンドが入っている!」と書く。そして、紙の一番上に「Bの箱には青いスタンプがある」と書き、その下に「Aの箱は光っている」と書き、さらに「Bの箱はAより軽い」と、多くの特徴や印について書き連ねる。しかし、巧妙な論者はAの箱にダイヤモンドが入っていることを暗示するような特徴に関しては全て無視する。そして、私のもとにきて、今しがた紙に書き起こした内容を読んで聞かせてくるのだ。「Bの箱には青いスタンプが押されていて、Aの箱は光っている」などとはじまり、最後は「したがって、Bの箱にはダイヤモンドが入っている」と締めくくられる。

しかし考えて欲しい。巧妙な論者が結論を書き留めた瞬間、つまり紙にインクを塗った瞬間に、その物理的なインクと物理的な箱の証拠としてのもつれが固定化されたのだ。

Aの箱とBの箱にダイヤモンドが入る客観的な頻度が存在する世界の集合体(エベレットの多世界解釈テグマークの複製)をイメージするとわかりやすいかもしれない[1]

紙の上のインクが奇妙な形や曲線に形成され、「したがって、Bの箱にはダイヤモンドが入っている」というような文章に見える。もしあなたがたまたま書かれた言語の読み書きができる人であれば、困惑しながらも、この形のインクがどういうわけかBの箱にダイヤモンドが入っていることを意味していると思うだろう。印刷された絵の色を答えるよう指示された被験者が、「赤い」インクで書かれた「緑」という文字を見せられると、「赤」ではなく「緑」と答えることがよくある。インクの形状に惑わされないためには、読み書きができないことが有効なのだ。

私たちにとって、あるものの真の重要性は、他のものとの絡み合いである。もう一度、世界の集合体、エベレットの多世界解釈やテグマークの複製を考えてみよう。すべての世界のすべての巧妙な論者が紙の一番下の行にインクをつけた瞬間(これが一瞬だとしよう)、インクと箱の相関関係が固定化される。巧妙な論者は消えないペンで書くので、インクが変わることはない。箱も変化しない。インクが「したがって、Bの箱にはダイヤモンドが入っている」と示す世界の部分集合の中には、Aの箱にダイヤモンドが入っている世界がすでに一定の割合で存在している。これは、上の空白行に何が書かれようとも変わらない。

そのため、インクの証拠としてのもつれは固定化され、それが何であるかはあなたの判断に委ねられる。おそらく、より有利な主張ができると考える箱の所有者は、広告主を雇いやすいだいろうし、自身の能力不足を恐れる箱の所有者は、より高い金額を入札するだろう。箱の所有者自身が箱の特徴や印を理解していなければ、所有者の財布事情や入札の傾向については何かわかるかもしれないが、インクと箱の中身のもつれは完全に失われる。

ここで、その場にいた別の人が純粋な好奇心を持ち、まず両方の箱の際立った特徴をすべて紙に書き出し、次に自分の知識と確率法則を適用して、一番下に以下のように書き込んだと考えてみよう。「したがって、Bの箱には85%の確率でダイヤモンドが入っていると推定される。」 この筆跡は何の証拠になるだろうか?この物理的な紙に書かれた物理的なインクに至る因果の連鎖を調べてみると、その因果の連鎖は、箱が持つすべての特徴や印を経由しており、それらに依存していることがわかる。なぜなら、箱に異なる印が施された世界では、異なる確率が書き記されるからである。

したがって、好奇心から調査した者の筆跡は、特徴と印、そして箱の中身と絡み合っている。一方、巧妙な論者の筆跡は、どちらの所有者が高い入札額を支払ったかということの証拠にしかならない。インクが示すことには大きな違いがあるが、そのインクの形を愚かにも読み上げる者にとっては、その言葉の響きは同じようにしか聞こえないかもしれない。

合理主義者としてのあなたがどれほど有能かは、どのアルゴリズムが実際にあなたの思考の最下行を書き込むかによって決定される。例えば、車のブレーキを踏むと金属の軋み音がするとして、ブレーキを交換する金銭的コストを避けたいのであれば、車の修理が必要ではない理由を探すことができる。しかし、エベレットの多世界解釈やテグマークの複製の世界であなたが生き残る実際の割合(ここでは合理主義者としてどれほど有能かを示すとする)は、どの結論に対する論拠を探すかを決定するアルゴリズムによって決まる。この場合であれば、実際のアルゴリズムは「高価なものは修理しない」である。これが良いアルゴリズムであれば問題ないが、悪いアルゴリズムであればそれはもう仕方ない。その後に書く、結論の上に記される論拠は何も変えることがない。

これは、あなた自身の考え方に対する注意を意図して書いているのであって、気に入らないどんな結論に対しても使えるような完全な一般的反論方法ではない。なぜなら、もしあなたが自身の最初の信念を保持するよう動機づけるのであれば、「私の議論相手は賢い論者だ」と主張するのが実際賢い論法になるからだ[2]。世界一賢い論者は、太陽が輝いていることを指摘するかもしれないが、それでもまだ昼間であるのだろう。

  1. ^

    Max Tegmark, “Parallel Universes,” in Science and Ultimate Reality: Quantum Theory, Cosmology, and Complexity, ed. John D. Barrow, Paul C. W. Davies, and Charles L. Harper Jr. (New York: Cambridge University Press, 2004), 459–491, http://arxiv.org/abs/astro-ph/0302131.

  2. ^

    補足:「私の議論相手は言葉巧みに話しているだけだ」と言うことで、主張内容に関わらずその主張の信用度を下げることができてしまう。

1

0
0

Reactions

0
0
Comments


No comments on this post yet.
Be the first to respond.
Curated and popular this week
 ·  · 20m read
 · 
Advanced AI could unlock an era of enlightened and competent government action. But without smart, active investment, we’ll squander that opportunity and barrel blindly into danger. Executive summary See also a summary on Twitter / X. The US federal government is falling behind the private sector on AI adoption. As AI improves, a growing gap would leave the government unable to effectively respond to AI-driven existential challenges and threaten the legitimacy of its democratic institutions. A dual imperative → Government adoption of AI can’t wait. Making steady progress is critical to: * Boost the government’s capacity to effectively respond to AI-driven existential challenges * Help democratic oversight keep up with the technological power of other groups * Defuse the risk of rushed AI adoption in a crisis → But hasty AI adoption could backfire. Without care, integration of AI could: * Be exploited, subverting independent government action * Lead to unsafe deployment of AI systems * Accelerate arms races or compress safety research timelines Summary of the recommendations 1. Work with the US federal government to help it effectively adopt AI Simplistic “pro-security” or “pro-speed” attitudes miss the point. Both are important — and many interventions would help with both. We should: * Invest in win-win measures that both facilitate adoption and reduce the risks involved, e.g.: * Build technical expertise within government (invest in AI and technical talent, ensure NIST is well resourced) * Streamline procurement processes for AI products and related tech (like cloud services) * Modernize the government’s digital infrastructure and data management practices * Prioritize high-leverage interventions that have strong adoption-boosting benefits with minor security costs or vice versa, e.g.: * On the security side: investing in cyber security, pre-deployment testing of AI in high-stakes areas, and advancing research on mitigating the ris
saulius
 ·  · 22m read
 · 
Summary In this article, I estimate the cost-effectiveness of five Anima International programs in Poland: improving cage-free and broiler welfare, blocking new factory farms, banning fur farming, and encouraging retailers to sell more plant-based protein. I estimate that together, these programs help roughly 136 animals—or 32 years of farmed animal life—per dollar spent. Animal years affected per dollar spent was within an order of magnitude for all five evaluated interventions. I also tried to estimate how much suffering each program alleviates. Using SADs (Suffering-Adjusted Days)—a metric developed by Ambitious Impact (AIM) that accounts for species differences and pain intensity—Anima’s programs appear highly cost-effective, even compared to charities recommended by Animal Charity Evaluators. However, I also ran a small informal survey to understand how people intuitively weigh different categories of pain defined by the Welfare Footprint Institute. The results suggested that SADs may heavily underweight brief but intense suffering. Based on those findings, I created my own metric DCDE (Disabling Chicken Day Equivalent) with different weightings. Under this approach, interventions focused on humane slaughter look more promising, while cage-free campaigns appear less impactful. These results are highly uncertain but show how sensitive conclusions are to how we value different kinds of suffering. My estimates are highly speculative, often relying on subjective judgments from Anima International staff regarding factors such as the likelihood of success for various interventions. This introduces potential bias. Another major source of uncertainty is how long the effects of reforms will last if achieved. To address this, I developed a methodology to estimate impact duration for chicken welfare campaigns. However, I’m essentially guessing when it comes to how long the impact of farm-blocking or fur bans might last—there’s just too much uncertainty. Background In
 ·  · 2m read
 · 
In my opinion, we have known that the risk of AI catastrophe is too high and too close for at least two years. At that point, it’s time to work on solutions (in my case, advocating an indefinite pause on frontier model development until it’s safe to proceed through protests and lobbying as leader of PauseAI US).  Not every policy proposal is as robust to timeline length as PauseAI. It can be totally worth it to make a quality timeline estimate, both to inform your own work and as a tool for outreach (like ai-2027.com). But most of these timeline updates simply are not decision-relevant if you have a strong intervention. If your intervention is so fragile and contingent that every little update to timeline forecasts matters, it’s probably too finicky to be working on in the first place.  I think people are psychologically drawn to discussing timelines all the time so that they can have the “right” answer and because it feels like a game, not because it really matters the day and the hour of… what are these timelines even leading up to anymore? They used to be to “AGI”, but (in my opinion) we’re basically already there. Point of no return? Some level of superintelligence? It’s telling that they are almost never measured in terms of actions we can take or opportunities for intervention. Indeed, it’s not really the purpose of timelines to help us to act. I see people make bad updates on them all the time. I see people give up projects that have a chance of working but might not reach their peak returns until 2029 to spend a few precious months looking for a faster project that is, not surprisingly, also worse (or else why weren’t they doing it already?) and probably even lower EV over the same time period! For some reason, people tend to think they have to have their work completed by the “end” of the (median) timeline or else it won’t count, rather than seeing their impact as the integral over the entire project that does fall within the median timeline estimate or