引き寄せの本を何冊も読んだ。どれも自信たっぷりに書いてある。それでも、本当かどうかが決められない人。
効いたという話と、嘘だという話をどちらも読んで、判定を保留したままの人。
僕も、判定を保留したまま何年か置いていました。
先に結論を書きます。本当かどうかは、おなじ手順で人数をふやしてやり直したとき、おなじ結果が残るかどうかで決まります。これを再現性といいます。
心理学は2011年から、この物差しを自分自身に当ててきました。
その年に、データの集め方と分析のしかたを選びなおすだけで、どんなものでも有意にできる——と自分で実演してみせた論文が出ています。
その物差しで消えた側に、引き寄せが根拠として借りてきた話が入っています。
順番に書きます。
「有意だから偶然ではない」は、誤読
主張をひとつずつ判定したほうは、引き寄せの法則に科学的根拠はあるのかに置いてあります。
ここで渡すのは、判定そのものの物差しです。
論文には「p<.05」という書き方が出てきます。本当は差がないとしたとき、これくらいの差が偶然で出る見込みは5%より小さい——という意味です。
「差がない見込みが5%」ではありません。ここを取り違えると、外れます。
日本語の総説が、その計算をそのまま書いています。
1,000件の仮説のうち、100件が本当だとします。検定力が80%、有意水準が5%。
すると、本当の100件から80件が拾えて、はずれの900件から45件が拾えます。
有意と出た125件のうち、45件。つまり36%が、はじめから偽陽性です。
この数字は、その分野に本当の仮説がどれくらい混ざっているかで動きます。
心理学については、その割合も見積もられています。
2015年、研究者に賭けさせる市場をつくって、44本のやり直しの成否を当てさせた実験です。
そこで出た、仮説が本当である事前の見込みは、中央値で9%でした。
低い。
だから、論文1本だけでは、その仮説が本当かどうかは決まらないのです。
100件やり直すと、効果は半分になった
2015年、心理学の主な100件を、もとの著者の材料を借りて、大きな人数でやり直した計画があります。
もとの研究では、97%が有意でした。
やり直しで有意だったのは、36%です。
効果の大きさも、もとの半分になりました。
半分です。
もとの効果がやり直しの信頼区間に入っていたのは47%。研究者の目で「再現した」と見たのは39%でした。
ここまでは、心理学ぜんぶの話です。
割れたのは、そのあとでした。
認知心理学は約50%、社会心理学は約25%。公開データを数えなおすと、認知が43件のうち21件、社会が57件のうち15件でした。
引き寄せの説明によく借りられるのは、25%のほう——社会心理学です。
そして、認知心理学のほうが高い理由も、おなじ総説が書いています。
認知心理学の実験は、おなじ人に何度もやってもらう形をとり、測りたいものを正確に測ります。すると効果が大きく出て、少ない人数でも足りるようになる。
差は、まじめさではなく——設計のほうにありました。
「効いた話」は、こうやって作れる
2016年、日本の社会心理学者2人が、社会的プライミングの有名な研究を396名でやり直しました。
もとの効果を80%の見込みで拾うのに要る人数は42名。9倍以上を集めています。
効果は、出ませんでした。
そこは、動きません。
ふつうなら、ここで終わります。
この2人は、終わらせませんでした。おなじデータから、仮説を支持する有意差を、あとづけで作ってみせたのです。
やったことは、みっつです。
データを、ひとつの大学の172名に絞る。すると、10品目のうち1品目だけが、有意に近くなります。
そこから、都合の合わない品目を落とす。10品目のうち4品目を外して、残った6品目で指標を作り直す。ここで、あと一歩まで来ます。
そのうえで、3つあった条件をひとつ削る。ここで有意差が出ました。
論文には「仮説を支持する結果を得た」と書けます。
全体の396名に戻すと、その効果は消えます。
消えます。
藤島さんと樋口さんは、絞った理由も書きのこしています。
大学ごとに分ければ、検定力の低い分析を何度もやれる。そのどれかで、仮説に都合のいい結果が出る。
そのために、検定力をわざと下げた、と。
理論的な根拠はない、とも書いてあります。
効いた話は、こうやって作れます。
消えた側に、何が入っていたか
やり直しで消えたもののなかに、自己啓発が根拠にしてきた定番が入っています。
ひとつめは「笑顔をつくれば楽しくなる」です。
ペンを口にくわえて顔の形だけ変えると、漫画が面白く感じる。1988年の実験でした。
2016年、17の研究室が、おなじ手順で、先に計画を登録してやり直しています。
もとの差は、10点満点で0.82。
17研究室をまとめた差は、0.03でした。信頼区間は、ゼロをまたいでいます。
ふたつめは「意志力は使うと減る」です。
我慢をすると、次の我慢が続かなくなる。自己啓発の本で、よく見る話です。
23の研究室、あわせて2,141人。こちらも先に計画を登録して測りなおしました。
効果の大きさは0.04。信頼区間は、やはりゼロを含んでいます。
ゼロと変わりません。
引き寄せそのものを、先に計画を登録してやり直した研究は、探しても見つかりませんでした。
見つかったのは、引き寄せが借りてきた側の成績のほうです。
効果は、半分から4分の1に縮む
ここまでを、持ち歩ける数字にします。
2018年、28の有名な知見を、36の国と地域・125のサンプル・15,305人でまとめてやり直した計画があります。
おなじ向きで有意だったのは、15件で54%。
効果の大きさの中央値は、もとの0.60から、0.15へ落ちました。4分の1です。
9件、32%は、もとと逆を向いていました。
逆です。
おなじ年、ネイチャーとサイエンスに載った社会科学の実験21本も、もとの著者のレビューを受けた計画で、平均5倍の人数でやり直されています。
おなじ向きで有意だったのは13本で62%。効果の大きさは、およそ半分でした。
この計画は、もうひとつ測っています。
どれが残るかを研究者仲間に先に予想させたら、実際の結果とよく合いました。
消えたのは、運ではありません。
読める人には、読めていた。
これから読む引き寄せ本の数字は、半分から4分の1に割り引いて受け取る。
それが、この記事で渡せる物差しです。
この割引は、僕がこのメディアで書いた記事にもかかります。
効くと確かめられたと書いた3つも、1行足すと動いたという実験も、おなじ物差しの下に置いてあります。
今日の話をまとめると
引き寄せの法則が本当かどうかは、1冊の本の中では決まりません。
決まるのは、おなじ手順で人数をふやして、やり直したあとです。
効果の中央値は0.60から0.15。笑顔の実験は0.82から0.03。100件の追試で残ったのは36件。
そして、消えたはずの効果は、データを絞れば、あとから作れてしまう。
それを、自分たちの失敗したデータで実演してみせた研究者が、日本にいます。
今夜、3分だけ使ってください。手元にある引き寄せの本を1冊開いて、根拠として出てくる実験をひとつ選ぶ。
その効果の大きさに、半分から4分の1をかけた数を、横に書く。大きさも人数も書いていなければ、「たどれない」と、そのまま書いておく。
判定は、そこから始まります。
作り話だと判定ずみの根拠のほうは、引き寄せの法則は嘘なのかに分けてあります。
公開データを自分で数えなおしている理由は、プロフィールに置いてあります。
