スチュアート・リッチー 訳・矢羽野薫 ダイヤモンド社 2024.1.30
読書日：2024.8.16
科学の世界で再現性のない実験が多くなり、科学が危機を迎えていることを訴える本。
Science Fictionsという題がついているが、小説のＳＦのことではない。科学がフィクション化しているという意味である。
科学というのは誰がやっても同じ実験をすれば同じ結果になるという自然の摂理を探求する学問である。ところが、最近では同じ実験をやっても同じ結果が出てこない、という現象が頻発している。
この中には明らかに不正で、意図的な詐欺としか言いようのないものもある。残念ながらこの詐欺の中には、日本人の名前も出てくる。例えば、STAP細胞の小保方晴子である。
このような明らかな不正の場合は言語道断なのであるけれど、そうでなくても科学は急速に再現性がなくなっているのである。
科学の実験では統計処理が欠かせないが、有意性を表す「Ｐ値」というものがある。P値は、「P＜０．０５」のときに有意性があるとされる。したがってある仮説を検証して、その結果を論文にしたい研究者は、なんとしてもＰ値を０．０５よりも小さくしたい。そこで「Ｐ値ハッキング」ということが行われるという。（なお、０．０５という数字は慣習的に使われているもので、特段の意味があるわけではない）。
たとえば、Ｐ値が０．０５より小さくなるまで延々と実験をおこなって、０．０５以下になったところで止めるという方法がある。別の方法では、データセットをいろいろな角度から統計処理を行って、Ｐ値が０．０５以下になったものだけを取り上げるという方法がある。論文では、その効果を検証することを最初から意図して実験したと書かれるが、実際は逆であり、科学としては本末転倒な流れである。このような場合、もちろん、再現性は低い。
そもそもデータセット自体がお粗末な場合もある。実験にはランダム性の確保が欠かせないけれども、サンプル数が少なすぎてランダム性が確保できない場合も少なくない。例えば、人間を扱う心理学などの実験では、予算の関係で十分な人数を集めるのが難しかったりする。そのようなランダム性が確保できていない研究は意味がない。
ところが、そのようなランダム性が確保できていないデータセットの実験でも、P値が０．０５よりも小さければ、論文として採用されるケースが多い。なぜなら科学雑誌の査読者もそのへんの事情はわかっていて、お互い様だからだ。十分なサンプル数を集められなければ、もちろん再現性は低くなる。
十分なランダム性が確保できなくても、類似の実験結果を横断的にまとめるメタアナリシスという方法がある。これならサンプル数の少なさを補える可能性がある。ところが、ここにも問題が生じる。なぜなら発表された論文は「効果があった」というポジティブな論文が圧倒的で、「効果がなかった」というネガティブなものが極端に少ないからだ。そうすると、メタアナリシスの結果も歪んだものになる。なぜこうなるかと言うと、科学雑誌はネガティブな論文を採用しない傾向があるからだ。雑誌同士も競争をしているので、インパクトのあるポジティブな論文がほしいのである。
一方で、データセットの規模が十分でも、人間なので単純なミスということが起こり得る。計算ミス、あるいはタイプミス、転記ミスとかだ。問題はデータセットが公開されることはまずないので、外部からそれがほとんど確認できないことである。研究者自身も、自分の意図しない結果が出てきた場合はなぜだろうと思って確認するが、意図通りの結果が出た場合は不思議に思わないので間違っても気が付かない。
２００８〜２０１０年にかけて、経済学者のラインハートとロゴフは、公的債務残高と経済成長率の関係を調べて、「債務残高がＧＤＰの９０％を超えると経済成長率は減速する」という結果を得た。計算結果は−０．１％とマイナス成長になるという衝撃的なものだった。これは当時、世界中の政府に影響を与えた。２００８年のリーマンショックにより、公的債務が急増していたからだ。こうして緊縮財政をして財政再建をすべきだとの声が上がった。
ところが２０１３年に、これが単純な計算ミスで、実際には成長率は＋２．２％になるということが発覚した。結局、公的債務残高と成長率の間には明確な関係はなかったのである。これはデータセットが公開されていたから分かったものだが、このような幸運な場合はほとんどない。もちろん計算ミスの場合、その実験の再現性はゼロである。
（ラインハートとロゴフの結果は「国家は破綻する」という題名で本にもなり、ベストセラーになった。いまでもこの本は読まれており、これを根拠にしてＭＭＴ（現代貨幣理論：政府の借金はインフレにならない限り問題ないとする）はまやかしだという主張があって、頭が痛い）。
このような科学の現状は危機的だけれど、特に医療関係では影響が大きい。人の命に関わる問題だからだ。近年では劇的に効果がある薬というのはほとんどなく、多くは小さな効果を競っているような状態である。なので、P値ハッキングをされて、ほとんど効果のない薬をあたかも効果があるかのように装飾されると、それを信じて使用する患者には不幸なことになる。
たとえば、抗うつ剤がほとんど効果がないという話は以下を参照。
www.hetareyan.comこのようなことを避けるために、医薬の実験では、実験に先立ってその内容（意図）を公開することを義務付けるようになった。こうすると、実験したことは分かっているのだから、効果がなかったからといって結果を公表しないというリスクは減る。また、実験データを意図しなかった角度からの計算を行うというリスクも減る。実験データも公開しなければいけないから、計算ミスも減る。
こうしたことをすべての科学実験に義務付ければ、実験の信頼度が上がり、再現性も向上する。
科学雑誌の問題はどうか。
科学雑誌問題は科学のエコシステムの問題である。科学雑誌に掲載されるかどうかが科学者と研究機関の目的（インセンティブ）になっているので、この仕組み自体を変えなくてはいけない。
現代ではネット上に研究結果を発表できる。もちろん査読を経ていないのだが、注目を集めるような論文にはたちまちたくさんのコメントが付く。こうして研究はブラッシュアップされていく。公開されていることが事実上の査読と同じ効果を持つ。
コロナパンデミックのとき、研究は主にオンライン上で行われた。もちろん間違った実験や結果も報告されたのだが、それも込みでコロナウイルスの知見が蓄積されていった。もともと科学とはいろいろな意見や考え方を衆知で正しいものにしていくという作業なのであるから、それは構わないのである。
このようにオンラインでまず発表して、雑誌はその中から優秀なものを拾うというふうに持っていけば、雑誌に載ることを必要以上に意識しなくてもすむ。
計算ミスやデータの取り扱いが正確だったかどうかは、いまではアプリでチェックできる。さらに外部機関にデータを提供して、チェックする仕組みを作ることも可能だ。こうしたチェックを経ることを雑誌掲載の条件とすることで、単純な計算ミスなどは防げる。
サンプル数の問題は予算の問題でもあるから、同じ関心を持つものが共同で行うようにするという方向があり得る。これもネット上の方が進みやすいだろう。
つまり、いまは科学という世界の手法を再発明をする時期に来ているのだと言える。科学はだめになったのではなく、また正しい方向に持っていけるということである。
わしは科学を人類最高のエンターテイメントだと思っている。だから、科学者には研究することを楽しんでほしい。そのために正しい研究環境を構築することが必要だと思う。そして日本政府はもっと科学者と技術者を大切にしてください。
★★★★☆
