【Veritasium】大多數已發表的研究結果竟然是錯誤的嗎？Is Most Published Research Wrong

2011年，一篇論文發表於權威的《人格與社會心理學期刊》。 《感受未來：異常回溯影響的實驗證據》 關於認知與效果，換句話說，就是證明人類能夠看見未來的證據。 論文報告了九項實驗。其中一項實驗中，參與者被展示兩道簾幕。 一個電腦螢幕，並要求預測哪一個螢幕後面有圖像。另一個則只是 當參與者做出選擇後，電腦隨機放置了一張圖片 其中一張簾子後面。然後，選中的簾子被拉開，露出裡面的圖像 或是一面空白的牆壁。這些圖像隨機選自三個類別之一， 中性、負面或色情。如果受試者選擇了遮蓋圖片的簾幕， 這曾被視為一記重擊。如今，由於有兩道簾幕，且圖像的位置也有所調整， 隨機選擇其中一個，你會預期命中率約為50%。 這正是研究人員所發現的，至少對於負面和中性圖像而言是如此。然而， 對於色情圖像，命中率為53%。這是否意味著我們能夠看見未來？是嗎 微小的偏移是否具有重要性？要評估其重要性，科學家通常會參考p值， 一個統計量，用來告訴你，在虛無假設成立的情況下，出現至少如此極端結果的可能性。 是正確的。在這種情況下，虛無假設僅表示人們實際上無法做到 預見未來，而53%的結果是由於幸運的猜測所致。在這項研究中，p值為 0.01，表示僅有1%的機率僅憑隨機運氣就能達到53%或更高的命中率。 p值小於0.05通常被視為具有統計顯著性，值得發表。但你 也許在接受人類能準確預知未來之前，你應該設立更高的標準。 並說：請邀請這項研究的作者上你們的新聞節目。不過，嘿，這取決於你們的選擇。畢竟， 0.05的臨界值是由羅納德·艾爾默·費雪在1925年出版的一本書中隨意選定的。 但這引發了一個問題：已發表的科研文獻中，實際上有多少是錯誤的？ 直覺的答案似乎是5%。我的意思是，如果每個人都使用p值小於0.05作為臨界值的話 在統計顯著性方面，你會預期每一百個結果中會有五個是假陽性。 但不幸的是，這嚴重低估了問題的嚴重性。原因在於，想像一下，你是一名 目前正被研究的上千種假說。假設其中10%反映了真實情況。 關係是真實的，其餘皆為虛假。但當然，沒有人知道哪個是真實的，哪個是虛假的。這正是問題的關鍵所在。 進行這項研究的重點。現在，假設實驗設計得相當完善，它們應該 正確識別出一百對關係中的大約八十對真實關係。這被稱為統計學上的 80%的效能。因此有20個結果為偽陰性。也許樣本數過小或 測量結果的敏感度不夠。現在考慮在那900個錯誤的假設中， 以0.05的p值計算，將有45個虛無假設被錯誤地視為正確。至於其餘的， 它們將被正確識別為錯誤，但大多數期刊很少發表無效結果。它們 僅佔論文總數的10%至30%，具體比例視領域而定。這意味著這些論文 最終發表的結果將包含80個真正陽性結果，45個假陽性結果， 以及大約20個真正的陰性結果。幾乎三分之一的已發表結果將是錯誤的。 即使系統正常運作，情況也是如此。如果研究的統計功效不足，情況會變得更糟。 分析顯示，若錯誤假設相對於正確假設的比例較高，它們通常會是如此。 被測試過，或研究人員是否有偏見。所有這些問題都在一項命名為《》的2005年論文中被指出。 為什麼大多數已發表的研究都是錯誤的。因此，近來許多領域的研究人員試圖 透過重現一些著名的過去成果來量化問題。可重現性 重複進行了100項心理學研究，但僅發現36%具有統計顯著性。 第二次測試的結果顯示，測量到的關係強度平均僅為原來的一半。 原始研究中的那些。對53項研究的試圖驗證，被視為重要標誌 在癌症基礎科學研究中，僅成功重現了6項，即使密切合作也僅此而已。 研究的作者。這些結果甚至比我剛才計算的還要糟糕。原因在於 由一項2015年的研究顯示，每天吃一塊巧克力有助於你 更快減重。在這種情況下，受試者被隨機分配至三種治療方案中的一種。 兩組。其中一組採用低碳水化合物飲食，另一組則採用相同的低碳水化合物飲食，並額外每天食用一盎司半的巧克力棒。 每天食用巧克力，第三組為對照組，僅被告知維持其平常的飲食習慣。 飲食習慣。三週結束時，對照組的體重既沒有減少也沒有增加。 但兩個低碳水化合物組別的每人平均減重五磅。攝取巧克力的那組， 然而，吃巧克力的人減重速度比不吃巧克力的人快了10%。這一發現具有統計學意義。 具有統計顯著性，p值小於0.05。正如你所料，這則消息迅速傳開。 登上歐洲發行量最廣的每日報紙《Build》的頭版 然後是《每日星報》、《愛爾蘭回聲報》、《赫芬頓郵報》，甚至是《形體》雜誌。 不幸的是，整個事件都是偽造的。說起來有點複雜。我的意思是，研究人員確實進行了 完全按照他們描述的方式進行實驗，但他們故意設計了這個實驗以增加 假陽性出現的可能性。樣本規模極小，每種處理方式僅有五人。 群組中，針對每位人士追蹤了18項不同的測量數據，包括體重， 膽固醇、鈉含量、血液蛋白質水平、睡眠品質、幸福感等。因此， 如果減重並未顯示出顯著差異，那麼還有許多其他因素 可能如此。因此，標題可能是「巧克力降低膽固醇」，或「增加睡眠」。 品質，或其他什麼。重點是，p值僅在單一測量時才真正有效。一旦 你在比較一整套變數，其中至少有一個變數給出的機率是 假陽性結果大幅上升。這被稱為 p 值操弄。研究人員可以做出大量 關於他們分析的決_shortcode，可能會降低 p 值 ngôn ngữ。例如，假設你進行分析 你的資料顯示其幾乎達到統計顯著性，因此你決定 再收集幾個數據點以確保無誤。然後，如果 p 值降至 0.05 以下，你就停止。 收集數據，並對這些額外的數據點只會讓結果更加完善充滿信心 如果那裡真的存在某種真實的關係，這將具有重大意義。但數值模擬顯示， 關係可以透過增加資料點而跨越顯著性門檻，即使一個較小的樣本量也如此。 更大的樣本顯示，其實並不存在這種關係。事實上，有大量 提高獲得顯著結果可能性的方法，例如設置兩個依變數 增加更多觀察，控制性別因素，或剔除三個條件中的其中一個。 將這三種策略結合起來，會增加誤報的機率。 超過 60%，而且這是使用 p 值小於 0.05 的情況。現在，如果你認為這僅僅是一個問題， 心理學、神經科學或醫學領域，請考慮五夸克這類由五個夸克組成的奇特粒子。 五個夸克，與質子或中子的常規三個夸克相對。粒子物理學採用 特別嚴格的統計顯著性要求，稱為五西格瑪，即一 三百五十萬分之一的機率會出現假陽性。但到了2002年，日本的一項實驗發現了相關證據 對於Theta+五夸克，以及接下來兩年內的其他11項獨立實驗 然後尋找並發現了同一種五夸克的證據，其統計顯著性水平極高。 重要性。從2003年7月到2004年5月，一篇關於五夸克的理論論文被發表。 平均而言每隔一天一次。但可惜的是，這是一個錯誤的發現。進一步的實驗嘗試 要確認 theta+ 五夸克的存在，雖然統計功率更高，卻未能發現其任何跡象。 存在。問題在於，那些最初的科學家並非對數據視而不見。他們清楚知道如何處理數據。 產生的數字以及他們預期得到的答案，還有資料切割的方式 被分析或進行 p 值濫用，產生了錯誤的發現。現在大多數科學家並非惡意進行 p 值濫用。 在收集、分析和報告數據方面，存在一些合乎正當性的決策，而這些決策 決策對結果的統計顯著性有影響。例如，29 種不同的研究 各組獲得了相同的資料，並被要求判斷深膚色的足球運動員是否更為…… 很可能被出示紅牌。使用相同的數據，一些研究團隊發現並無顯著差異 而其他研究則得出結論，膚色較深的球員被出示紅牌的機率高達三倍。 重點在於，資料本身不會說話，必須經過解讀。看著那些結果， 看來膚色較深的球員較有可能被罰紅牌，但絕不會多出三倍。 同樣的可能性。在這種情況下，共識有所幫助，但對於大多數結果，僅有一個研究團隊提供 分析顯示，問題在於激勵機制。科學家們有著巨大的動機去 發表論文。事實上，他們的職業生涯就取決於此。正如一位科學家布萊恩·諾塞克所說： 出錯並沒有成本。真正的成本在於無法將它們發表出來。 期刊更有可能發表達到統計顯著性的結果，因此，如果一種方法 如果數據分析結果的 p 值小於 0.05，那麼你很可能會選擇該方法。 如果結果具有新穎性和出人意料性，發表的可能性也更高。 這鼓勵研究者們不斷探討越來越多不可能的假設， 這進一步降低了被檢驗的真實關係與偽關係之間的比例。 那麼，關於重複驗證呢？科學不是應該透過其他科學家進行重複實驗來自我修正嗎？ 初步發現的結果？理論上是的，但實際上要複雜得多。 就像這個影片一開始提到的預知研究，三位研究人員試圖 好吧，驚訝又驚訝，他們獲得的命中率與……相比並無顯著差異。 機會。當他們試圖將自己的研究成果發表在同一份期刊上時， 它們被拒絕了。原因何在？這份學術期刊拒絕刊登重複性研究。 因此，如果你是一位科學家，成功的策略就很明確：根本不要嘗試進行重複研究。 因為很少有學術期刊會發表它們。而且你的研究結果很可能不會被發表。 在這種情況下，將無法說服同事相信該結果缺乏可重現性。 否則，你會被指責只是沒做對。因此，一個好得多的方法是測試新方法。 並提出意想不到的假設，然後進行 p 值操弄，以獲得統計顯著結果。 現在，我不想對此過於 cynical，因為過去十年來， 情況已開始朝好的方向轉變。許多科學家承認我所指出的問題。 已列出並開始採取措施予以修正。存在更多大規模重複問題 過去十年進行的研究。此外，還有一個名為「撤稿觀察」（Retraction Watch）的網站，專門致力於此領域。 公開已撤回論文。存在用於未發表論文的線上儲存庫。 負面結果。同時，也有趨勢是提交假設和方法以進行同儕評審。 在進行實驗之前，確保研究無論結果如何都能被發表 結果，只要遵循該程序即可。這消除了發表偏倚，促進了更高的 強化研究，並減少進行 p 值操控的誘因。我覺得最令人驚訝的是 科學界的可重現性危機並非指發表內容中錯誤資訊的普遍存在。 科學期刊。畢竟，探求我們所知的真相是困難的，從數學上來說，也並非如此。 任何已發表的內容都可能是正確的。讓我感到困擾的是，即使我們已經盡了最大努力 透過我們最先進且嚴謹的數學工具，來釐清什麼是真實的。 同行評審與實務標準，我們仍經常出錯。那麼，這種情況發生的頻率有多高呢？ 當我們沒有使用科學方法時，我們是否在自我欺騙？儘管我們的科學可能充滿缺陷， 這遠比我們現有的任何其他認知方式都更可靠。本集內容為 Veritasium 的部分支援來自 Patreon 上這些優秀人士，以及全球首屈一指的 Audible.com。 線上有聲書供應商，涵蓋文學各領域的數十萬種書籍 包括小說、非小說和期刊。Audible 為任何人士提供免費 30 天試用期。 觀看這個頻道。只需前往 audible.com/slash veritasium，這樣他們就知道是我介紹你來的。一本我想推薦的書是 推薦的是安德里亞·沃爾夫所著的《自然的發明》，這是一部亞歷山大·馮·洪堡的傳記。 洪堡是一位冒險型的自然學家，他確實激勵了達爾文登上小獵犬號。你可以 在 Audible.com 斜線處下載那本書，或任選其他書籍，享受一個月免費試用。 Veritasium。和往常一樣，我想感謝 Audible 對我的支持，我也真的想感謝你們 觀看感謝