圖片來源:pixabay
醫學研究需要在臨床試驗開展之前進行預注冊,明確試驗需要測定的數據。按照臨床試驗的“金標準”,試驗只能檢測預定的數據,而不能隨意檢測其他的數據。然而,根據COMPare組織對世界頂級醫學期刊的檢測結果,近20%的論文沒有如實報道試驗結果。在比例最高的期刊中,這一數值甚至達到80%。醫學期刊的如此亂象,會帶來什么隱患?這一現象背后,又是一場怎樣的博弈?
撰文 | 楊心舟
維護數據的金標準
醫學論文的不可重復性逐年嚴峻,在這一背景下,COMPare組織應運而生。具體來說,其成立的目的就是檢測醫學論文中的結果轉變(outcome swtiching)現象。在臨床試驗開始之前,所有在試驗中測量的指標都需在試驗規劃中定下來。比如,研究覺得某藥物對血壓有積極作用,那就可以計劃檢測治療一年后的血壓。同時,這些計劃必須經過臨床試驗注冊,之后不能更改。如果試驗最后報道的不是血壓,而是其他指標,那就屬于結果轉變。
這項規定的意義在于,防止研究者在做完試驗之后胡亂檢測指標。同樣以治高血壓藥為例,假如研究者在臨床試驗后發現藥物對血壓無效,決定胡亂檢測一些指標。結果,研究者誤打誤撞,發現其可以促進傷口愈合,于是標榜這種藥可以治療傷口。這樣的結果是不符合臨床試驗標準的,也就是假陽性。而預定觀測指標,能夠避免這一錯誤的發生。
臨床試驗的論文中,所有的數據都應該報道預定的觀測指標,如果報道了不符預定指標的其他項目,必須在文獻中注明,并解釋原因。這是臨床試驗應該遵循的“金標準”,但實際情況卻是,多數臨床試驗選擇報道非預定的指標,并且未給出任何標注和解釋,這對后期的臨床判斷來說是極大的隱患。
為了減少這種情況,醫學界五大期刊——《內科醫學年鑒》(AIM)、《英國醫學雜志》(BMJ)、《美國醫學會雜志》(JAMA)、《柳葉刀》(Lancet)和《新英格蘭醫學雜志》(NEJM)聯合簽署了臨床試驗報告統一標準(CONSORT),該標準制定了一系列的規定,來保證論文發表數據都是提前登記注冊的。期刊也都表示在接受文章、審核之前會嚴格執行CONSORT標準,并且如果在文章發表之后,任何讀者發現有違反標準的情況,可以投遞修正信,期刊也會審核后附在文獻后同時發表。
期刊并未按章辦事
那么期刊是否會按章行事?COMPare項目負責人Ben Goldacre和同事們一同檢測了五大期刊超過六周的醫學論文,并且將所有正確和不正確執行CONSORT標準的結果都列舉出來。
在此次項目中,一共檢測了67項醫學試驗。分析結果顯示,平均76%的研究論文的主要結果按照了預定指標進行報道,其中BMJ按章執行占比最低只有25%,JAMA最高達到81.8%。但到了次級結果還能按標準報道的平均水平降到了55%。在所有的醫學論文中,平均每篇論文都新增了5.4個全新但未經聲明的結果,占比達到13.7%。
但是這并不只是研究者一方的問題。作為簽署了CONSORT標準的發表機構,這些學術期刊也并未恪盡職守,許多已經發表的文獻并未完全展示所有的研究成果。平均19.4%的研究主要結果并未全部報道出來,其中遺漏程度最高的AIM達到80%。
在發現如此多的漏洞后,Goldacre團隊也向各大期刊匯報了情況。根據CONSORT標準,期刊都需要對情況進行審核并如實匯報出來。但結果卻不盡人意,在針對問題數據寄出的58封信件中,最后發表并聲明更正的只有23封,連一半都不到。其中寄給JAMA的11封以及NEJM的20封修正信,1封都沒有發表。即使信件最后被發表了,審核過程也平均長達99天,最長的近一年后才被發表。
NEJM是醫學期刊中影響因子最高的期刊,但在Goldacre的測試中,16篇NEJM學術期刊一共添加了65項非預定指標的結果,其中只有2項進行了標注。對于兩家未發表任何修正聲明的期刊,Goldacre也曾試圖進行溝通了解拒絕發表的原因,但得到的卻是不能接收更正的回信。
他在COMPare的網站上也公開了與NEJM期刊編輯的來往書信。來自NEJM的編輯在回信中寫道,“期刊用于相關性資料的部分非常有限,因此我們要從大量的來信材料中進行選擇,評判,”言外之意是不會將所有的修正信都展示出來,“盡管NEJM簽署了CONSORT標準,但是不代表我們認可,我們認為作者沒有必要遵循CONSORT標準,對于新加的結果我們也單獨進行了同行評議和審核。”
在來來回回的信件中,許多編輯都表示不能理解COMPare組織存在的目的是什么,很多人認為它就是一個以CONSORT標準對期刊進行檢測的組織。與這些期刊編輯一樣,許多論文作者也誤解了CONSORT規則以及預注冊在共享試驗計劃方面的作用。一些人甚至稱COMPare項目是該研究群體的“門外漢”。
對此,Goldacre解釋道:“我們這么做,是為了遏制現在在臨床試驗中盛行的結果轉換現象,因為結果轉變會直接影響后面的臨床決定。”
科學界力圖消滅假數據
除開COMPare組織,同樣也還有其他組織致力于挖掘這些消失和錯報的試驗數據,被稱作RIAT(恢復隱藏和丟棄試驗支持中心)的機構同樣也在做這么一件事,他們認為許多生物醫學試驗文獻沒有報道所有的結果,或者以一種不正確的方式對其進行了詮釋。從2013年成立該機構以來,獲得的成效卻非常少,除了找出隱藏數據所需的時間長,期刊的不配合或者數據供給不足也是重要原因。2018年,美國科學公共圖書館(PLoS)站出來支持了RIAT組織,并聯合宣稱將投入15萬美元進行合作,改善學術文獻的漏洞。
這種對試驗數據要進行預期計劃的專業其實并不只有醫學,在去年Science就以“越來越多的科學家選擇提前注冊要進行檢測的結果,你呢?”為標題發文,呼吁科學界行動起來,不要在試驗開始后為了湊出一篇文章去測很多沒有意義的數據。
心理學,基礎研究中實驗數據虛假和無法重復的重災區。為了打破這種窘境,心理學研究也開始效仿醫學研究,引入了預注冊(Preregistration)的方式。這一舉措,不僅僅只是為了撥開讓心理學研究上的陰云,同時這也能讓研究者按照詳實的計劃來完成實驗,而不會因為隨意檢測而扭曲了事實本身。從2012年開始,在開發科學框架中,推行預注冊方式發表研究的期刊逐年遞增,幾乎每年都在翻倍。現今已經超過120家雜志或期刊選擇了預注冊的方式進行研究報道。
但就像NEJM的幾位編輯回信一樣,并不是所有人都認同這一行為。Susan Goldin-Meadow,《心理科學》的聯絡人就表示,“如果我們開展試驗之前就標注好了條條框框,那還怎么會做出新的發現?” 埃因霍芬理工大學的Anne Scheel同樣也表達了要完全保證按照預注冊的規劃來執行很困難,“你完全沒法保證哪一組將成為最佳的對照組。”
為了讓預注冊的試驗計劃更容易成功,加州大學伯克利分校的Leif Nelson也建立了一個網站給研究者提供簡易試驗目標設計。或許,目前還無法說出預注冊這種方式是好是壞。但它至少提醒科學家,要更加嚴謹地對待自己的實驗過程以及數據。尤其是在醫學研究上,每一個數據都對臨床操作具有極大的意義。
在醫學試驗上,任何微小的改變都應該被提出來,作為把關的期刊是義不容辭的,“我們希望期刊編輯能對我們的發現作出積極、有建設性和深思熟慮的回應。”Goldacre表示,但顯然,現在期刊完成的任務還遠遠不夠。
參考鏈接:
https://trialsjournal.biomedcentral.com/articles/10.1186/s13063-019-3173-2#Sec7
http://en.zicos.com/tech/i31116309-Despite-public-pledges-leading-scientific-journals-still-allow-statistical-misconduct-and-refuse-to-correct-it.html
http://compare-trials.org/methods#whyitmatters
https://blogs.plos.org/speakingofmedicine/2018/04/26/revealing-the-rest-of-the-iceberg-the-restoring-invisible-and-abandoned-trials-riat-support-center-grant-competitions/
http://compare-trials.org/blog/how-did-nejm-respond-when-we-tried-to-correct-20-misreported-trials/
https://www.sciencemag.org/news/2018/09/more-and-more-scientists-are-preregistering-their-studies-should-you
https://boingboing.net/2019/02/15/pre-specified-outcomes.html
《環球科學》2019年2月刊現已上市