剛被曝光的IBM內部文件顯示,許多醫生在使用Watson時,發現AI給出了“多個不安全、不正確的治療意見”,甚至在極端的診斷案例中,Watson給有出血癥狀的癌癥病人開了容易導致出血的藥品,嚴重時可致患者死亡。
去年,在美國臨床腫瘤學會年會上發表的研究表明,IBM Watson非常擅長為癌癥患者制定治療計劃。然而,事實證明人工智能仍然遠非完美。
可能你還不知道,明顯存在bug的Watson系統并不是一個實驗室中樣品,這個可能會治死人的Watson已被全球超過230家醫院使用,其中包括北大腫瘤醫院、宣武醫院等67家中國醫院,分布在22個省份。
佛羅里達州朱庇特醫院的一位醫生告訴IBM高管,“在大多數情況下我們不能使用它?!?/p>
這些文件來自IBM Watson前副衛生主任Andrew Norden在他離開公司之前的演講,一般只有IBM的管理層有權限查看。Norden在2017年6、7月間給出的報告顯示,正在使用Watson for Oncology(Watson腫瘤解決方案)的醫生們紛紛指出,Watson經常提出不準確的醫療建議。
文件中一個嚴重的例子是:
一名65歲的男性被診斷出患有肺癌,而同時,該患者也似乎有嚴重的出血癥狀。Watson給這名患者的診療建議是:
1、接受化療;
2、使用治療癌癥的藥物貝伐單抗(Bevacizumab,商品名Avastin阿瓦斯?。?/p>
而貝伐單抗這種藥物可能導致的副作用之一,正是容易導致出血。在美國衛生系統藥劑師協會對該藥物的描述中,這種藥物有時會發生嚴重乃至致命的出血事件,所以該協會建議不要給嚴重出血的患者服用。
除了展示客戶不滿意外,他們還揭示了方法、過程和底層技術上的問題:Watson for Oncology應該綜合大量數據并提出新穎的見解。但事實上,提供給它的大多數數據都是假設的,而不是真實的患者數據。這意味著Watson提出的建議僅僅基于提供數據的少數醫生,們的治療偏好,而不是從分析真實案例中獲得的實際見解。
一位IBM發言人曾表示,Watson for Oncology“支持超過84,000名患者的護理”并且仍在學習。但很顯然,它學的或者并不是基于真實的情況。據媒體報道,有這一系統的230家醫院中,至少包含了67家中國醫院。
Watson最早進入公眾視野是在2011年,它當時在電視智力節目《危險邊緣》中擊敗了人類。這套系統具備強大的自然語言處理和數據庫掃描能力,因而可以理解現場的復雜問題,快速給出答案。
外界對Watson這臺智能超算的有效性,已經進一步產生了質疑。IBM向Watson業務投入數十億美元,但“Watson醫生”尚未給醫療行業帶來革命,而且該部門對IBM仍然很難實現盈利。
雖然紀念斯隆-凱特琳癌癥中心認為醫生們給人看病的時候不傻,不會完全聽信Watson,但醫生們的懷疑和抱怨卻并不會因此消減。
首先這個案例說明:Watson的訓練,是通過假設性的癌癥病例,而不是真實的患者數據來進行。而此前IBM的高管一再告訴客戶:“Watson for Oncology的建議是基于真實的患者數據,全世界的醫生都喜歡這種工具”。
這讓外界對Watson的有效性進一步產生了質疑。佛羅里達州的朱庇特醫院就是憤憤不滿的客戶之一。在這份IBM的機密文件中,朱庇特醫院的一位醫生憤怒的說:“這玩意簡直就是一坨翔!我們買Watson來,是因為它的營銷搞的很厲害,讓我們覺得能靠它來實現一些愿景。結果買來之后呢?這玩意什么都做不了!”
事件曝光后,朱庇特醫院的腫瘤科醫生Sujal Shah表示,只有當朱庇特醫院的醫生們對兩種不同的治療方案無法達成一致的時候,醫生們才會看看Watson站哪邊——現在5:5平,Watson你來投個票吧。
STAT此前的一項調查顯示,Watson for Oncology其實沒有達到IBM的預期,而這次曝光的文件表明,IBM的高管們知道自家產品給出的治療建議與國家治療指南相沖突,以及醫生認為這套系統作用不大。
當然,一直以來IBM高管都對Watson贊譽有加。
被曝光的文件中還顯示,有幾位IBM員工對Norden直言,Watson這套產品的能力“非常有限”。
在給STAT的聲明中,IBM表示已經根據客戶反饋、新的科學進展、新的癌癥治療方案等,學習和改進了Watson Health。
令人擔憂的是,這個被爆出會開錯致命藥的醫療AI,已經投入使用,被不少醫院運用在對真實病人的診斷治療中。
IBM發言人說,Watson腫瘤系統受過訓練,可幫助腫瘤科醫生治療13種癌癥,并被全球230家醫院使用,“支持超過84000名患者的護理”。而230家醫院中,至少有67家中國醫院(截至2018年7月5日)。
IBM代理商百洋董事長付鋼在去年10月表示:“目前,Watson for Oncology的服務多為患者自付費,平均每人5000元左右?!?/p>
參與訓練Watson的紀念斯隆-凱特琳癌癥中心回應此事稱:“雖然Watson腫瘤系統提供安全的治療選擇,但治療決策最終需要主治醫生的參與和臨床判斷,沒有任何技術可以取代醫生的工作,也沒有任何技術可以取代醫生對自己病人的了解?!?/p>