最近，一名澳大利亞人工智能博士候選人在LinkedIn上發(fā)表了一篇關(guān)于新型冠狀病毒病毒的研究文章。由于其話(huà)題性和聲稱(chēng)的97.5%的準(zhǔn)確率，這篇文章迅速獲得了數(shù)萬(wàn)條評(píng)論、點(diǎn)贊和轉(zhuǎn)發(fā)。但是，這樣的模型被拉出來(lái)，只用了50張圖片進(jìn)行訓(xùn)練。

一周內(nèi)建立一個(gè)準(zhǔn)確率97%的模型。事實(shí)是什么？

此前，澳大利亞一名人工智能博士候選人宣布構(gòu)建了一套深度學(xué)習(xí)模型，可以從肺部x光片中以97.5%的準(zhǔn)確率檢測(cè)出患者是否感染了新冠肺炎病毒。因?yàn)閲?guó)外疫情蔓延，醫(yī)療設(shè)施不足，所以人們對(duì)這個(gè)成績(jī)非常關(guān)注。短時(shí)間內(nèi)，他們收到了數(shù)萬(wàn)條評(píng)論、贊和轉(zhuǎn)發(fā)。他們還創(chuàng)建了Slack工作組，獲得了很多好評(píng)。

從目前發(fā)布的消息來(lái)看，整個(gè)項(xiàng)目有以下特點(diǎn):一套訓(xùn)練好的Python模型容器化應(yīng)用代碼和一套GitHub庫(kù)，已經(jīng)翻譯成多種語(yǔ)言的正在開(kāi)發(fā)的Web應(yīng)用和正在開(kāi)發(fā)的移動(dòng)應(yīng)用規(guī)劃藍(lán)圖，在A(yíng)WS中托管這種無(wú)服務(wù)器架構(gòu)的模型在營(yíng)銷(xiāo)和贊助方面有大量的后續(xù)計(jì)劃。

而以上都是在一周內(nèi)快速完成的。隨后，Reddit用戶(hù)挑出了這個(gè)解決方案中的幾個(gè)嚴(yán)重問(wèn)題，進(jìn)行了整理和反駁。

只用50張圖片訓(xùn)練？

首先，這些網(wǎng)絡(luò)的潛在神經(jīng)表示非常復(fù)雜，需要使用大量的訓(xùn)練樣本來(lái)完成模型訓(xùn)練。但是截止到提交，這個(gè)新冠肺炎測(cè)試工具只看到了50個(gè)肺部圖像。

對(duì)于這樣一個(gè)超過(guò)150層，超過(guò)2000萬(wàn)個(gè)參數(shù)的網(wǎng)絡(luò)來(lái)說(shuō)，如此有限的訓(xùn)練樣本集顯然是可笑的。

該模型通過(guò)肺部X射線(xiàn)圖像來(lái)學(xué)習(xí)。

樣品有問(wèn)題。

此外，樣本中可能存在巨大的數(shù)據(jù)偏差。這50張圖片并不包含相關(guān)人員是否感染病毒，只是根據(jù)新冠肺炎急性病例導(dǎo)致的肺部手術(shù)進(jìn)行標(biāo)注。除非肺部已經(jīng)被病毒破壞，否則模型根本檢測(cè)不出任何感染跡象。另外，即使肺炎的癥狀已經(jīng)出現(xiàn)，如果不是急性癥狀，也無(wú)法證明這個(gè)模型的準(zhǔn)確性。重復(fù)圖像、代碼混亂和模型問(wèn)題。

最后，這個(gè)COVID模型基于流行的基準(zhǔn)網(wǎng)絡(luò)ResNet-50。雖然后者確實(shí)是圖像識(shí)別和分類(lèi)領(lǐng)域的常用方案，但ResNet的前期訓(xùn)練一般只覆蓋日常環(huán)境中的物體。換句話(huà)說(shuō)，ResNet網(wǎng)絡(luò)中的隱層更擅長(zhǎng)識(shí)別幾何形狀和彩色圖像，而我們?cè)趚光圖像中顯然找不到這樣的模式。正因?yàn)槿绱耍蠖鄶?shù)醫(yī)學(xué)神經(jīng)網(wǎng)絡(luò)只能選擇從零開(kāi)始構(gòu)建。

對(duì)這個(gè)代碼庫(kù)的進(jìn)一步觀(guān)察揭示了許多其他問(wèn)題。訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)集中存在重復(fù)圖像，訓(xùn)練流程大多直接抄襲PyTorch教程，夾雜大量不必要的代碼；Hubissues也完全不可理解...

GitHub地址:https://github.com/elcronos/COVID-19項(xiàng)目負(fù)責(zé)人回應(yīng):我說(shuō)項(xiàng)目不可用。

最初，當(dāng)個(gè)別開(kāi)發(fā)人員與項(xiàng)目負(fù)責(zé)人溝通并提出問(wèn)題時(shí)，對(duì)方回應(yīng)說(shuō):

你好，xxx，我們的成果得到了加拿大xxx研究所放射科醫(yī)生的支持和認(rèn)可。

然而隨著越來(lái)越多的質(zhì)疑，項(xiàng)目負(fù)責(zé)人在GitHub中更新了介紹，說(shuō):

雖然這個(gè)項(xiàng)目的結(jié)果“看起來(lái)很有希望”，但我明確指出，這個(gè)模型還遠(yuǎn)遠(yuǎn)沒(méi)有，所以不應(yīng)該用于診斷或任何醫(yī)療決策。這是一項(xiàng)正在進(jìn)行的工作，我們需要有相關(guān)技能的人的幫助。我也在GitHub的資源庫(kù)中指出，我正在尋找能夠改進(jìn)和收集更好數(shù)據(jù)集的開(kāi)發(fā)者的幫助。

…

不幸的是，這個(gè)項(xiàng)目引起了相關(guān)專(zhuān)家的注意。他們沒(méi)有注意到模型還沒(méi)有準(zhǔn)備好，需要更好的數(shù)據(jù)集并幫助創(chuàng)建更好的模型，也沒(méi)有閱讀我們所有的免責(zé)聲明。我指責(zé)這個(gè)項(xiàng)目有誤導(dǎo)性，甚至有人暗示我有商業(yè)意圖。這對(duì)我的個(gè)人生活造成了一些負(fù)面影響，所以我決定退一步，暫時(shí)退出社交媒體。至少接下來(lái)的幾天，我不會(huì)在這個(gè)群里活動(dòng)。

完整版聲明參考:https://github.com/elcronos/COVID-19

然而，負(fù)責(zé)人仍在大力宣傳該項(xiàng)目，并開(kāi)始籌集資金。項(xiàng)目負(fù)責(zé)人創(chuàng)建了一個(gè)Slack討論組，該討論組有幾個(gè)子渠道，包括一個(gè)專(zhuān)門(mén)用于溝通和籌款的#營(yíng)銷(xiāo)渠道。此外，#保薦人頻道負(fù)責(zé)與潛在投資人溝通，報(bào)告其未來(lái)投資回報(bào)前景。

松弛討論組:https://app.slack.com/client/T010AJ5H31N/learning-slack

除此之外，名為#datascientists的頻道也沒(méi)有多少有用的內(nèi)容，里面全是熱情但缺乏經(jīng)驗(yàn)的新手。同樣，#醫(yī)生頻道的情況也差不多。唯一有價(jià)值的內(nèi)容是來(lái)自專(zhuān)業(yè)醫(yī)療人員的反對(duì)意見(jiàn)，比如不建議使用肺部x光診斷新冠肺炎感染。最后一個(gè)子通道#研究人員幾乎是空的。

另一方面，UI/UX頻道制作的內(nèi)容相當(dāng)豐富。目前，這個(gè)程序有五個(gè)不同的徽標(biāo)，外加一組專(zhuān)用于移動(dòng)和Web應(yīng)用程序的界面。

所以，對(duì)于這種說(shuō)法，大部分開(kāi)發(fā)商并不買(mǎi)賬。很多人認(rèn)為，在目前的特殊情況下，這種問(wèn)題嚴(yán)重的項(xiàng)目不應(yīng)該進(jìn)行發(fā)布和宣傳(甚至有開(kāi)發(fā)商調(diào)侃稱(chēng)，宣傳的工作量是開(kāi)發(fā)工作的20倍左右)。診斷中的醫(yī)學(xué)深度學(xué)習(xí)

深度卷積網(wǎng)絡(luò)在疾病的診斷和治療方面確實(shí)具有一系列潛在的優(yōu)勢(shì)。近年來(lái)，許多科學(xué)出版物都對(duì)這一新的發(fā)展方向給予了高度關(guān)注:2016年，來(lái)自倫敦的一組研究人員發(fā)表了一種新方法，基于包含8萬(wàn)張眼底照片的數(shù)據(jù)集，可以以86%的準(zhǔn)確率診斷糖尿病引起的視網(wǎng)膜病變。同年，來(lái)自烏干達(dá)的研究人員通過(guò)使用10，000個(gè)對(duì)象的數(shù)據(jù)集，評(píng)估了卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)微觀(guān)血液涂片的分析能力。兩名日本研究人員通過(guò)包含55萬(wàn)張CT掃描圖像的數(shù)據(jù)集，對(duì)肺結(jié)節(jié)進(jìn)行了大規(guī)模分類(lèi)操作。

然而，前面提到的新冠肺炎測(cè)試完全不同。稍微瀏覽一下其公布的代碼庫(kù)，就能看出作者對(duì)深度學(xué)習(xí)和AI技術(shù)的認(rèn)知嚴(yán)重不足。更糟糕的是，很多開(kāi)發(fā)者都在質(zhì)疑，他們顯然是想利用這次爆發(fā)來(lái)推廣自己。說(shuō)好的代碼改變世界？

深度學(xué)習(xí)絕不是最好的解決方案。近年來(lái)，無(wú)數(shù)毫無(wú)準(zhǔn)備的企業(yè)匆忙組建數(shù)據(jù)團(tuán)隊(duì)，卻發(fā)現(xiàn)成本在快速上升，卻沒(méi)有任何有意義的產(chǎn)出。

此前，李菲菲在一次采訪(fǎng)中提到:

泡沫確實(shí)存在。過(guò)度的夸張和炒作可以說(shuō)是鋪天蓋地。作為科學(xué)家，我希望這些泡沫盡快消散。只有注重實(shí)芯的人，才能推動(dòng)AI進(jìn)步，帶來(lái)實(shí)實(shí)在在的收益，這一點(diǎn)在醫(yī)療醫(yī)療、醫(yī)藥等領(lǐng)域尤為重要。

此外，我們永遠(yuǎn)不應(yīng)該利用技術(shù)來(lái)制造不公正、偏見(jiàn)或擴(kuò)大現(xiàn)有的不平等。對(duì)于A(yíng)I技術(shù)，希望降低其接觸門(mén)檻，增加公平性，盡可能緩解各種相關(guān)矛盾。只要處理得當(dāng)，我們完全有機(jī)會(huì)利用人工智能技術(shù)創(chuàng)造更美好的未來(lái)。當(dāng)然，前提是我們要仔細(xì)梳理現(xiàn)有的AI成果，找出哪些是捏造的，哪些是真實(shí)的。

閱讀:李菲菲最新訪(fǎng)談:希望AI領(lǐng)域的泡沫盡快消散，尤其是醫(yī)療部分。

時(shí)至今日，AI技術(shù)仍在開(kāi)拓前進(jìn)。忽略了這一點(diǎn)，很容易陷入炒作的泥潭。

說(shuō)了這么多，任何一個(gè)理性的開(kāi)發(fā)商都不會(huì)貿(mào)然進(jìn)入，把自己的命運(yùn)交給運(yùn)氣。相反，只有先建立一支在A(yíng)I/ML、DataOps、架構(gòu)、開(kāi)發(fā)等領(lǐng)域有專(zhuān)長(zhǎng)的團(tuán)隊(duì)，才能打贏(yíng)這場(chǎng)仗。

最后，代碼不能讓世界變得更好也沒(méi)關(guān)系，不要惹麻煩就好。

關(guān)注我，轉(zhuǎn)發(fā)這篇文章。如果你相信我“收到信息”，你可以免費(fèi)獲得價(jià)值4999元的InfoQ迷你本！了解更多信息