《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 解決方案 > 數據科學的下一個「超能力」:模型可解釋性

數據科學的下一個「超能力」:模型可解釋性

2019-03-29

很多人重視重視模型的預測能力,卻忽略了模型可解釋性的重要性,只知其然而不知其所以然。為什么說模型的可解釋性這么重要呢?作者就 5 個方面對此進行了闡述。

微信圖片_20190329143348.jpg

模型的可解釋性能夠展示你的模型在學什么,并且觀察模型內部比大多數人想的更有用。


在過去的 10 年間,我采訪了許多數據科學家,模型的可解釋性是我最喜歡的主題,我用它來區分最好的數據科學家和一般的數據科學家。


有些人認為機器學習模型是黑箱,能做出預測但無法理解;可是最好的數據科學家可以通過任何模型洞察真實世界。給出任何模型,這些數據科學家都可以輕松地回答下面的問題:


模型認為數據中最重要的特征是什么

就模型的任何單個預測結果而言,數據中的每個特征是如何影響這一預測結果的

特征之間什么樣的相互作用對模型預測產生的影響最大


這些問題的答案比大多數人認為的要有意義。受此啟發,我在 Kaggle 上開設了模型可解釋性的微課程。無論你是通過 Kaggle 還是其他的綜合性資源(比如《統計學習基礎(Elements of Statistical Learning)》)進行學習,這些技術都將徹底地改變你構建、驗證和部署機器學習模型的方式。


為什么這些洞察結果很有價值?


模型洞察結果的五個最重要應用是:


調試

指導特征工程

指導未來數據的收集方向

指導人類做出決策

建立信任


調試


這個世界中存在很多不可靠的、雜亂無章且具有大量噪聲的數據。當你寫下預處理代碼時,你就添加了潛在的錯誤源頭。加上目標泄漏的可能性,在真實的數據科學項目中,在某個點出現錯誤是正常的,而非例外。


鑒于錯誤的頻率以及潛在的災難性后果,調試成為了數據科學中最有價值的技能之一。理解模型正在尋找的模式有助于你確定模型何時與你對現實世界的了解不一致,這一般都是追蹤錯誤的第一步。


指導特征工程


特征工程一般是提高模型準確率的最有效方法。特征工程通常包括轉換原始數據或之前創建的特征來反復創建新特征。


有時候你可以僅憑對基本主題的直覺來完成這個過程。但是當原始特征有 100 多個或者你缺乏手頭項目的背景知識時,你就需要更多指導了。


Kaggle 競賽中有道題是關于預測貸款違約的,這就是一個極端的例子。這道題中有 100 多個原始特征。出于隱私原因,這些特征沒用常見的英文名字,而是用 f1、f2、f3 這樣的代號命名的。這就模擬了一個你不怎么了解原始數據的場景。


一名參賽者發現了 f527~f528 這兩個特征之間的差異,從而創建了強大的新特征。將這一差異作為特征的模型比沒有這個特征的模型要好得多。但是當變量有數百個時,你怎么能想到創建這個變量呢?


你在這門課程中學到的技巧能讓你輕易分辨出 f527 和 f528 是重要特征,而且它們是有緊密關聯的。這會指導你考慮轉換這兩個變量,從而找到 f527-f528 的「黃金特征」。


現在的數據集動輒就有成百上千個原始特征,因此這個方法的重要性與日俱增。


指導未來數據的收集方向


你無法控制在線下載的數據集。但許多使用數據科學的企業和組織都有機會擴大他們收集數據的類型。收集新類型的數據又貴又不方便,所以他們只會收集值得費力氣的數據。基于模型的洞察結果可以讓你更好地理解當前特征的價值,這將幫助你推斷出哪些新價值是最有用的。


指導人類做出決策


有些決策是由模型自動做出的——當你登錄亞馬遜時,網站沒有人在倉促間決定給你展示什么內容。但是有很多重要的決定必須要由人類來做。就這些決策而言,模型的洞察能力比預測能力更有價值。


建立信任


在沒有驗證基本事實的情況下,人們不會相信你的模型,也就不會根據你的模型做出重要的決策。就數據出錯的頻率而言,這是明智的預防措施。在實踐中,展示符合他們一般認知的洞察結果有助于建立用戶對模型的信任,即便這些用戶對數據科學知之甚少也沒關系。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 国内外一级毛片 | 欧美乱人伦视频 | 欧美sss视频 | 日韩精品一区二区三区国语自制 | 久久人人爽人人爽人人小说 | 免费成人小视频 | 黑丝美足 | 天天色操 | 夜色在线影院 | 天干天干啦夜天天天视频 | 黄 色 免 费 网站在线观看 | 国产农村精品一级毛片视频 | 欧美曰批人成在线观看 | 欧美人一级淫片a免费播放 欧美人妖猛交 | 国产香蕉精品视频在 | 欧美视频区 | 天天操夜夜摸 | 色网址在线观看 | 午夜国产在线观看 | 久久综合狠狠综合久久 | 日韩aa| 欧美性free hd | 国产精品久久久久久久y | 欧美中文字幕视频 | 91短视频在线观看免费 | 久爱精品视频在线视频 | 欧洲在线免费视频 | 高清视频一区二区三区 | 中文字幕第38页永久乱码 | 国产大片中文字幕在线观看 | 成 人 黄 色 激 情视频网站 | 免费成年人视频在线观看 | 日韩欧美大陆 | 久久网站免费 | 欧美一级欧美三级在线观看 | 日本黄色小说视频 | 中国黄色片网站 | 欧美家庭影院 | 国产在线视频你懂的 | 最近2019好看中文字幕 | 成人在线观看一区 |