最近，一篇名為《Using Deep Learning and Google Street View to Estimate the  Demographic Makeup of the  US》的論文發(fā)布到了arxiv.org上，作為這篇論文的聯(lián)合作者之一，李飛飛在她的推特上向公眾推薦了這篇論文。這篇論文主要論述了如何將谷歌街景車搜集來的機(jī)動車輛數(shù)據(jù)，結(jié)合機(jī)器學(xué)習(xí)算法，從而估算出本地區(qū)人口的特征和組成，甚至這一地區(qū)居民的政治傾向。

下面是這篇論文的一些節(jié)選內(nèi)容。

幾千年來，統(tǒng)治者和政策制定者進(jìn)行全國人口調(diào)查，用來搜集人口數(shù)據(jù)。在美國，最細(xì)致的人口調(diào)查工作就是“美國社區(qū)調(diào)差”(ACS)，由美國普查局執(zhí)行，每年花費(fèi)10億美元和6500人以上的人力。這是一個勞動密集型數(shù)據(jù)搜集過程。

最近幾年，計算方法崛起成為解決社會科學(xué)領(lǐng)域問題的有效方法。比如用Twitter上的數(shù)據(jù)預(yù)測失業(yè)率、使用書里的大量文本分析文化等等。這些例子表明，計算方法可以促進(jìn)社會經(jīng)濟(jì)領(lǐng)域的研究發(fā)展，最終可以詳細(xì)、實(shí)時地分析人口趨勢，并且成本很便宜。

我們的研究表明，結(jié)合公共數(shù)據(jù)和機(jī)器學(xué)習(xí)方法，可以得到社會經(jīng)濟(jì)數(shù)據(jù)和美國人的政治傾向。我們的流程里，針對幾個城市耗費(fèi)少量人力來搜集數(shù)據(jù)，然后用來預(yù)測全美的狀況。

具體而言，我們分析了由谷歌街景汽車在200個城市里搜集來的5000萬張圖片。我們的數(shù)據(jù)主要是關(guān)于機(jī)動車輛，因?yàn)?0%的美國家庭都擁有至少一輛汽車，而且人們對汽車的選擇受到多種人口因素的影響，包括家庭需求、個人偏好和資金等。

基于深度學(xué)習(xí)的CNN計算機(jī)視覺框架，不僅能夠在復(fù)雜的街景下識別出汽車，還能鑒定出一系列汽車特征，包括材料、型號和年份。對于一個未經(jīng)訓(xùn)練的人來說，汽車之間的不同是難以發(fā)覺的。比如，同一型號的汽車，不同年份的在尾燈有微小變化(比如2007產(chǎn)的Honda  Accord和2008年產(chǎn)Honda  Accord)。然而，我們的系統(tǒng)就能夠?qū)⑵嚪殖?657類，每張圖片的分析時間只需0.2秒。該系統(tǒng)可以在2周時間里對5000萬張圖片分類，而一個專業(yè)的人類分類員，假設(shè)他每張需要10秒時間，將會花費(fèi)15年的時間完成這個任務(wù)。

利用谷歌街景汽車搜集來5000萬張圖片，我們使用圖像識別算法(Deformable Part  Model)來學(xué)習(xí)自動搜集汽車圖片。搜集每一輛汽車圖片后，我們部署CNN模型，用來進(jìn)行物體分類，來判定每一輛車的材料、型號、車型和年份。然后，我們根據(jù)城鎮(zhèn)名字分類數(shù)據(jù)庫，劃分到兩個數(shù)據(jù)庫里。第一個是"訓(xùn)練庫"，包含了所有名字以A、B、  C開頭的地區(qū)，這個數(shù)據(jù)庫包括了35個城市，訓(xùn)練產(chǎn)生模型;第二個是“測試庫”，包括所有名字以D、Z為開頭的地區(qū)，這個數(shù)據(jù)庫用來提升模型。

我們總共搜集了2200萬輛(占全美汽車總數(shù)8%)汽車的數(shù)據(jù)，用來準(zhǔn)確估算這個地區(qū)的收入、種族、教育和投票程式(voting  pattern)。結(jié)果顯示出的關(guān)系出人意料的簡單和有力。比如，如果在一個城市里15分鐘的車程中，遇到的轎車數(shù)量高于卡車數(shù)量，那么這個城市傾向于在下屆大選中投票給民主黨(88%幾率);反之則傾向于投票給共和黨(82%)。我們的結(jié)果表明，自動系統(tǒng)監(jiān)測使用良好的空間分辨率，能夠接近實(shí)時地監(jiān)測人口趨勢，可以有效地輔助勞動密集型的調(diào)查方法。