大數(shù)據(jù)的笑話篇一：大數(shù)據(jù)沖擊

龍源期刊網(wǎng) .cn

大數(shù)據(jù)沖擊

作者：

來源：《新理財·政府理財》2013年第05期

2012年10月，時任廣東省委書記的汪洋向廣東省財政廳推薦了《大數(shù)據(jù)》一書，并指出，大數(shù)據(jù)是未來政府的重要決策之一。這也是本期專題的開端。

因此本期專題成稿之前，我們一直在向各個地市的財政人詢問一個問題：

你們怎么理解財政的“大數(shù)據(jù)”？

讓我們始料未及的是，這個問題從一開始的“怎么理解”，逐漸發(fā)展到“理不理解”，又發(fā)展到“知不知道”�？雌饋恚�各地財政對于“大數(shù)據(jù)”這一概念，多數(shù)還僅停留在新鮮的層面上。究其原因，財政的“大數(shù)據(jù)”工作基于一個歷史沿革。不管是1999年開始的金財工程建設(shè)，還是2007年開始的財政信息系統(tǒng)一體化建設(shè)，財政工作正在越來越依靠數(shù)據(jù)。然而由于種種原因，財政的信息化建設(shè)需要提速的地方還有很多。在本刊曾經(jīng)做過的《云財政夢》專題中，我們也提到了，到現(xiàn)在云財政依然是一個定義而已。而財政的大數(shù)據(jù)時代，更是一個可望而不可及的遠方。

俗話說沒有調(diào)查就沒有發(fā)言權(quán)，這也反映了現(xiàn)在地方財政的現(xiàn)狀：數(shù)據(jù)不足，所以說話無底氣。那我們說話的根據(jù)來源于哪里？許多財政人表示，來源于經(jīng)過各個部門層層“處理”的“偽數(shù)據(jù)”，而非實時監(jiān)控得來的“真數(shù)據(jù)”。如果數(shù)據(jù)的真實性都值得懷疑，它的適用性就更難以談起了。

政府理財者有一個很尷尬的“心結(jié)”，公司理財由于財務(wù)靈活度自主度高，工具先進，因此一直走在政府理財?shù)那懊�。在大�?shù)據(jù)方面，公司理財也是先行一步。本期我們也選擇了幾個國際頂尖的大數(shù)據(jù)公司，以他們的視角，來探討如何解開財政大數(shù)據(jù)之“結(jié)”。

從一個角度看，財政在數(shù)據(jù)方面總是處于一個被動挨打的地位。但從另一個角度來看，政府理財起步雖晚，但正在以一個驚人的速度迎頭趕上。

大數(shù)據(jù)的笑話篇二：大數(shù)據(jù)時代：我們都走在裸奔的路上

大數(shù)據(jù)時代：我們都走在裸奔的路上

1、相關(guān)關(guān)系比因果關(guān)系更重要

老王開了個包子鋪，有時做少了不夠賣，有時做多了沒賣完，兩頭都是損失。老王琢磨著買包子的都是街坊，他們買包子是有規(guī)律的，例如老張只在周六買，因為閨女周末會來看他，而且閨女就愛吃包子。于是老王每賣一次就記次賬，誰在哪天買了幾籠包子，并試圖找出每個街坊的買包子規(guī)律。

數(shù)據(jù)雖然越記越多，但老王啥規(guī)律也沒找出來，即使是老張也都沒準(zhǔn)，好幾個周六都沒來買，因為他閨女有事沒來。有個人給老王支招，你甭記顧客，就記每天賣了多少籠就行，這個法子明顯簡單有效，很容易就看出了周末比平時會多賣兩籠的規(guī)律。

這個例子雖然簡單，卻道出了大數(shù)據(jù)的一個重要特點【相關(guān)關(guān)系比因果關(guān)系更重要】，周末與買包子人多就是相關(guān)關(guān)系，但為什么多呢？是因為老張閨女這樣的周六來吃包子的人多？還是周末大家都不愿意做飯？對這些可能性不必探究，因為即使探究往往也搞不清楚，只要獲得了周末買包子的人多，能正確地指導(dǎo)老王在周末時多包上兩籠，這就行了。

要相關(guān)不要因果，這是大數(shù)據(jù)思維的重要變革，以前數(shù)據(jù)處理的目標(biāo)更多是追求對因果性的尋找，或是對猜測的因果性的驗證，人們總是習(xí)慣性地找出個原因，然后心里才能踏實，而這個原因是否是真實的，卻往往是無法核實的，而虛假原因?qū)γ嫦蛭磥淼臎Q策來說是有害無益的。承認(rèn)很多事情是沒有原因的，這是人類思維方式的一個重大進步。

2、要全體不要抽樣

傳統(tǒng)的調(diào)查方式都是抽樣的，抽取有限的樣本進行統(tǒng)計，從而得出整體的趨勢來，之所以選擇抽樣而不是統(tǒng)計全部數(shù)據(jù)，只有一個原因，那就是全部數(shù)據(jù)的數(shù)量太多了，根本沒法操作。

抽樣的核心原則就是隨機性，不隨機就不能反映整體趨勢性。例如搞一個保暖內(nèi)衣的調(diào)查，找了一群精壯的武警戰(zhàn)士試穿，戰(zhàn)士們穿上了普遍反映不冷，但這并不能說明內(nèi)衣的保暖效果有多好。

抽樣隨機性的道理誰都知道，但要做到隨機性其實是很難的。例如電視收視率調(diào)查，要從不同階層隨機找被調(diào)查人，但高學(xué)歷高收入的大忙人們普遍拒絕被調(diào)查，他們根本就不會為幾條毛巾贈品而耽誤時間，愿意接受調(diào)查的多是整天閑得無聊的低收入者，電視收視率的調(diào)查結(jié)果就可想而知。

互聯(lián)網(wǎng)為大數(shù)據(jù)的采集帶來的新手段，云計算為處理大數(shù)據(jù)帶來了新方法。還以電視收視率調(diào)查為例，互聯(lián)網(wǎng)電視普及后，每一部電視正在收看什么節(jié)目的信息會毫無遺漏地發(fā)送到調(diào)查中心。這就是大數(shù)據(jù)的第二個特點【要全體不要抽樣】，對全部數(shù)據(jù)進行統(tǒng)計分析，其結(jié)果當(dāng)然會更加準(zhǔn)確。

3、要效率不要精確

俗話說的好，蘿卜快了不洗泥，既然我們要的是全體數(shù)據(jù)，自然會夾雜進來一些錯誤的數(shù)據(jù)，這是難以避免的。我們傳統(tǒng)的數(shù)據(jù)分析的思路是“寧缺勿爛”，因為傳統(tǒng)小數(shù)據(jù)分析的數(shù)據(jù)量本身并不大，任何一個錯誤數(shù)據(jù)都有可能對結(jié)果產(chǎn)生相對較大的負(fù)面影響，對錯誤數(shù)據(jù)必須花大精力去**，這是小數(shù)據(jù)時代必須堅持的原則。

大數(shù)據(jù)時代的原則就變了，變成了【要效率不要精確】，并不是說精確不好，而是因為在大數(shù)據(jù)時代是做不到的，如果繼續(xù)把排除錯誤數(shù)據(jù)作為重要工作，那大數(shù)據(jù)分析就進行不下去了。更重要的是，大數(shù)據(jù)分析的目標(biāo)在于預(yù)測，而不在于追溯以前發(fā)生過的事件的真相。

4、大數(shù)據(jù)時代的裸奔

有次我給學(xué)生暢想未來，你走在大街上，基站的智能天線以一道極窄的波束指向你的手機，從而獲得你的方位角，通過開機瞬時的上百次功率調(diào)整和探詢，換算后就能獲得你與基站的距離，兩個信息結(jié)合就精準(zhǔn)地確定了你的位置。根據(jù)你的搜索記錄，互聯(lián)網(wǎng)早已知道了你的愛好，然后手機“滴”地一聲通知你，你前方10米處右側(cè)有您最喜愛吃的咸豆腐腦

店，正在八折酬賓中，“滴”地又來了一聲，老板已得知您是咸豆腐腦的忠實擁護者，特別給您打五折，來嘗一碗唄。

在我描繪完未來信息社會的全新生活方式后，有個學(xué)生問我：我走在大街上，手機“滴”地一聲，通知我前面有個同志聚會，系統(tǒng)通過我以前的搜索和看過的片子早已確定了我的性向，并將我的信息經(jīng)過精確配對發(fā)送給了好多基友，但我并不想出柜，這可咋整啊？

這個學(xué)生的玩笑話道出了大數(shù)據(jù)時代我們都面臨的一個重大問題，那就是隱私權(quán)問題。美國某機構(gòu)曾做過一個實驗，根據(jù)網(wǎng)友的搜索記錄來篩定目標(biāo)，雖然信息已經(jīng)進行了模糊，還是有不愿意出柜的基友被篩出來了，基友的媽媽非常震驚和生氣，將該機構(gòu)告上了法庭。

微博上常有維權(quán)人士聲稱電話被政府**了，因為手機語音出現(xiàn)了不正常的聲音，其實這是他們多心了，他們的電信知識還停留在用鱷魚夾搭電話線竊聽的階段。并不是說政府不會竊聽，而是說如果政府竊聽你的電話，你是絕對察覺不出來的，多手段全方面的監(jiān)控手段早已超出了外行的想象力。即使是技術(shù)內(nèi)行，例如**家機密的間諜被收網(wǎng)后往往會馬上崩潰，他所有的電話短信郵件出行會面談話都有清清楚楚的鐵證。

犯罪成本太高了，將來無死角的攝像監(jiān)控頭會記錄下一切，即使你犯罪時蒙著面，根據(jù)前兩天你沒蒙臉踩點時的錄像，通過姿態(tài)步態(tài)的匹配算法就能把你篩選出來。現(xiàn)在公安系統(tǒng)有句話“只要上手段，沒有查不出來的”，上手段就是指包括攝像頭監(jiān)控、手機監(jiān)控、網(wǎng)絡(luò)監(jiān)控等綜合手段�，F(xiàn)在的基礎(chǔ)設(shè)施還不完善，等將來所有的路燈桿都變成了多傳感監(jiān)控器，加上強大的大數(shù)據(jù)分析能力，你還想咋藏？

更有意思的是，將來的犯罪逮捕會變成事前，有天你啥事沒做睡在床上就被逮捕了，**通告你：根據(jù)警方對你所有信息的大數(shù)據(jù)分析，顯示你已經(jīng)知道了老婆出軌之事，根據(jù)以往犯罪案例及你本人性格的大數(shù)據(jù)分析結(jié)果，你有76.3%的概率會在本周內(nèi)對老婆進行輕傷以上程度的犯罪，超過了法律規(guī)定的60%輕傷以上犯罪概率必須入監(jiān)的標(biāo)準(zhǔn)，特羈押你一個月，根據(jù)大數(shù)據(jù)分析結(jié)果，放出來后的你仍然犯罪的概率會降低到法律規(guī)定可以釋放的5%以下。

聽著很安全吧？但是不是也感到了毛骨悚然？在大數(shù)據(jù)時代，我們每個人都是赤條條地在信息社會中裸奔，真的是光著屁股一絲不掛地那種裸奔，難到?jīng)]有人意識到這點嗎？當(dāng)然不是，英國等西方國家早就對街道監(jiān)控攝像頭展開了全社會的大討論，安全與隱私該如何權(quán)衡？隨著近年來隨著**主義的盛行，安全顯然更重要了，公民們很無奈地同意把更多的隱私權(quán)交給了政府，以獲得更大的安全感。

必須對公民隱私信息進行分級制的嚴(yán)管，公安部門掌握著每個人的**信息，如果不涉及到重大違法犯罪的話，絕不能濫加使用，更不能透露給當(dāng)事人的配偶，否則社會就會大亂。掌握信息和利用信息的應(yīng)是獨立的兩個機構(gòu)，如果讓利用信息的公安

部分掌管公民所有隱私信息，那就會成為一個人人自危的**國家。

我們現(xiàn)在該如何做好迎接大數(shù)據(jù)時代的準(zhǔn)備？我覺得應(yīng)該培養(yǎng)公權(quán)機構(gòu)絕不能泄露公民隱私的社會輿論，前幾天網(wǎng)上流傳著范冰冰的機場安檢照，記者們以此做娛樂文章稱人家如何如何，這就是一個極壞的兆頭！如果放任這種公權(quán)力的濫用，我們每個人將來都會成為光屁股裸奔的人，光不光屁股則取決于掌握公民信息的權(quán)力人士的一念之差。

最近有報道稱銀行內(nèi)鬼**賬戶信息，銀行方面居然稱這事主要靠自覺，他們內(nèi)部查不出來。這事也是大惡！查不出來是因為銀行內(nèi)部缺乏相應(yīng)的技術(shù)手段，根本就沒有建立起相應(yīng)的信息保密制度，這種不作為是未來大數(shù)據(jù)時代的嚴(yán)重隱患。

前兩天我參加一個學(xué)生的婚禮，作為導(dǎo)師我被安排在領(lǐng)導(dǎo)桌，剛坐定就有個陌生人來照相，詢問后才知是婚宴酒商的員工，把我們作為背景來照酒的照片，估計是用于宣傳。我把他轟走了，我不愿意這個數(shù)據(jù)留在網(wǎng)上，不愿意讓它將來作為分析我的大****。

結(jié)論：與以往的抽樣統(tǒng)計不同，大數(shù)據(jù)使用的是全部數(shù)據(jù)，更著重的是效率而不是數(shù)據(jù)的精確性，關(guān)注的是相關(guān)性而不是因果性，這些特點造就了大數(shù)據(jù)對事物發(fā)展的極強的預(yù)測能力，它可以給我們帶來更安全更便捷的新生活，同時也給個人隱私帶來了巨大的威脅，對掌握公民隱私信息的公權(quán)力的嚴(yán)格控制，應(yīng)該成為全社會的共識。

大數(shù)據(jù)的笑話篇三：大數(shù)據(jù)處理

大數(shù)據(jù)處理

大數(shù)據(jù)處理的流程主要包括以下四個環(huán)節(jié)：采集、導(dǎo)入（預(yù)處理）、統(tǒng)計（分析）、挖掘，下面針對這四環(huán)節(jié)進行簡單闡述。

大數(shù)據(jù)處理之一：采集

大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。比如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。

在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進行負(fù)載均衡和分片的確是需要深入的思考和設(shè)計。

大數(shù)據(jù)處理之二：導(dǎo)入/預(yù)處理

雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。也有一些用戶會在導(dǎo)入時使用來自Twitter的Storm來對數(shù)據(jù)進行流式計算，來滿足部分業(yè)務(wù)的實時計算需求。

導(dǎo)入與預(yù)處理過程的特點和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會達到百兆，甚至千兆級別。

大數(shù)據(jù)處理之三：統(tǒng)計/分析

統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。

統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。

大數(shù)據(jù)處理之四：挖掘

與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預(yù)測（Predict）的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的

Kmeans、用于統(tǒng)計學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

整個大數(shù)據(jù)處理的普遍流程至少應(yīng)該滿足這四個方面的步驟，才能算得上是一個比較完整的大數(shù)據(jù)處理

相關(guān)熱詞搜索：笑話 數(shù)據(jù) 關(guān)于大數(shù)據(jù)的笑話 笑話大集合