大數(shù)據(jù)技術(shù)的意義確實(shí)不在于掌握規(guī)模龐大的數(shù)據(jù)信息，而在于對(duì)這些數(shù)據(jù)進(jìn)行智能處理，從中分析和挖掘出有價(jià)值的信息，但前提是如何獲取大量有價(jià)值的數(shù)據(jù)。

　　大數(shù)據(jù)時(shí)代，我們需要更加全面的數(shù)據(jù)來(lái)提高分析預(yù)測(cè)的準(zhǔn)確度，因此我們就需要更多便捷、廉價(jià)、自動(dòng)的數(shù)據(jù)生產(chǎn)工具。除了我們?cè)诰W(wǎng)上使用的瀏覽器有意或者無(wú)意記載著個(gè)人的信息數(shù)據(jù)之外，手機(jī)、智能手表、智能手環(huán)等各種可穿戴設(shè)備也在無(wú)時(shí)無(wú)刻地產(chǎn)生著數(shù)據(jù);就連我們家里的路由器、電視機(jī)、空調(diào)、冰箱、飲水機(jī)、凈化器等也開始越來(lái)越智能并且具備了聯(lián)網(wǎng)功能，這些家用電器在更好地服務(wù)我們的同時(shí)，也在產(chǎn)生著大量的數(shù)據(jù);甚至我們出去逛街，商戶的WIFI,運(yùn)營(yíng)商的3G網(wǎng)絡(luò)，無(wú)處不在的攝像頭電子眼，百貨大樓的自助屏幕，銀行的ATM,加油站以及遍布各個(gè)便利店的刷卡機(jī)等也都在產(chǎn)生著數(shù)據(jù)。

　　幾乎任何規(guī)模企業(yè)，每時(shí)每刻也都在產(chǎn)生大量的數(shù)據(jù)，但這些數(shù)據(jù)如何歸集、提煉始終是一個(gè)困擾。而大數(shù)據(jù)技術(shù)的意義確實(shí)不在于掌握規(guī)模龐大的數(shù)據(jù)信息，而在于對(duì)這些數(shù)據(jù)進(jìn)行智能處理，從中分析和挖掘出有價(jià)值的信息，但前提是如何獲取大量有價(jià)值的數(shù)據(jù)。

　　數(shù)據(jù)源復(fù)雜多樣

　　從大數(shù)據(jù)的概念我們可以知道，大數(shù)據(jù)的數(shù)據(jù)源主要為網(wǎng)絡(luò)日志、視頻、圖片、地理位置等等各類網(wǎng)絡(luò)信息，而這些數(shù)據(jù)的匯集是實(shí)現(xiàn)大數(shù)據(jù)實(shí)施的基礎(chǔ)，所以大數(shù)據(jù)應(yīng)用建設(shè)離不開網(wǎng)絡(luò)信息數(shù)據(jù)采集這一核心環(huán)節(jié)。

　　不管是政府還是企業(yè)，瀏覽器里的搜索、點(diǎn)擊、網(wǎng)上購(gòu)物、其他數(shù)據(jù)(比如氣溫、海水鹽度、地震波)、新聞信息、網(wǎng)友留言、網(wǎng)友個(gè)人信息、產(chǎn)品信息、人事信息等等都是大數(shù)據(jù)應(yīng)用的重要目標(biāo)，這些信息數(shù)據(jù)是政府企業(yè)戰(zhàn)略決策的重要依據(jù)。

　　大數(shù)據(jù)環(huán)節(jié)下的數(shù)據(jù)來(lái)源非常多，而且類型也多種多樣，存儲(chǔ)和數(shù)據(jù)處理的需求量很大，對(duì)于數(shù)據(jù)展現(xiàn)也非常的高，并且很看重?cái)?shù)據(jù)處理的高效性和可用性。

　　談及數(shù)據(jù)采集利器，我們最熟悉的就是遍布身邊的攝像頭，不到10年的時(shí)間，城市里的任何一個(gè)角落放眼望去就全部是攝像頭了。隨著互聯(lián)網(wǎng)技術(shù)的大發(fā)展，能夠接入互聯(lián)網(wǎng)的終端越來(lái)越便宜、在人群中覆蓋率不斷提高，以致于我們擁有了一個(gè)可以覆蓋大部分人口的傳感器網(wǎng)絡(luò)。比如我所在的淘寶網(wǎng)，每天有億級(jí)別的用戶訪問(wèn)、購(gòu)物。在傳統(tǒng)的工業(yè)時(shí)代，我們永遠(yuǎn)無(wú)法知道一個(gè)人在超市做了什么、也很難分析每個(gè)人在超市買了什么東西，盡管你有收銀數(shù)據(jù)。而在互聯(lián)網(wǎng)這個(gè)每個(gè)人都帶著傳感器的時(shí)代、一切行為都可能被記錄、分析、用于優(yōu)化你未來(lái)的體驗(yàn)。

　　精準(zhǔn)分析之?dāng)?shù)據(jù)采集要真實(shí)可靠

　　現(xiàn)今，數(shù)據(jù)的作用正在迅速膨脹并變大，它影響著企業(yè)工作戰(zhàn)略的制定，雖然現(xiàn)在企業(yè)可能并沒有意識(shí)到網(wǎng)絡(luò)信息數(shù)據(jù)采集的不到位給自身工作帶來(lái)的問(wèn)題和隱患，但是隨著時(shí)間的推移，人們將越來(lái)越多的意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性。當(dāng)下大部分公司都有自己的渠道，即自己的方式去收集數(shù)據(jù)。對(duì)數(shù)據(jù)來(lái)說(shuō)有兩個(gè)方面：一個(gè)就是通過(guò)分析以后給客戶的數(shù)據(jù);另外一個(gè)就是公司內(nèi)部用。給客戶的數(shù)據(jù)首先就要保證準(zhǔn)確性，這個(gè)很重要。還有它的出處是不是官方的?另外這些數(shù)據(jù)是不是涉及到別人的隱私?關(guān)于公司內(nèi)部使用的數(shù)據(jù)，通常更注重如何與業(yè)務(wù)發(fā)展、產(chǎn)品完美結(jié)合。

　　數(shù)據(jù)分析和數(shù)據(jù)挖掘的重點(diǎn)都不在數(shù)據(jù)本身，而在于如何能夠真正地解決數(shù)據(jù)運(yùn)營(yíng)中的實(shí)際商業(yè)問(wèn)題。但是，要解決商業(yè)問(wèn)題，就得讓數(shù)據(jù)產(chǎn)生價(jià)值，就得做數(shù)據(jù)分析和數(shù)據(jù)挖掘。而在數(shù)據(jù)分析和數(shù)據(jù)挖掘之前，首先必須保證采集到高質(zhì)量的數(shù)據(jù)。只有通過(guò)對(duì)所需數(shù)據(jù)的全面準(zhǔn)確采集，形成數(shù)據(jù)流規(guī)模，然后再對(duì)數(shù)據(jù)流進(jìn)行分析，這樣分析出的數(shù)據(jù)結(jié)果對(duì)決策行為才有指導(dǎo)性作用。

　　采集數(shù)據(jù)源種類繁多，以及采集速度要快更是一個(gè)嚴(yán)峻挑戰(zhàn)，因?yàn)椴杉^(guò)程本來(lái)就是數(shù)據(jù)質(zhì)量問(wèn)題的主要來(lái)源。采集數(shù)據(jù)源雜亂，采集速度又快，如果不能及時(shí)進(jìn)行數(shù)據(jù)質(zhì)量處理，就會(huì)導(dǎo)致數(shù)據(jù)質(zhì)量問(wèn)題的堆積，越來(lái)越嚴(yán)重。所以在采集環(huán)節(jié)，就必須引入實(shí)時(shí)數(shù)據(jù)質(zhì)量監(jiān)控和清洗技術(shù)，通過(guò)強(qiáng)大的集群和分布式計(jì)算能力，提高數(shù)據(jù)采集性能和數(shù)據(jù)質(zhì)量監(jiān)控性能，利用強(qiáng)大的分布式云計(jì)算技術(shù)，實(shí)現(xiàn)數(shù)據(jù)抽取、數(shù)據(jù)清洗以及數(shù)據(jù)質(zhì)量檢查工作。

　　完成全面數(shù)據(jù)采集后，就應(yīng)該有準(zhǔn)確的分析和使用數(shù)據(jù)能力，透過(guò)對(duì)采集數(shù)據(jù)的深入分析，了解事件的事實(shí)真相和事件背后的社情民意，預(yù)判各種事件的發(fā)展走向，這些變動(dòng)對(duì)整個(gè)大局會(huì)產(chǎn)生什么樣的影響，影響是否會(huì)阻礙自身的健康發(fā)展，這都需要我們用數(shù)據(jù)來(lái)衡量，用數(shù)據(jù)反映出的事實(shí)來(lái)指導(dǎo)我們工作策略的制定，讓我們的工作決策理性化而不是經(jīng)驗(yàn)化。

　　數(shù)據(jù)采集未來(lái)是一個(gè)很大的市場(chǎng)，因?yàn)榉治龅臄?shù)據(jù)模型可以根據(jù)需求和思維做，但所有的前提是你的數(shù)據(jù)采集要準(zhǔn)，現(xiàn)在的問(wèn)題一個(gè)是采集不到，一個(gè)是采集錯(cuò)了，還有一個(gè)是采集效率受到網(wǎng)絡(luò)帶寬限制，這幾個(gè)都做不到的話數(shù)據(jù)價(jià)值很難用起來(lái)。

　　當(dāng)數(shù)據(jù)采集遇上隱私安全怎么辦?

　　隨著移動(dòng)互聯(lián)、云計(jì)算等技術(shù)的飛速發(fā)展，無(wú)論何時(shí)何地，手機(jī)等各種網(wǎng)絡(luò)入口以及無(wú)處不在的傳感器等，都會(huì)對(duì)個(gè)人數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、使用、分享，而這一切大都是在人們并不知曉的情況下發(fā)生。你的一舉一動(dòng)、地理位置、甚至一天去過(guò)哪些地方，都會(huì)被記錄下來(lái)，成為海量無(wú)序數(shù)據(jù)中的一個(gè)數(shù)列，和其他數(shù)據(jù)進(jìn)行整合分析。

　　比如，當(dāng)你用手機(jī)掃描二維碼，并將其用微博轉(zhuǎn)發(fā)的時(shí)候，你的消費(fèi)習(xí)慣、偏好，甚至你的社交圈子的信息，就已經(jīng)被商家的大數(shù)據(jù)分析工具捕獲。大數(shù)據(jù)平臺(tái)在提供服務(wù)的同時(shí)，也在時(shí)刻收集著用戶的各種個(gè)人信息：消費(fèi)習(xí)慣、閱讀習(xí)慣甚至生活習(xí)慣。這些數(shù)據(jù)，一方面給人們帶來(lái)了諸多便利，但另一方面，由于數(shù)據(jù)的管理還存在漏洞，那些發(fā)布出去或存儲(chǔ)起來(lái)的海量信息，也很容易被監(jiān)視、被竊取。

　　大數(shù)據(jù)散發(fā)出不可估量的商業(yè)價(jià)值。但讓人感到不安的是，信息采集手段越來(lái)越高超、便捷和隱蔽，對(duì)公民個(gè)人信息的保護(hù)，無(wú)論在技術(shù)手段還是法律支撐都依然捉襟見肘。人們面臨的不僅是無(wú)休止的騷擾，更可能是各種犯罪行為的威脅。大數(shù)據(jù)時(shí)代，誰(shuí)來(lái)保護(hù)公民的個(gè)人隱私?既是每個(gè)人都應(yīng)當(dāng)思考的問(wèn)題，也是政府部門不可推卸的責(zé)任。