大數(shù)據(jù)分析及處理的常見方法是什么

　　大數(shù)據(jù)分析被運用于各行各業(yè)，為的就是更好預測未來的可能、提前做好預案，應對措施，實際上，在醫(yī)療、零售、城市管理建設等行業(yè)中都可見大數(shù)據(jù)分析師的身影。所謂大數(shù)據(jù)指的是量超過10tb的數(shù)據(jù)集，依托大數(shù)據(jù)做分析、測算是每個分析師的日常從業(yè)職責所在。為了確保分析速度快分析結果足夠精準，避免錯過時效性，大多數(shù)資深分析師都會用流程式方法來做分析，下面就跟大家具體介紹一下具體方法。
 

　　大數(shù)據(jù)分析之數(shù)據(jù)采集，一本500萬字的電子書，所占據(jù)的內存容量也不過在幾百kb而已，而大數(shù)據(jù)的量超過了10tb，如果只是單純利用線下問卷調查收集，速度慢容易錯過數(shù)據(jù)實效性，為了避免這樣的情況，得借助信息、網(wǎng)絡、python爬蟲、nosql數(shù)據(jù)庫等諸多方式多管齊下并行才可。數(shù)據(jù)的采集相當有難度，主要的難點體現(xiàn)在并發(fā)數(shù)高上面，比如說在網(wǎng)上進行爬蟲獲得數(shù)據(jù)時，極有可能在同一時間內有上萬的用戶進行訪問操作，甚至人數(shù)能達百萬千萬，比如說像去哪兒、攜程等訂票系統(tǒng)或者淘寶、京東等購物平臺，這樣的情況就很常見，怎么在數(shù)據(jù)獲得過程中均勻負載，這是每個人都需要認真考慮清楚的。

　　大數(shù)據(jù)分析之數(shù)據(jù)清洗，得到的數(shù)據(jù)肯定有一些是無用的、重復的，將這些數(shù)據(jù)剔除掉，被保留下來的才具有進一步分析和分層、建模的意義和價值。這個過程的執(zhí)行其實挺簡單的，只要將數(shù)據(jù)導入到大型分布式的數(shù)據(jù)庫中就可以了，現(xiàn)在不少資深分析師在導入時都會用來自twitter的storm，效果不錯。

　　大數(shù)據(jù)分析之統(tǒng)計分析，這時候要用到的就是分布式數(shù)據(jù)庫，比如說EMC的GreenPlum、Oracle的Exadata、基于 MySQL的列式存儲Infobright都是常見的軟件，以上常被用于實時性的需求處理，如果是批量式的處理，那會用到hadoop，不同數(shù)據(jù)對應的適合軟件會存在差別。而每個大數(shù)據(jù)分析師重要的就是弄清楚到底在不同環(huán)節(jié)要用到哪個軟件，軟件的具體操作又是怎樣的，如果達到這般程度就能將大數(shù)據(jù)分析工作實現(xiàn)流程化。

　　大數(shù)據(jù)分析之挖掘，挖掘跟分析不同，分析是通過對數(shù)據(jù)的判斷、知道到底不同數(shù)據(jù)之間的關系是怎樣的，而挖掘就是要在此基礎上得到適合于不同數(shù)據(jù)的模型，建立模型之后則得在此基礎上反向測算數(shù)據(jù)的真實性，同時用簡單的excel表格等方式將不同變量之間的關系直觀呈現(xiàn)。

　　以上所說的就是大數(shù)據(jù)分析的全流程了，如果能將以上所說流程重復個幾十遍那你就是一個有經(jīng)驗積累的大數(shù)據(jù)分析師了，具備這樣水平的分析師即便初入職場，薪資收入都很不錯。