大數(shù)據(jù)分析技術(shù)的發(fā)展趨勢

　　我們生活的數(shù)字時代正在改變我們的工作，娛樂和學習方式。對于努力實現(xiàn)數(shù)字化轉(zhuǎn)型或通過數(shù)據(jù)分析提高競爭力的組織而言，成為數(shù)據(jù)驅(qū)動型組織是一個關(guān)鍵目標。實現(xiàn)這一目標的進展令人沮喪地緩慢。
 

　　根據(jù)2019年New Vantage Partners大數(shù)據(jù)和AI高管調(diào)查，來自接受調(diào)查的組織(例如美國運通，福特汽車，通用電氣，通用汽車和強生)的高管中，幾乎有72%認為他們沒有成功建立了數(shù)據(jù)文化。1只有31%的人表示他們的業(yè)務(wù)是數(shù)據(jù)驅(qū)動的，而53%的人表示他們尚未開始將數(shù)據(jù)視為業(yè)務(wù)資產(chǎn)。超過一半(52%)的受訪者承認，他們在數(shù)據(jù)和分析方面沒有成功競爭。
 

　　隨著可供組織使用的數(shù)據(jù)量不斷增加，企業(yè)對投資數(shù)據(jù)科學家的需求變得越來越緊迫。
 

　　數(shù)據(jù)爆炸
 

　　自數(shù)字時代開始以來，數(shù)據(jù)一直以指數(shù)級的速度增長，幾乎沒有放緩的跡象。不斷涌入的數(shù)據(jù)為現(xiàn)有數(shù)據(jù)科學模型提供了動力，為改進的數(shù)據(jù)科學模型以及創(chuàng)新的新用例創(chuàng)造了溫床。
 

　　物聯(lián)網(wǎng)(IoT)的增長。造成這種數(shù)據(jù)爆炸的主要原因是物聯(lián)網(wǎng)。全世界大約有70億個設(shè)備連接了IoT，并且預(yù)計在七年內(nèi)將增長到驚人的215億。預(yù)計航空，采礦和汽車行業(yè)將成為物聯(lián)網(wǎng)數(shù)據(jù)的最大貢獻者，并且隨著設(shè)備技術(shù)質(zhì)量的不斷提高，收集的數(shù)據(jù)類型將變得更加豐富和多樣化。
 

　　社交媒體。僅在2019年3月，F(xiàn)acebook平均每天就有15.6億活躍用戶，到該月底為止，每月活躍用戶總數(shù)為23.8億。YouTube報告每天在其平臺上觀看的視頻超過10億小時，每月有超過19億的登錄用戶訪問。8每當用戶登錄以查看其新聞提要或觀看視頻時，都會生成數(shù)據(jù)-年齡，性別，位置，語言，觀看時間，觀看的視頻類型，喜歡和共享的內(nèi)容類型，用戶首選項等。這些是全球使用的前兩個社交媒體平臺，但是還有更多:
 

　　隨著對客戶收集更多信息的需求的增長，數(shù)據(jù)源將繼續(xù)擴大。組織對數(shù)據(jù)的訪問越多，機器學習模型將變得越精確。這些數(shù)據(jù)的潛在應(yīng)用將進一步推動對數(shù)據(jù)科學的需求。如果沒有數(shù)據(jù)科學，組織將很難從數(shù)據(jù)中獲取全部價值。
 

　　機器的興起
 

　　在過去的幾年中，機器學習算法得到了迅速的發(fā)展，并且隨之而來的是專注于機器學習軟件的開發(fā)。該軟件為那些希望成為數(shù)據(jù)科學家的人們降低了準入門檻。
 

　　數(shù)據(jù)科學家的需求超出了供應(yīng)量，彭博社宣布這是2018 年美國最熱門的工作。然而，自動化和教育正在使企業(yè)更容易使用數(shù)據(jù)科學，研究和分析。為了擴大并加速數(shù)據(jù)科學和分析在業(yè)務(wù)中的采用，數(shù)據(jù)科學領(lǐng)域的大多數(shù)參與者將簡化工具列為重中之重。加上大量的培訓資源，使來自各個背景的專業(yè)人員都可以獲得急需的數(shù)據(jù)科學技能，這些技能現(xiàn)在對所有行業(yè)都可用。
 

　　這五個因素有助于將這些至關(guān)重要的功能交給更多的專業(yè)人士使用，并有可能緩解全球范圍內(nèi)的人才短缺。
 

　　自動化ML。一些人估計，數(shù)據(jù)科學家一天中將近80%的時間用于可以完全或部分自動化的重復(fù)性任務(wù)。自動化任務(wù)，例如數(shù)據(jù)準備，特征工程和選擇以及算法選擇和評估，將幫助數(shù)據(jù)科學家提高生產(chǎn)力和效率。
 

　　低代碼或無代碼應(yīng)用程序開發(fā)。各種低碼和無碼軟件開發(fā)平臺可供IT和非技術(shù)人員開發(fā)AI應(yīng)用程序，這要歸功于他們的應(yīng)用程序，其開發(fā)和交付速度比傳統(tǒng)方法快10倍。圖形用戶界面，拖放模塊和其他用戶友好的結(jié)構(gòu)。
 

　　預(yù)訓練的AI模型。開發(fā)和培訓ML模塊是數(shù)據(jù)科學家關(guān)鍵交付成果的一部分?，F(xiàn)在，經(jīng)過預(yù)訓練的AI模型正在有效地培養(yǎng)ML專業(yè)知識，并減少了訓練所需的時間和精力，其中17個甚至可以產(chǎn)生即時的關(guān)鍵見解。
 

　　自助數(shù)據(jù)分析。許多商業(yè)智能和分析供應(yīng)商正在使商業(yè)或非技術(shù)用戶無需使用數(shù)據(jù)科學家即可訪問基于數(shù)據(jù)的見解。Salesforce，Adobe Analytics，Microsoft Power BI等提供了自助服務(wù)分析工具，以補充數(shù)據(jù)分析和發(fā)現(xiàn)。進行自然語言查詢和搜索，可視數(shù)據(jù)發(fā)現(xiàn)以及自然語言生成的能力使業(yè)務(wù)用戶可以快速訪問見解，并幫助他們交流數(shù)據(jù)發(fā)現(xiàn)，例如相關(guān)性，異常，聚類，鏈接和預(yù)測。
 

　　加速學習。為具有基礎(chǔ)數(shù)學和編碼背景的專業(yè)人員提供的有關(guān)數(shù)據(jù)科學，數(shù)據(jù)科學研究，ML和AI 的短期培訓課程的推出，正在加速企業(yè)學習。這些課程加快了專業(yè)人員學習基本數(shù)據(jù)科學技能的過程。
 

　　云和神經(jīng)網(wǎng)絡(luò)
 

　　結(jié)合ML算法，處理和存儲更多數(shù)據(jù)的功能越來越強大的計算機的發(fā)展帶來了對訓練神經(jīng)網(wǎng)絡(luò)處理的轉(zhuǎn)變的需求。從歷史上看，訓練神經(jīng)網(wǎng)絡(luò)是使用中央處理器(CPU)進行的，但是2017年，谷歌發(fā)布了Tensor處理單元(TPU)，其速度和功能均比CPU強大。Google的Cloud TPU使得Google Translate，Photos，Search，Assistant和Gmail背后的ML可供企業(yè)使用，以補充其數(shù)據(jù)科學家為實現(xiàn)業(yè)務(wù)突破所做的努力。
 

　　為了獲得有意義的業(yè)務(wù)洞察力，需要有干凈，可靠的數(shù)據(jù)，這意味著，對于尋求優(yōu)勢的企業(yè)來說，數(shù)據(jù)科學是一項值得其珍惜的技能。借助機器學習，人工智能和基于云的神經(jīng)網(wǎng)絡(luò)的增強，只要需要以客戶為中心的見識和客戶驅(qū)動的數(shù)據(jù)以產(chǎn)生利潤，就需要數(shù)據(jù)科學。