大數(shù)據(jù)分析如何構建數(shù)據(jù)湖

　　建立可擴展的事務數(shù)據(jù)湖的關鍵注意事項，數(shù)據(jù)驅動型公司正在利用云數(shù)據(jù)湖推動快速的業(yè)務轉型。云數(shù)據(jù)湖正在啟用新的業(yè)務模型和近實時分析，以支持更好的決策。但是，隨著遷移到云數(shù)據(jù)湖的工作負載數(shù)量的增加，公司不得不解決數(shù)據(jù)管理問題，針對這個問題，AAA教育小編姐姐咨詢課程老師專業(yè)知識和大家分享出來。
 

　　數(shù)據(jù)隱私法規(guī)以及對數(shù)據(jù)新鮮度和數(shù)據(jù)完整性的需求的結合，使得云數(shù)據(jù)湖在更新，刪除或合并數(shù)據(jù)時需要支持ACID事務。對于云數(shù)據(jù)湖，要解決此要求，需要考慮幾個體系結構方面的考慮。這些是：
 

1、數(shù)據(jù)湖上的事務性
 

　　數(shù)據(jù)湖不再用作冷數(shù)據(jù)存儲，而是用作實時數(shù)據(jù)與數(shù)據(jù)倉庫中熱數(shù)據(jù)相結合的臨時分析的來源。數(shù)據(jù)湖已經有了長足的發(fā)展，以使企業(yè)能夠使用商業(yè)智能儀表板或構建人工智能功能獲得實時見解。為了構建可支持這些擴展用例的可靠分析平臺，數(shù)據(jù)工程師需要一種機制來構建：
 

　　尺寸變化緩慢(類型I和類型II)：這是任何大數(shù)據(jù)分析系統(tǒng)的常見要求，并且需要具有INSERT，UPDATE和UPSERT數(shù)據(jù)的功能
 

　　數(shù)據(jù)重述：組織正在集成來自多種來源的數(shù)據(jù)，這些來源包括事務性數(shù)據(jù)庫，CRM，ERP，IoT和其他SaaS應用程序，以及來自社交媒體的數(shù)據(jù)。這可能導致不正確或數(shù)據(jù)質量差，需要在后續(xù)步驟中進行糾正。依賴于這些數(shù)據(jù)的業(yè)務規(guī)則需要干凈，完整，準確和最新的數(shù)據(jù)，這進一步增加了數(shù)據(jù)重述的重要性。
 

2、安全和隱私法規(guī)與合規(guī)性
 

　　對“刪除權”或“被遺忘權”(RTBF)的新要求源于一系列新的且不斷擴展的全球數(shù)據(jù)隱私法規(guī)。這些法規(guī)規(guī)范了消費者對其數(shù)據(jù)的權利，并對不遵守規(guī)定的行為處以嚴厲的經濟處罰。鑒于財務處罰是重大的(高達全球營業(yè)額的4%)，因此不能忽略。在確保業(yè)務連續(xù)性的同時，滿足這些數(shù)據(jù)隱私和保護要求的企業(yè)面臨著挑戰(zhàn)。RTBF需要有針對性地刪除可能駐留在數(shù)據(jù)湖中并在有限時間內存儲的特定數(shù)據(jù)(記錄，行或列)的功能。隨著數(shù)據(jù)湖中大量數(shù)據(jù)的擴散，在不中斷現(xiàn)有數(shù)據(jù)管理流程的情況下刪除特定的數(shù)據(jù)子集具有挑戰(zhàn)性。盡管一些新的解決方案從各種供應商處涌現(xiàn)出來，但并不是所有的解決方案都能滿足要求。因此，組織仍在構建定制解決方案以滿足這些新法規(guī)。但是，作為大多數(shù)內部構建的解決方案，它們會帶來圍繞更新，維護，可審核性等方面的問題。
 

3、更快的見識時間
 

　　對“黃金標準”數(shù)據(jù)集的快速，交互式分析使用戶可以信任結果并縮短了解時間?？焖僮x取需要準備好的數(shù)據(jù)和正確的分析引擎。數(shù)據(jù)工程師一直在問“什么是我的數(shù)據(jù)類型最好的數(shù)據(jù)格式?”和“什么文件和分區(qū)大小合適才能提高性能?”
 

4、更快的寫入時間
 

　　當涉及到完成寫入操作時，典型的分布式系統(tǒng)除等待時間外還將承受額外的開銷。開銷來自于寫入云存儲之前寫入到暫存位置，或者更新整個分區(qū)而不是記錄。對總體性能的影響是巨大的，并且隨著組織開始大規(guī)模運行數(shù)據(jù)湖而迅速成為主要問題。
 

5、數(shù)據(jù)一致性和完整性
 

　　并發(fā)控制對于數(shù)據(jù)湖很重要，因為它需要支持多個用戶和應用程序，并且沖突必將發(fā)生。例如，當一個用戶想要從另一個文件或分區(qū)讀取文件或分區(qū)時，它可以確保數(shù)據(jù)的一致性，完整性和可用性;或兩個要寫入同一文件或分區(qū)的用戶。因此，現(xiàn)代的數(shù)據(jù)湖體系結構需要解決這種情況。還需要確保這些并發(fā)操作不會違反導致錯誤結果的數(shù)據(jù)的完整性，準確性和參照完整性。
 

6、為工作保留正確的計算引擎和云的選擇
 

　　對洞察力和信息的需求的快速增長導致幾乎每個企業(yè)收集和存儲的數(shù)據(jù)呈指數(shù)增長。利用收集到的數(shù)據(jù)來改善客戶體驗的戰(zhàn)略必要性要求企業(yè)采用可服務于當今多個用例的數(shù)據(jù)架構，同時保留數(shù)據(jù)處理引擎，云基礎架構和供應商可移植性的選擇，以服務于未來的用例。
 

　　1、在Qubole，我們將這些考慮因素放在了數(shù)據(jù)平臺設計的最前沿：
 

　　2、它支持數(shù)據(jù)湖上的完全事務性，而不管云(AWS，Azure或GCP)如何。
 

　　3、它為刪除操作提供了內置支持，使客戶能夠遵守已建立的SLA中“刪除權”的法規(guī)和隱私要求。
 

　　4、可直接寫入云對象存儲，從而消除了額外的開銷，同時以最佳性能保證了數(shù)據(jù)完整性。
 

　　最重要的是，我們將繼續(xù)提供基于Hive事務表的ACID功能的完整實現(xiàn)，從而使數(shù)據(jù)處理引擎(Apache Spark，Presto，Hive等)的選擇自由。
 

　　最后，開源的Presto和Spark連接器，它們直接與Hive ACID表配合使用。