機器學習工程師與大數(shù)據(jù)分析師的區(qū)別與聯(lián)系

　　自2013年以來，隨著其受歡迎程度激增，大數(shù)據(jù)分析行業(yè)一直在飛速發(fā)展，但逐漸趨于融合為更具體的角色。不可避免地，這會導致其成長過程中的工作混亂和不一致。例如，看似有許多完全相同的角色或具有不同角色的相同標題：
 

　　機器學習大數(shù)據(jù)分析師，大數(shù)據(jù)分析工程師，數(shù)據(jù)分析師/科學家，機器學習工程師，應(yīng)用科學家，機器學習科學家…
 

　　清單繼續(xù)。甚至對大數(shù)據(jù)分析專業(yè)人來說，招聘人員也向他們伸出援手，擔任大數(shù)據(jù)分析師，機器學習(ML)專家，數(shù)據(jù)工程師等職位。顯然，這個行業(yè)很困惑。差異如此之大的眾多原因之一是，公司對大數(shù)據(jù)分析的需求和用途截然不同。無論出于何種原因，看來大數(shù)據(jù)分析領(lǐng)域正在分支并合并到以下幾類：分析、軟件工程、數(shù)據(jù)工程和研究。無論類似的標題怎么說，它們通常都屬于這些類別。這種專業(yè)化在負擔得起的大型科技公司中最為真實。
 

　　在機器學習與大數(shù)據(jù)分析的區(qū)別與聯(lián)系中，我們將首先研究大數(shù)據(jù)分析行業(yè)的整體趨勢，然后更深入地比較機器學習工程師和大數(shù)據(jù)分析師的區(qū)別與聯(lián)系。小編并不是要提供廣泛的歷史，而是要敘述作為大數(shù)據(jù)分析師在一線城市居住時的所見和經(jīng)歷。
 

　　大數(shù)據(jù)分析產(chǎn)業(yè)趨勢
 

　　在深入探討之前，請看一下我在招聘網(wǎng)站上找到的以下兩個職位描述。嘗試猜測這些描述的標題。
 

機器學習工程師
 

大數(shù)據(jù)分析師
 

　　非常不同，對不對?令人驚訝的是，兩者都適合大數(shù)據(jù)分析師的職位。我并不是說一個比另一個更好。重點是看它們有何不同。
 

　　即使在工作中，人們也進行了積極的討論，試圖弄清楚究竟是什么定義了大數(shù)據(jù)分析師。我見過有人將大數(shù)據(jù)分析師描述為計算機科學博士或新數(shù)據(jù)分析師。這是因為不同的公司將術(shù)語“大數(shù)據(jù)分析師” 用于非常不同的職位。但是，我相信行業(yè)一直在學習變得更加具體和具有更加專業(yè)的作用，而不是將所有內(nèi)容都放入大數(shù)據(jù)分析的廣泛領(lǐng)域。
 

　　那么，大數(shù)據(jù)分析師可以暗示什么不同的角色?在很大程度上，我認為他們是軟件工程師，數(shù)據(jù)分析師，數(shù)據(jù)工程師和應(yīng)用/研究科學家。我見過具有相同大數(shù)據(jù)分析師頭銜的朋友，但他們的角色是四個角色之一。在大數(shù)據(jù)分析的早期，一位大數(shù)據(jù)分析師可能已經(jīng)扮演了這四個角色。今天的職位變得越來越具體和專業(yè)。
 

　　大數(shù)據(jù)分析師趨勢
 

　　大數(shù)據(jù)分析師最基本的通用技能是編寫代碼的能力。這可能在五年后變得不那么真實了，那時會有更多的人的名片上標有“大數(shù)據(jù)分析師”的頭銜。
 

　　正如文章所暗示的那樣，您今天沒有理由成為一名出色的大數(shù)據(jù)分析師。以前，用于分析大數(shù)據(jù)和討厭數(shù)據(jù)的工具和方法以前沒有像以前那樣易于訪問和用戶友好。這要求大數(shù)據(jù)分析師在其他技能之上必須具有相對較強的工程技能。但是用于ML和大數(shù)據(jù)分析的工具發(fā)展很快，并且比以往任何時候都更易于訪問，因此您只需幾行代碼就可以訪問最新(SOTA)模型。這使得將角色分離到分析或工程中變得更加容易?，F(xiàn)在，我們不必專注于學習所有的分析，工程和統(tǒng)計數(shù)據(jù)就可以成為大數(shù)據(jù)分析師，這與以前一樣。
 

　　例如，F(xiàn)acebook引領(lǐng)了這一趨勢，在該趨勢中，數(shù)據(jù)分析師的工作已經(jīng)發(fā)展成為數(shù)據(jù)科學家。這是自然過程，因為隨著數(shù)據(jù)量的增加和更具挑戰(zhàn)性的數(shù)據(jù)問題，需要更多的技能和培訓來進行良好的分析。不僅是Facebook，還有其他許多公司，例如Apple和Airbnb，都在將分析/產(chǎn)品大數(shù)據(jù)分析師與ML大數(shù)據(jù)分析師區(qū)分開來。
 

　　公司規(guī)模如何影響角色
 

　　值得一提的是，專業(yè)化更多地出現(xiàn)在大型科技公司中。與各種規(guī)模的科技公司都需要的軟件工程師不同，并非所有這些公司都需要專門的研究科學家或ML工程師。擁有幾個大數(shù)據(jù)分析師可能就足夠了。因此，在較小的公司中，仍然有可能在這四個角色中都發(fā)揮作用的大數(shù)據(jù)分析師。
 

　　今天的經(jīng)驗法則是，大公司(FANG)中的大數(shù)據(jù)分析師通常與高級分析師相似，而小公司中的大數(shù)據(jù)分析師與ML工程師更相似。這兩個功能都很重要，也很需要。展望未來，我將堅持我的新定義，即大數(shù)據(jù)分析師暗指的是分析功能。
 

　　不同的大數(shù)據(jù)分析師以及如何選擇它們
 

　　DS的四個支柱
 

　　求職-選擇哪個標題以及如何準備?
 

　　如果您想進入這一領(lǐng)域，無論是作為ML工程師還是大數(shù)據(jù)分析師，您都可能想知道應(yīng)該選擇哪個。讓我列出與ML相關(guān)的四個主要角色的簡化(和定型)描述，以幫助您闡明。盡管我還沒有親自擔任所有這些職務(wù)，但我已經(jīng)從各個領(lǐng)域的朋友那里學到了見識。我還在括號中提供了潛在的采訪內(nèi)容(將其視為四輪采訪)。
 

　　大數(shù)據(jù)分析師：您是否想分析大數(shù)據(jù)，設(shè)計實驗和A / B測試，構(gòu)建簡單的機器學習以及統(tǒng)計模型(例如，使用sklearn)來推動業(yè)務(wù)戰(zhàn)略?這個角色的結(jié)構(gòu)較少，不確定性更大，您將推動項目的敘述。 (訪談：1個可能/統(tǒng)計，1個Leetcode，1個SQL，1 ML)。
 

　　ML工程師：您是否要在生產(chǎn)中構(gòu)建和部署最新的機器學習模型(例如Tensorflow，PyTorch)?您不僅關(guān)注構(gòu)建模型，還關(guān)注運行和支持模型所需的軟件。您更多是軟件工程師(SWE)。 (訪談：3 Leetcode，1 ML)。
 

　　研究科學家：您是否擁有計算機科學博士學位，并且在ICLR中發(fā)表了幾本關(guān)于ML的出版物?您是否想突破機器學習研究的界限，并在被引用論文時感到興奮?這些是稀有品種，您已經(jīng)知道自己是誰。這些人大多數(shù)都去Google或Facebook。同樣，無需博士學位即可進入該實驗室，但很不幸。 (訪談：1 Leetcode，3 ML /研究)。
 

　　應(yīng)用科學家：您是ML工程師和研究科學家的混合體。您不僅關(guān)心代碼，還關(guān)心使用和推動最新的(SOTA)機器學習模型。 (訪談：2 Leetcode，2 ML)。
 

　　顯然，這些描述并不詳盡。但是，當我與朋友交談并查看許多工作說明時，我發(fā)現(xiàn)這些想法很普遍。如果不確定要應(yīng)用的角色，請參考以下提示以了解更多信息：
 

　　閱讀職位描述：老實說，頭銜并不重要。它可能被稱為同一位“大數(shù)據(jù)分析師”，但職位描述可能有很大不同。
 

　　招聘網(wǎng)站跟蹤：如果您不確定Apple的大數(shù)據(jù)分析師是什么樣的，只需查看一下Apple大數(shù)據(jù)分析師在招聘網(wǎng)站上擁有什么樣的背景。他們主要是CS博士嗎?本科?他們接受什么樣的培訓?這將幫助您獲得更好的主意。
 

　　面試：如果您認為自己的角色是技術(shù)角色，但尚未接受編碼方面的采訪，則可能不會獲得技術(shù)角色。您的面試內(nèi)容反映了工作性質(zhì)。
 

　　ML工程師與大數(shù)據(jù)分析師
 

　　好的，那很長。現(xiàn)在回到我們的主題。近年來，我開始聽到人們對大數(shù)據(jù)分析工作發(fā)表更多負面看法。造成這種情況的一些原因是，越來越多的大數(shù)據(jù)分析師工作似乎不再具有很酷的機器學習因素，而且似乎更容易獲得。也許是五年前，大多數(shù)職位描述至少都需要碩士學位才能獲得大數(shù)據(jù)分析師的職位，但現(xiàn)在情況不再如此。不管人們?yōu)槭裁凑J為(至少是過去的)大數(shù)據(jù)分析已經(jīng)結(jié)束的原因，讓我們來看一些數(shù)據(jù)。
 

　　即使兩個職位的平均工資相似，您也可以看到大數(shù)據(jù)分析師在2015年和2016年的平均工資有所下降。也許這就是人們對大數(shù)據(jù)分析師的好日子已經(jīng)過去了。就數(shù)量而言，大數(shù)據(jù)分析比機器學習工程學要大得多，但是您可以看到機器學習工程師的成長更快，薪水更高。
 

　　幾個與ml相關(guān)的位置的摘要統(tǒng)計信息
 

　　我學到了一些有趣的見解：
 

　　總體而言，數(shù)據(jù)科學家比大數(shù)據(jù)分析師還多，但這在2019年會發(fā)生變化!這是否表明數(shù)據(jù)分析師被重新命名為大數(shù)據(jù)分析師?
 

　　機器學習工程師的薪水略高于大數(shù)據(jù)分析師，但該領(lǐng)域的機器學習工程師卻少得多。這是因為ML工程師的正式頭銜通常只是軟件工程師。
 

　　研究科學家的平均水平令人驚訝地低。我發(fā)現(xiàn)這是因為數(shù)據(jù)庫可以包括許多其他類型的研究科學家，而不僅僅是技術(shù)ML研究的科學家。因此，我為一個高科技公司提供了一張桌子，以減少這種噪音。正如預期的那樣，研究人員登上了微軟最高薪水的寶座。
 

　　數(shù)據(jù)工程師的基本工資為130萬美元，這讓我感到驚訝。這很瘋狂!也許您應(yīng)該考慮這個職業(yè)。
 

　　請記住，此數(shù)據(jù)集僅包含基本工資，股票通常在科技界扮演著重要角色。而且，它不能全面描繪就業(yè)市場。但是，考慮到我們在技術(shù)領(lǐng)域擁有多少外國工人，這應(yīng)該仍然是一個很好的代理。
 

　　根據(jù)這些數(shù)據(jù)，我不能說大數(shù)據(jù)分析行業(yè)是蕭條。它仍在增長，但可能會更加關(guān)注分析。從我的觀察來看，確實有更多的大數(shù)據(jù)分析工作需要更少的先決條件，但這并不是一件壞事。
 

　　結(jié)論
 

　　我寫這篇文章是因為我自己對行業(yè)中正在發(fā)生的所有變化感到困惑。而且，對于大數(shù)據(jù)分析，人們似乎有很多不同的看法。無論誰是對是誰，我希望您能看到趨勢并自己決定。
 

　　最后，不要選擇一個工作或行業(yè)，因為它的平均薪水更高或因為流行語。您的頭銜是大數(shù)據(jù)分析師還是ML工程師還是數(shù)據(jù)科學家都沒有關(guān)系。有人說大數(shù)據(jù)分析師是工程師還是分析師都沒關(guān)系，因為兩者都是正確的。
 

　　盡管可以輕松比較基于薪資的職位，但選擇自己喜歡并擅長的職位更為重要。關(guān)注您所做的實際工作，并確保它適合您。僅僅因為平均工資可能會更低，這并不一定意味著您實際上會獲得較少的收入。如您先前所見，我討論的所有角色的最高薪資都很高。