2017年數(shù)據(jù)領(lǐng)域發(fā)展趨勢(shì)
在2017年數(shù)據(jù)社區(qū)將會(huì)有大量的機(jī)會(huì)出現(xiàn)，并伴隨一些危機(jī)性的挑戰(zhàn)，智能算法將接替現(xiàn)在由人類來(lái)完成的許多業(yè)務(wù)。我們將看到數(shù)據(jù)湖服務(wù)作為一種服務(wù)解決方案出現(xiàn)，幫助企業(yè)以最少的工作更多的使用數(shù)據(jù)，下文是CN人才網(wǎng)小編整理的2017年數(shù)據(jù)領(lǐng)域發(fā)展趨勢(shì)，歡迎閱讀參考!
1.更多的數(shù)據(jù)科學(xué)家將開始使用深度學(xué)習(xí)
縱觀2016年深度學(xué)習(xí)領(lǐng)域所取得的主要成就，與那些讓深度學(xué)習(xí)變得更加簡(jiǎn)單的工具發(fā)布，以及直接讓現(xiàn)有大數(shù)據(jù)平臺(tái)和架構(gòu)整合在一起的工具。顯而易見，數(shù)據(jù)科學(xué)家在2017年已不得不選擇深度學(xué)習(xí)，因?yàn)橥ㄟ^(guò)它可實(shí)現(xiàn)的價(jià)值已經(jīng)愈來(lái)愈多。看看時(shí)間序列和事件數(shù)據(jù)(包括異常檢測(cè))，物聯(lián)網(wǎng)以及傳感器相關(guān)的數(shù)據(jù)分析，語(yǔ)音識(shí)別，以及文本挖掘推薦，深度學(xué)習(xí)的用例還有很多。
2.對(duì)數(shù)據(jù)工程相關(guān)技能的需求將會(huì)持續(xù)上升
《哈佛商業(yè)評(píng)論》雜志在2012年的時(shí)候?qū)?shù)據(jù)科學(xué)家稱為“21世紀(jì)最性感的職業(yè)”，但愿在2017年里對(duì)數(shù)據(jù)科學(xué)家的需求會(huì)延續(xù)下去，但是人才需求將會(huì)主要集中在數(shù)據(jù)工程師(遠(yuǎn)多于數(shù)據(jù)科學(xué)家)。許多公司在尋找會(huì)編程的數(shù)據(jù)科學(xué)家，從而將會(huì)需要更多的可以接觸生產(chǎn)系統(tǒng)的數(shù)據(jù)科學(xué)家。這些是獨(dú)一無(wú)二的技能，他們也同樣會(huì)獲得除了薪水之外的快樂(lè)。
3.越來(lái)越多的公司將會(huì)在云端使用托管服務(wù)
一項(xiàng)最新的O’Reilly調(diào)查顯示，一個(gè)組織在云端感受完大數(shù)據(jù)之后，往往會(huì)催生出更多類似的大數(shù)據(jù)服務(wù)。
現(xiàn)如今很多公司都接觸了能夠提供存儲(chǔ)、數(shù)據(jù)處理、可視化、分析以及人工智能的托管服務(wù)。雖然業(yè)內(nèi)已存在很多可以解決這些問(wèn)題的開源組件，但專有的托管服務(wù)逐漸被證明成為了大眾的選擇。因?yàn)檫@些工具將會(huì)被服務(wù)提供商所管理，機(jī)構(gòu)內(nèi)部的數(shù)據(jù)專業(yè)人士將能夠關(guān)注手頭的問(wèn)題而不用考慮需要使用什么樣的工具——不過(guò)他們得學(xué)習(xí)如何設(shè)計(jì)、搭建以及管理在云端運(yùn)行的應(yīng)用。
4.并不是所有的東西都會(huì)遷移到公共云
遺留系統(tǒng)、敏感的數(shù)據(jù)、安全、合規(guī)以及隱私問(wèn)題將會(huì)需要一個(gè)混合的架構(gòu)。這里同樣會(huì)存在使用定制甚至是私有云的應(yīng)用，就像為工業(yè)物聯(lián)網(wǎng)設(shè)計(jì)的Predix或者AWS的CIA。許多公司將會(huì)需要能夠應(yīng)對(duì)復(fù)雜情況的解決方案架構(gòu)。
5.數(shù)據(jù)的民主化：任務(wù)因工作更簡(jiǎn)單而簡(jiǎn)化
提供自助分析的新工具使得許多數(shù)據(jù)分析的任務(wù)變的更加簡(jiǎn)單。有一些甚至都不需要編程，同時(shí)另外一些工具使得在一個(gè)工作流下融合代碼、圖像和文本變得更加簡(jiǎn)單。這些并不是統(tǒng)計(jì)學(xué)家或者數(shù)據(jù)極客的授權(quán)用戶們做著常規(guī)的數(shù)據(jù)分析，讓數(shù)據(jù)專家們有了更多的時(shí)間去處理復(fù)雜的項(xiàng)目或者去優(yōu)化端到端的傳輸途徑和應(yīng)用。
在這幾年里這一切都在發(fā)生，我們發(fā)現(xiàn)許多使得先進(jìn)的分析更加民主化的工具正在興起(譬如微軟的Azure)，能夠支持對(duì)大規(guī)模的流數(shù)據(jù)資源進(jìn)行采集，還使得先進(jìn)的機(jī)器學(xué)習(xí)能夠得到發(fā)展和應(yīng)用(像谷歌的Cloud Platform和亞馬遜的Machine Learning)。
6.儲(chǔ)存和計(jì)算的分離將會(huì)加速
加州大學(xué)伯克利分校的AMPlab項(xiàng)目在去年十一月已經(jīng)完成，但是在Apache Spark和Alluxio背后的團(tuán)隊(duì)并不是唯一一個(gè)強(qiáng)調(diào)存儲(chǔ)和計(jì)算相分離。正如上面所說(shuō)的那樣，存儲(chǔ)在云端的流行項(xiàng)目甚至一些最新的深度學(xué)習(xí)架構(gòu)使得這個(gè)典范更加突出。
7.筆記本和工作流工具會(huì)的得到持續(xù)的發(fā)展
Jupyter的筆記本因?yàn)榫哂心軌蛱峁┛梢越鉀Q包括數(shù)據(jù)清洗、轉(zhuǎn)換、數(shù)字化的`仿真、統(tǒng)計(jì)學(xué)模型和深度學(xué)習(xí)在內(nèi)許多問(wèn)題的多元化架構(gòu)而被數(shù)據(jù)科學(xué)家們使用和重組。(譬如O’Reilly使用Jupyter筆記本作為Oriole Interactive Tutorials的基礎(chǔ))。它對(duì)數(shù)據(jù)小組來(lái)說(shuō)十分有用，因?yàn)樵趎otebook里能夠創(chuàng)造和分享包含動(dòng)態(tài)代碼、公式、可視化和說(shuō)明性文本在內(nèi)的文件。通過(guò)將Jupyter和Spark連接，你將能夠通過(guò)簡(jiǎn)單接口使用Spark編寫Python代碼而不是使用Linus的命令輸入或是Spark shell。
數(shù)據(jù)專家們將會(huì)一直使用多樣化的工具。Beaker筆記本能夠支持很多編程語(yǔ)言，現(xiàn)在還有將Spark社區(qū)作為目標(biāo)的復(fù)合筆記本。(Spark Notebook、Apache Zeppelin及Databricks Cloud)。但并不是所有的數(shù)據(jù)專家都使用筆記本：因?yàn)楣P記本不能適應(yīng)對(duì)復(fù)雜數(shù)據(jù)渠道的管理，工作流工具更加適合這點(diǎn)。數(shù)據(jù)工程師門喜歡軟件開發(fā)者使用的工具。隨著深度學(xué)習(xí)和其他新技術(shù)進(jìn)入數(shù)據(jù)科學(xué)和大數(shù)據(jù)社區(qū)，我們估計(jì)現(xiàn)存的工具將會(huì)得到進(jìn)一步的發(fā)展和優(yōu)化。
8.數(shù)據(jù)社區(qū)將會(huì)進(jìn)一步找出方法來(lái)解決像隱私和倫理道德一樣的問(wèn)題。
由于機(jī)器學(xué)習(xí)的普及化、數(shù)據(jù)資源的多樣化以及算法的復(fù)雜化，使得透明度變得越來(lái)越難實(shí)現(xiàn)。在數(shù)據(jù)應(yīng)用中實(shí)現(xiàn)公平變得比以往更加具有挑戰(zhàn)性�？v觀2017年我們希望能夠看到涉及以下幾個(gè)方面的國(guó)家政策的討論：對(duì)偏見測(cè)試的最佳實(shí)踐以及偏向的理論導(dǎo)致偏向結(jié)果的意識(shí)在不斷提升。
【數(shù)據(jù)領(lǐng)域發(fā)展趨勢(shì)】相關(guān)文章：
2017年大數(shù)據(jù)發(fā)展趨勢(shì)報(bào)告02-08
HR技術(shù)領(lǐng)域在2014年的八個(gè)發(fā)展趨勢(shì)12-23
關(guān)于大數(shù)據(jù)就業(yè)薪資發(fā)展趨勢(shì)和就業(yè)方向01-17
未來(lái)行業(yè)發(fā)展趨勢(shì)02-25
外貿(mào)行業(yè)的發(fā)展趨勢(shì)03-01