如今,大數據的發展趨勢正在迅速轉變,但專家預計機器學習、預測分析、物聯網、邊緣計算將在未來幾年對大數據項目產生重大影響。
大數據已不再只是一個流行術語。調研機構Forrester公司的研究人員發現,在2016年,將近40%的企業正在實施和擴展大數據技術的應用,另外30%的企業計劃在未來一年內采用大數據。同樣,來自NewVantage Partners的“2016年大數據執行調查”發現,62.5%的企業現在至少有一個大數據項目投入使用,只有5.4%的企業沒有計劃或沒有實施大數據項目。
研究人員表示,大數據技術的采用不會很快放緩。根據調研機構IDC公司預測,大數據和業務分析市場將從2018年的1301億美元增長到2020年的2030多億美元。
“數據的可用性、新一代技術以及向數據驅動型決策的文化轉型將繼續推動企業對大數據和分析技術和服務的需求。”IDC公司分析和信息管理集團副總裁Dan Vesset說,“2015年的全球大數據市場收入達到1220億美元,2016年的市場收入增長11.3%,預計到2020年大數據市場收入的復合年均增長率將達到11.7%。”
雖然大數據市場將會增長,但企業對如何使用他們的大數據卻不那么清楚。新的大數據技術正在進入市場,而一些老舊技術的使用也在不斷增長。
大數據的發展趨勢
真正掌握大數據趨勢就像試圖監控風向的每日變化一樣,只要感覺到風向,它就會改變。然而,以下趨勢明顯地推動了大數據的發展。
1.大數據和開源
Apache Hadoop、Spark和其他開源應用程序已經成為大數據技術空間的主流,而且這種趨勢似乎可能會持續下去。一項調查發現,近60%的企業預計到今年年底將采用Hadoop集群投入生產。根據調研機構Forrester公司的報告,Hadoop的使用量每年增長32.9%。
專家表示,到2017年,許多企業將擴大對Hadoop和NoSQL技術的使用,并尋找加快大數據處理的途徑。許多人尋求能夠讓他們實時訪問和響應數據的技術。
Hadoop就是開源大數據項目的一個很好的例子。
2.內存技術
內存技術是企業正在研究加速大數據處理的技術之一。在傳統數據庫中,數據存儲在配備有硬盤驅動器或固態驅動器(SSD)的存儲系統中。而內存技術可以將數據存儲在RAM中,并且存取速度要快很多倍。Forrester 公司的一份報告預測,內存數據結構市場規模每年將增長29.2%。
目前有幾家不同的供應商提供內存數據庫技術,特別是SAP、IBM、Pivotal公司。
3.機器學習
隨著大數據分析能力的進步,一些企業已經開始投資機器學習(ML)。機器學習是人工智能的一個分支,其重點在于允許計算機在沒有明確編程的情況下學習新事物。換句話說,它分析現有的大數據存儲庫來得出改變應用程序行為的結論。
根據Gartner公司的研究,機器學習是2017年十大戰略技術趨勢之一。報告指出,當今最先進的機器學習和人工智能系統正在超越傳統的基于規則的算法,以創建理解、學習、預測,以及潛在地自主操作系統。
機器學習在當前的大數據技術中扮演著重要的角色
4.預測分析
預測分析與機器學習密切相關。實際上,機器學習系統經常為預測分析軟件提供引擎。在大數據分析的早期,企業正在回顧他們的數據,看看發生了什么,然后他們開始使用分析工具來調查為什么發生這些事情。而預測分析則更進一步,可以使用大數據分析來預測未來會發生什么。
根據普華永道公司在2016年的研究調查,使用預測分析技術的企業數量很低,只有29%。然而,最近有很多供應商提供了預測分析工具,因此隨著企業越來越多地了解這個強大工具,這個數字可能會在未來幾年飆升。
5.大數據智能應用程序
企業使用機器學習和人工智能技術的另一種方式是創建智能應用程序。這些應用程序通常包含大數據分析,分析用戶以前的行為,以提供個性化和更好的服務。現在人們非常熟悉的一個例子是當前推動許多電子商務和娛樂應用程序的推薦引擎。
在2017年排名前十的戰略技術趨勢中,名列Gartner公司的報告中第二位的技術是智能應用程序。“在接下來的十年中,幾乎所有的應用程序和服務都將包含一定程度的人工智能。”Gartner研究員副總裁David Cearley說,“這將形成一個長期的趨勢,將不斷發展和擴大人工智能和機器學習應用程序和服務的應用。”
6.智能安全
許多企業也將大數據分析納入其安全戰略中。組織的安全日志數據提供了有關過去的網絡攻擊的寶貴信息,企業可以使用這些信息來預測、預防和減輕未來的攻擊。因此,一些組織正在將其安全信息和事件管理(SIEM)軟件與Hadoop等大數據平臺進行整合。其他公司正在轉向采用安全廠商提供的服務,其產品包含大數據分析功能。
7.物聯網
物聯網也可能對大數據產生相當大的影響。根據IDC 公司2016年9月的一份調查報告,“接受調查的企業中有31.4%推出了物聯網解決方案,另外43%的企業希望在未來的一年內進行部署。”
隨著所有這些新設備和應用程序的上線運行,企業將會體驗到比以往更快的數據增長。許多企業需要新的技術和系統,以便能夠處理和理解來自物聯網部署的大量數據。
物聯網收集的數據洪流將會增加對大數據應用的需求
8.邊緣計算
一種可以幫助企業處理物聯網大數據的新技術是邊緣計算。在邊緣計算中,大數據分析與物聯網設備和傳感器非常接近,而不是在數據中心或云端。對于企業來說,這提供了一些重要的好處。他們的網絡數據流量較少,可以提高性能,并節省云計算成本。它允許組織刪除只在有限的時間內具有價值的物聯網數據,減少存儲和基礎設施成本。邊緣計算還可以加快分析過程,使決策者能夠比以前更快地采取行動。
9.高薪
對于IT員工來說,大數據分析的增長可能意味著對擁有大數據技能的人員的高需求和高薪酬。根據IDC公司的調查,僅在美國,2018年就會有181,000個深層次的分析職位,而在許多需要相關數據管理和解釋技能的職位中,這個數字將是其五倍。
由于這種稀缺性,Robert Half 技術公司調查表明,數據科學家的平均薪酬在2017年提高了6.5%,其年薪為116,000美元到163,500美元。同樣,大數據工程師也將增加5.8%的薪酬,其年薪為135,000美元到196,000美元。
10.自助服務
隨著聘請行業專家的成本不斷上升,許多組織可能正在尋找工具,讓普通工作人員能夠滿足他們自己的大數據分析需求。IDC公司此前曾預測,可視化數據發現工具的增長速度將比商業智能(BI)市場的增長速度快2.5倍,到2018年,對推動終端用戶自助服務的投資將成為所有企業的需求。
一些供應商已經推出了具有“自助服務”功能的大數據分析工具,專家預計這一趨勢將持續到2018年及以后。隨著大數據分析越來越融入到企業各個部門的人員工作中,IT部門可能會越來越少地參與到這個過程中。
版權聲明:本文為企業網D1Net編譯,轉載需注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。