關于大數據分析,對于很多企業來講只是一個噱頭,上專有云吧,又厚又重而且價格高昂的平臺底座,不是一般企業能夠承受的;上公有云吧,數據安全問題,數據上云和下行帶來的諸多問題,不是每個企業都能接受的;另外更為要命的一點是,大數據需要大量的算法工程師,這些工程師的造價高昂,那么,問題來了,難道大數據分析就只能是少數人的游戲嗎?
回答這個問題,我們需要先定義一下“方法論”這個東西,方法論是什么,方法論是無數人實踐、驗證、可復制執行的流程、方法、行動步驟,百度百科是這樣解釋的,先思考30秒。
方法論是人們用什么樣的方式、方法來觀察事物和處理問題。概括地說,世界觀主要解決世界“是什么”的問題,方法論主要解決“怎么辦”的問題。
方法論是一種以解決問題為目標的體系或系統,通常涉及對問題階段、任務、工具、方法技巧的論述。方法論會對一系列具體的方法進行分析研究、系統總結并最終提出較為一般性的原則。
方法論也是一個哲學概念。人們關于“世界是什么、怎么樣”的根本觀點是世界觀。用這種觀念作指導去認識世界和改造世界,就成了方法論。 方法論是普遍適用于各門具體社會科學并起指導作用的范疇、原則、理論、方法和手段的總和。歷史唯物主義的著作中經常提到方法論這個概念。
好了,現在我們回到主題,大數據分析無從下手,我們分析了,(1)平臺太貴(2)數據安全(3)算法工程師太貴,發現了嗎?因為有了這3個限制條件,大部分人無法系統的了解大數據分析的方法、流程和步驟,如果我們掌握了一套實施方法論,然后再有一個案例來參考,即便我們不做大數據分析,我是不是也可以充分利用這些新技術、新分析方法紅利,為我們日常的數據分析、洞察提供一套打動老板、打動客戶的秘密武器呢!
概覽1
概覽2
(1)需求分析
(2)大數據分析目標
(1)總體技術架構
(2)數據存儲層:數據集市
(3)數據存儲數據流
(4)數據標準管理
(5)元數據管理
(6)數據流程管理
(1)應用案例:系統框架
(2)應用案例:數據抽取
(3)應用案例-調度引擎
(4)應用案例:臨時存儲區
(5)應用案例:軟硬件配置示例
(1)數據質量管理框架
(2)數據質量檢查任務
(2)數據質量報告
小貼士:
方法論帶給我們的是框架思維,在方法論的指引下,即便我們不能做到最好,但至少可以保證(1)操作方向和目標是一致的(2)關鍵步驟是沒有遺漏的(3)有模板、有SOP支撐,做事情只需要按步驟操作即可,可以快速上手,避免無從下手。