SQL數據庫的基本操作,會基本的數據管理
會用Excel/SQL做基本的數據分析和展示
會用腳本語言進行數據分析,Python or R
有獲取外部數據的能力,如爬蟲
會基本的數據可視化技能,能撰寫數據報告
熟悉常用的數據挖掘算法:回歸分析、決策樹、隨機森林、支持向量機等。
·尋找最合適的學習路徑
·最高效的學習路徑是什么樣的?
一定要清楚的是,你想要達到的目標是什么?如果你想利用數據分析的方法來支撐工作決策,那么你可能需要知道數據分析的流程是什么,通過數據分析的方法能獲得哪些信息,這些信息可以用來支撐什么工作。
然后你需要知道要達到這樣的目的,需要哪些必備的技能,哪些是不需要學習的。其實在這個過程中你對知識的框架就有了大概的了解,并知道如何去避免無效的信息。
更重要的是,你需要了解,完成一個數據分析項目,基本的流程是什么。這樣你才知道學習的知識,在具體的工作中是如何應用,并能夠在學習之后進行針對性的訓練,做到有的放矢。
·數據分析的工作流程
1. 定義問題
在做具體的分析前,你需要確定要分析的問題是什么?你想得出哪些結論?
比如某地區空氣質量變化的趨勢是什么?
影響公司銷售額增長的關鍵因素是什么?
生產環節中影響產能和質量的核心指標是什么?
如何對分析用戶畫像并進行精準營銷?
如何基于歷史數據預測未來某個階段用戶行為?
問題的定義需要你去了解業務的核心知識,并從中獲得一些可以幫助你進行分析的經驗。
2. 數據獲取
有了具體的問題,你就需要獲取相關的數據了。比如你要探究北京空氣質量變化的趨勢,你可能就需要收集北京最近幾年的空氣質量數據、天氣數據,甚至工廠數據、氣體排放數據、重要日程數據等等。
如果你要分析影響公司銷售的關鍵因素,你就需要調用公司的歷史銷售數據、用戶畫像數據、廣告投放數據等。
數據的獲取方式有多種。
一是公司的銷售、用戶數據。可以直接從企業數據庫調取,所以你需要SQL技能去完成數據提取等的數據庫管理工作。比如你可以根據你的需要提取2017年所有的銷售數據、提取今年銷量最大的50件商品的數據、提取上海、廣東地區用戶的消費數據……,SQL可以通過簡單的命令幫你完成這些工作。
第二種是獲取外部的公開數據集,一些科研機構、企業、政府會開放一些數據,你需要到特定的網站去下載這些公開數據。
第三種是編寫網頁爬蟲。比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息,爬取租房網站上某城市的租房信息,獲取知乎點贊排行等?;诨ヂ摼W爬取的數據,你可以對某個行業、某種人群進行分析,這算是非常靠譜的市場調研、競品分析的方式了。
3. 數據預處理
原始的數據可能會有很多問題,比如殘缺的數據、重復的數據、無效的數據等等。把這些影響分析的數據處理好,才能獲得更加精確地分析結果。
比如空氣質量的數據,其中有很多天的數據由于設備的原因是沒有監測到的,有一些數據是記錄重復的,還有一些數據是設備故障時監測無效的。
那么我們需要用相應的方法去處理,比如殘缺數據,我們是直接去掉這條數據,還是用臨近的值去補全,這些都是需要考慮的問題。
當然在這里我們還可能會有數據的分組、基本描述統計量的計算、基本統計圖形的繪制、數據取值的轉換、數據的正態化處理等,能夠幫助我們掌握數據的分布特征,是進一步深入分析和建模的基礎。
4. 數據分析與建模
在這個部分需要了解基本的數據分析方法、數據挖掘算法,了解不同方法適用的場景和適合的問題。分析時應切忌濫用和誤用統計分析方法。濫用和誤用統計分析方法主要是由于對方法能解決哪類問題、方法適用的前提、方法對數據的要求不清等原因造成的。
比如你發現在一定條件下,銷量和價格是正比關系,那么你可以據此建立一個線性回歸模型,你發現價格和廣告是非線性關系,你可以先建立一個邏輯回歸模型來進行分析。
當然你也可以了解一些數據挖掘的算法、特征提取的方法來優化自己的模型,獲得更好的結果。
5. 數據可視化及數據報告撰寫
分析結果最直接的是統計量的描述和統計量的展示。
比如我們通過數據的分布發現數據分析師工資最高的5個城市,目前各種編程語言的流行度排行榜,近幾年北京空氣質量的變化趨勢,商品消費者的地區分布……這些都是我們通過簡單數據分析與可視化就可以展現出的結果。
另外一些則需要深入探究內部的關系,比如影響產品質量最關鍵的幾個指標,你需要對不同指標與產品質量進行相關性分析之后才能得出正確結論。又比如你需要預測未來某個時間段的產品銷量,則需要你對歷史數據進行建模和分析,才能對未來的情況有更精準的預測。
數據分析報告不僅是分析結果的直接呈現,還是對相關情況的一個全面的認識。所以你需要一個講故事的邏輯,如何從一個宏觀的問題,深入、細化到問題內部的方方面面,得出令人信服的結果。
作者:寧冬青
鏈接:https://www.jianshu.com/p/9d3ee4b4b791
來源:簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。