無論是做數據分析,數據挖掘還是機器學習,對于新手來說,學習再多的模型、算法理論,可能都不如一次實踐學到的多,所以我經常建議大家在學習的過程中多通過實戰項目練練手,加強對算法、模型的理解。
要練手上哪找數據呢?平常我做的分析實戰里都會把數據集提供給大家練習,今天我干脆為大家整理了我平常做數據分析、數據挖掘練習的時候經常用到的數據集網站,對做機器學習的朋友也很有用
先分享一些科研機構、企業、政府會開放的一些數據集和一些專業的數據下載網站。這些數據集一般都比較完善、質量相對較高,拿到手數據清洗的工作比較少,適合新手做一些簡單基礎的分析
1、中國統計信息網:http://www.tjcn.org/
全國各級政府各年度的國民經濟和社會發展統計信息,部分數據免費
2、國家統計局:http://www.stats.gov.cn/
各種民生相關的統計數據,而且所有數據都是免費,而且這個網站的友情鏈接里還有很多其他地方的數據以及國外數據。
3、中國產業信息網:http://www.chyxx.com/data/
包含了各個行業相關的數據,所有的數據全部免費,做行業分析經常用到的
4、美國政府公開數據:https://www.data.gov/
美國政府公開數據的網站,包含了經濟、消費、教育、醫療、農業等多個領域的數據
5、世界銀行:https://data.worldbank.org/
世界銀行的開放數據。平臺還提供了一些工具,比如開放數據目錄,世界發展指數,教育指數等。
6、百度數據開放平臺:https://open.baidu.com/open/#/open
7、國云數據市場:https://link.zhihu.com/?target=http%3A//www.moojnn.com/data-market/
主要包含:生活服務、教育、能源、建筑、交通運輸、政府、金融、農業、醫療、衛生等行業的數據,大部分免費,有些需要付費
最常見的數據可視化項目就是制作某某地區人均收入區別的信息圖,找數據可視化項目相關的數據集的時候,我們希望數據集盡量“干凈”,減少數據清洗的工作,數據要足夠有趣,能夠支撐起豐富的圖表,所以這類的數據可以去上面我的說一些公開數據網站找,另外我也列一些除了政府網站之外的相關網站:
1、FiveThirtyEight:http://fivethirtyeight.com/
這是互動式新聞與體育賽事的網站,網站中會發布許多數據相關的文章,這些文章中會把使用到的數據集發布在github上,除了獲取數據集,你還可以參考別人的項目過程
2、Socrata OpenData:https://opendata.socrata.com/
Socrata OpenData 網站包含多個清洗后的數據集,可以直接在瀏覽器中查看,也可以下載到本地進行可視化,大部分數據來源于美國政府。
1、UCI:https://archive.ics.uci.edu/ml/datasets.html
UCI是加州大學歐文分校開放的經典數據集,是機器學習領域最有名的數據存儲庫。包含各種數據集,比如經典的泰坦尼克號幸存預測到最新的數據(如空氣質量和GPS軌跡)。
2、阿里天池:https://tianchi.aliyun.com/
作為國內互聯網龍頭阿里巴巴旗下的大數據競賽網站,提供了很多比賽數據集可以練手,說不定還能順手拿個獎,賺點獎金
3、Kaggle:https://www.kaggle.com/datasets
Kaggle 是一個舉辦了多項機器學習競賽的數據科學社區。用戶可以自己上傳數據集,也可以通過某項競賽下載數據集,里面有不少別的平臺找不到的有趣數據集。
4、科賽網:https://www.kesci.com/home/project
這個網站提供了不少數據集可以免費下載,而且還有一些數據項目的比賽,不過整體來說項目的難度比較低,獎金也不是很多,學生參加的比較多,反正單純用來獲取數據集還是很不錯的
5、Quandl
這是一個包含經濟與金融數據的倉庫。其中的部分信息是免費的,但是大部分數據集需要購買,數據可以用來構建經濟指標預測或者股價分析模型等等。
有時候你可能只是想找一些大型的數據集來進行分析,分析的結果可能并不重要,重要的只是對于數據的讀取與分析過程,練習數據處理能力,這里我也列舉幾個用的比較多的網站:
1、AWS 公開數據集:https://www.amazon.com/aws
亞馬遜在其 Amazon Web Services 中提供了一些大型數據集可以免費下載,不過你得注冊一個aws賬戶,新用戶有免費訪問的權限
2、Google 公開數據集:https://cloud.google.com/bigquery/public-data/
Google提供了一些數據集作為其Big Query工具的一部分。包括 GitHub 公共資料庫的數據,Hacker News 的所有故事和評論。
3、Youtube標簽視頻數據集:https://research.google.com/youtube8m/
Youtube標簽視頻數據集包括來自4800個可視化實體的800萬個YouTube視頻ID和相關標簽。它具有數十億幀的預計算的、最先進的視覺功能。