來源 Boyan Angelov
編譯 Mika
本文為 CDA 數據分析師原創作品,轉載需授權
關于數據科學,工具可能并不是那么熱門的話題。人們似乎更關注最新的聊天機器人技術以及深度學習框架。
但這顯然是不合理的。為什么不花些時間,挑選合適的工具呢?畢竟好的工具能夠讓你事半功倍。在本文中介紹了機器學習和 AI 方面的優質工具。
應該使用哪種語言?
這是一個有爭議的問題。存在很多不同的觀點。我個人的觀點可能不那么常見,我認為越多越好。你應該同時使用 R 語言和 Python。
為什么?R語言更擅長數據可視化,并且有大量的統計數據包。另一方面,Python可以幫助你將模型部署生產,并更好地與團隊中其他開發人員合作。
基本的軟件包
我們應該充分利用的優秀開源社區。首先讓我們回顧一下數據科學工作的主要流程。
典型的機器學習工作流程
最重要的步驟是:數據獲取、數據清洗、可視化、建模、溝通。這些過程都需要用到庫。
數據清洗
針對數據清洗,R語言中有一個出色的包——dplyr。無可否認,它的語法有些奇怪。注意 %>% 與* nix中的(|)運算符的工作原理相同,前一個操作的輸出成為下一個操作的輸入。這樣,只需幾行代碼,你就可以構建相當復雜且可讀的數據清洗操作。
另一方面,Python中可以用到 Pandas。這個庫很大程度上借鑒了R語言,特別是數據框的概念(當中行是觀測,列是特征)。這需要一定的學習過程,但在習慣了之后,你可以在數據處理中做很多事情(甚至可以直接寫入數據庫)。
數據可視化
針對數據可視化,R語言中有 ggplot2 和 plotly 。ggplot2 非常強大,但級別較低。同樣它的語法很奇怪,你需要通過圖形語法來進行理解。plotly是一個較新的庫,具有 ggplot 的功能,只需要一行代碼就能進行交互。
Python中進行可視化的基礎包是 matplotlib。但它的語法有些奇怪,默認顏色也不那么理想,因此我建議你使用新的 seaborn 軟件包。Python缺少對模型性能的可視化,這里可以使用 yellowbrick 解決。你可以使用它來創建漂亮的圖表分類器進行評估,查看特征,甚至繪制文本模型。
使用 seaborn 對 iris 數據集進行繪制
API
使用R語言進行機器學習常常會遇到一個問題。幾乎所有模型都有不同的API,除非你記住所有的內容,如果你只想測試不同算法,那么就需要打開好幾個文檔標簽。這個缺陷可以用 caret 和 mlr 解決,后者較新。我推薦用mlr,因為它更結構化,維護也更積極。而且功能強大,具有分解數據、訓練、預測和性能評估功能。
Python中相應的庫是 scikit-learn。這也是我最喜歡的庫,同時 scikit-learn 也備受一些科技公司的青睞 。它有一致的API,超過150種算法(包括神經網絡),出色的文檔,主動維護和教程。
Python中的ROC/AUC圖,使用yellowbrick
集成開發環境
對于R語言來說,RStudio 是一個非常棒的工具,而且沒有其他的競爭工具。我們希望在Python中找到相應的工具,我篩選了十幾個(Spyder,PyCharm,Rodeo,spacemacs,Visual Studio,Canopy等等),主要推薦當中的兩個工具: Jupyter Lab 和 Atom + Hydrogen。
Jupyter Lab 很棒。但它仍然繼承了Jupyter Notebook 中存在的一些缺點,比如單元狀態,安全性,以及最嚴重的VCS集成問題。出于這個原因,我建議使用 Atom + Hydrogen。你可以用它完成各種數據科學任務,比如檢查數據框和變量,繪圖等。
Atom + Hydrogen
EDA 工具
為什么需要?在數據科學過程中,尤其是起步階段,我們需要快速地探索數據。在進行可視化之前,我們需要探索,并通過最少的技術投入來實現。因此寫一大堆 seaborn、ggplot 代碼并不是最佳選擇,你需要使用 GUI 界面。因為不涉及任何代碼,業務人員也可以使用。有兩個非常棒的跨平臺工具,并且免費——Past 和 Orange。前者更側重于統計分析,后者更側重于建模。兩者都可以做很棒的數據可視化,因此完全符合我們的目標。
用Orange你能夠進行的操作
結語
通過對工具進行優化,你能夠更高效地完成數據分析工作(但也不要以此為借口不去工作哦)。
原文鏈接:
https://towardsdatascience.com/optimal-tooling-for-machine-learning-and-ai-e43495db59da
▼