從0開始一次搞定深度學習環境
深度學習的環境裡應該會有哪些東西?
Miniconda、Jupyter Notebook、CUDA、cuDNN、TensorFlow 2.0 gpu、PyTorch …。
什麼?你說上面這些很多你完全都沒有看過,完全不知道從哪開始?
別擔心,本文將一步一步帶領讀者建置一個完善的深度學習、機器學習兩用環境。
不過,在正式開始之前,因為這篇文章是以Win 10、且有GPU的電腦做示範,
所以請讀者先確認要安裝的電腦作業系統是否為Win 10、是否有GPU、以及GPU型號為何喔。
深度學習環境建置 Part 1
生存守則
步驟 1
請打開這個生存守則,把它一直開著,因為它非常重要。
步驟 2
注意Software Requirements中各個版本,
請紀錄下來當下看到的版本而非下圖顯示的版本,因為這將是你之後要安裝的各個版本。
下載Setup yml
Setup yml是我從這裡發現的安裝配置,裡面有很多常用的python包,
可以說是一次包辦大部分機器學習、深度學習的需求了。
步驟 1
建議使用Google Chrome開啟這個檔案,直接另存新檔。
步驟 2
將檔名改成 “tensorflow-gpu.yml”,並儲存在C:\Users\USER內。
下載GPU Driver
前往這裡後填入GPU型號和Win 10 64bit下載即可。
下載CUDA
前往這裡後選擇Win 10、exe(local) 下載即可。
下載cuDNN
步驟 1
前往這裡後要先註冊會員。
步驟 2
註冊完後登錄選擇對應的版本下載壓縮檔,並且在下載完成後打開壓縮檔的資料夾 “CUDA”。
步驟 3
將CUDA內的三個資料夾(bin, include, lib)複製並取代到
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2裡面即可。
深度學習環境建置 Part 2
添加系統環境變數
步驟 1
前往這裡後複製SET PATH=之後的每一行文字到記事本。
步驟 2
在左下角的開始旁邊搜尋輸入系統環境,並打開搜尋結果中的編輯系統環境變數。
步驟 3
點擊環境變數後在下方的系統變數內找到Path。
步驟 4
點擊Path之後按編輯並貼上以下四行,一行一行新增加入進去。
請注意,以下四行如果與你要安裝的版本不一致請以上面連結上的為準。
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\CUPTI\libx64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include
C:\tools\cuda\bin
下載Miniconda
前往這裡後選擇Python 3.X Windows 64-bit下載即可。
下載Jupyter Notebook
步驟 1
在左下角開始旁邊搜尋輸入命令提示字元並打開。
步驟 2
打開後輸入conda install jupyter,如果跳出要你選擇yes or no的文字,就輸入y。
深度學習環境建置 Part 3
執行Setup yml
在剛才的命令提示字元內輸入conda env create -v -f tensorflow-gpu.yml。
(tensorflow-gpu.yml為之前下載的Setup yml檔名)
安裝Jupyter Kernel
步驟 1
在剛才的命令提示字元內輸入conda activate tensorflow。
步驟 2
跑完STEP1後再輸入python -m ipykernel install –user –name tensorflow –display-name “Python 3.7 (tensorflow)”。
(Python 3.7 (tensorflow)為以後顯示在Jupyter Notebook的kernel名稱,可改為自己喜歡的名稱)
安裝PyTorch
這邊就是寫給不習慣使用TensorFlow 2.0或是兩個框架我都要的讀者。
步驟 1
在命令提示字元內輸入conda create -n pytorch python=3.7來為PyTorch開一個新的環境。
步驟 2
輸入conda activate pytorch以進入環境內。
步驟 3
輸入python -m ipykernel install –user –name pytorch –display-name “Python 3.7 (pytorch)”
以修改顯示在Jupyter Notebook的kernel名稱。
(Python 3.7 (pytorch)為以後顯示在Jupyter Notebook的kernel名稱,可改為自己喜歡的名稱)
步驟 4
最後,前往這裡選擇你的CUDA版本(本文為10.1),複製Run this Command:右邊的指令,
請注意,不同的CUDA版本所對應的指令會不同。
步驟 5
在剛才的命令提示字元內輸入conda install pytorch torchvision cudatoolkit=10.1 -c pytorch即可。
環境測試
至此,只剩下最後一小步了,以下為以後進入環境和測試的步驟。
步驟 1
打開命令提示字元。
步驟 2
測試TensorFlow : 輸入conda activate tensorflow以進入環境。
測試PyTorch : 輸入conda activate pytorch以進入環境。
步驟 3
輸入jupyter notebook以打開python notebook頁面。
步驟 4
在右上的New新開一個剛才為環境取的名字的notebook,
開啟後在上方kernel裡面的change kernel內點選上面新建立的kernel名稱。
步驟 5
在notebook的block內輸入以下測試程式碼,如果沒出現Error或順利產生類似上圖測試成功的結果的話就大功告成了喔!
import sys
import tensorflow.keras
import pandas as pd
import sklearn as sk
import tensorflow as tf
print(f"Tensor Flow Version: {tf.__version__}")
print(f"Keras Version: {tensorflow.keras.__version__}")
print()
print(f"Python {sys.version}")
print(f"Pandas {pd.__version__}")
print(f"Scikit-Learn {sk.__version__}")
print("GPU is", "available" if tf.test.is_gpu_available() else "NOT AVAILABLE")
結論
你的深度學習之路才正要開始!
呼,經過一連串的操作我們終於完成這個有點麻煩的前置作業了!
雖然一開始滿辛苦的,但以後就能輕鬆地在一個套件齊全的實驗室開始你的研究啦。
對於一開始完全不知道裝這些要幹嘛的新手想必滿痛苦的吧?
不過沒關係,如果還有哪邊不夠清楚的話都可以觀看以下Jeff Heaton的教學影片作為參考喔。
Call To Action
歡迎任何能使我或是這篇文章改進的意見,所以如果有問題或想法都歡迎在下面告訴我喔 !
另外,如果你覺得這篇文章有幫助到你、很符合你的需求的話,記得幫我拍手以及分享喔 !