從0開始一次搞定深度學習環境

人工智慧大師之路

從0開始一次搞定深度學習環境

從0開始一次搞定深度學習環境 env 600 400

深度學習的環境裡應該會有哪些東西?

Miniconda、Jupyter Notebook、CUDA、cuDNN、TensorFlow 2.0 gpu、PyTorch …。

什麼?你說上面這些很多你完全都沒有看過,完全不知道從哪開始?

別擔心,本文將一步一步帶領讀者建置一個完善的深度學習、機器學習兩用環境。

不過,在正式開始之前,因為這篇文章是以Win 10、且有GPU的電腦做示範,

所以請讀者先確認要安裝的電腦作業系統是否為Win 10、是否有GPU、以及GPU型號為何喔。

 

深度學習環境建立流程圖

深度學習環境建立流程圖

 

深度學習環境建置 Part 1

 

從0開始一次搞定深度學習環境 req

 

生存守則

 

步驟 1

請打開這個生存守則,把它一直開著,因為它非常重要。

步驟 2

注意Software Requirements中各個版本,

請紀錄下來當下看到的版本而非下圖顯示的版本因為這將是你之後要安裝的各個版本

 

下載Setup yml

 

Setup yml是我從這裡發現的安裝配置,裡面有很多常用的python包,

可以說是一次包辦大部分機器學習、深度學習的需求了。

 

步驟 1

建議使用Google Chrome開啟這個檔案,直接另存新檔。

步驟 2

將檔名改成 “tensorflow-gpu.yml”,並儲存在C:\Users\USER內。

 

下載GPU Driver

 

前往這裡後填入GPU型號和Win 10 64bit下載即可。

 

下載CUDA

 

前往這裡後選擇Win 10、exe(local) 下載即可。

 

下載cuDNN

 

步驟 1

前往這裡後要先註冊會員。

步驟 2

註冊完後登錄選擇對應的版本下載壓縮檔,並且在下載完成後打開壓縮檔的資料夾 “CUDA”。

步驟 3

將CUDA內的三個資料夾(bin, include, lib)複製並取代到

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2裡面即可。

 

深度學習環境建置 Part 2

 

添加系統環境變數

 

步驟 1

前往這裡後複製SET PATH=之後的每一行文字到記事本。

步驟 2

在左下角的開始旁邊搜尋輸入系統環境,並打開搜尋結果中的編輯系統環境變數。

步驟 3

點擊環境變數後在下方的系統變數內找到Path。

步驟 4

點擊Path之後按編輯並貼上以下四行,一行一行新增加入進去。

請注意以下四行如果與你要安裝的版本不一致請以上面連結上的為準

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\CUPTI\libx64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include
C:\tools\cuda\bin

 

下載Miniconda

 

前往這裡後選擇Python 3.X Windows 64-bit下載即可。

 

下載Jupyter Notebook

 

步驟 1

在左下角開始旁邊搜尋輸入命令提示字元並打開。

步驟 2

打開後輸入conda install jupyter,如果跳出要你選擇yes or no的文字,就輸入y。

 

深度學習環境建置 Part 3

 

執行Setup yml

 

在剛才的命令提示字元內輸入conda env create -v -f tensorflow-gpu.yml。

(tensorflow-gpu.yml為之前下載的Setup yml檔名)

 

安裝Jupyter Kernel

 

步驟 1

在剛才的命令提示字元內輸入conda activate tensorflow。

步驟 2

跑完STEP1後再輸入python -m ipykernel install –user –name tensorflow –display-name “Python 3.7 (tensorflow)”。

(Python 3.7 (tensorflow)為以後顯示在Jupyter Notebook的kernel名稱,可改為自己喜歡的名稱)

 

安裝PyTorch

 

這邊就是寫給不習慣使用TensorFlow 2.0或是兩個框架我都要的讀者。

 

步驟 1

在命令提示字元內輸入conda create -n pytorch python=3.7來為PyTorch開一個新的環境。

步驟 2

輸入conda activate pytorch以進入環境內。

步驟 3

輸入python -m ipykernel install –user –name pytorch –display-name “Python 3.7 (pytorch)”

以修改顯示在Jupyter Notebook的kernel名稱。

(Python 3.7 (pytorch)為以後顯示在Jupyter Notebook的kernel名稱,可改為自己喜歡的名稱)

步驟 4

最後,前往這裡選擇你的CUDA版本(本文為10.1),複製Run this Command:右邊的指令,

請注意不同的CUDA版本所對應的指令會不同

步驟 5

在剛才的命令提示字元內輸入conda install pytorch torchvision cudatoolkit=10.1 -c pytorch即可。

 

環境測試

 

測試成功的結果

測試成功的結果

 

至此,只剩下最後一小步了,以下為以後進入環境和測試的步驟。

 

步驟 1

打開命令提示字元。

步驟 2

測試TensorFlow : 輸入conda activate tensorflow以進入環境。

測試PyTorch : 輸入conda activate pytorch以進入環境。

步驟 3

輸入jupyter notebook以打開python notebook頁面。

步驟 4

在右上的New新開一個剛才為環境取的名字的notebook,

開啟後在上方kernel裡面的change kernel內點選上面新建立的kernel名稱。

步驟 5

在notebook的block內輸入以下測試程式碼,如果沒出現Error或順利產生類似上圖測試成功的結果的話就大功告成了喔!

import sys

import tensorflow.keras
import pandas as pd
import sklearn as sk
import tensorflow as tf

print(f"Tensor Flow Version: {tf.__version__}")
print(f"Keras Version: {tensorflow.keras.__version__}")
print()
print(f"Python {sys.version}")
print(f"Pandas {pd.__version__}")
print(f"Scikit-Learn {sk.__version__}")
print("GPU is", "available" if tf.test.is_gpu_available() else "NOT AVAILABLE")

 

結論

 

你的深度學習之路才正要開始!

 

呼,經過一連串的操作我們終於完成這個有點麻煩的前置作業了!

雖然一開始滿辛苦的,但以後就能輕鬆地在一個套件齊全的實驗室開始你的研究啦。

對於一開始完全不知道裝這些要幹嘛的新手想必滿痛苦的吧?

不過沒關係,如果還有哪邊不夠清楚的話都可以觀看以下Jeff Heaton的教學影片作為參考喔。

 

 

Call To Action

 

歡迎任何能使我或是這篇文章改進的意見,所以如果有問題或想法都歡迎在下面告訴我喔 !

另外,如果你覺得這篇文章有幫助到你、很符合你的需求的話,記得幫我拍手以及分享喔 !

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *