Google Colab

介紹

Colab 是一個線上平台, 可以在瀏覽器上編輯, 執行 Python 程式, 並且是使用 Google 的運算資源去執行程式

由於 Colab 是基於 Jupyter Notebook , 所以可以把程式碼分成不同儲存格, 然後更據需求去執行

免費版 Colab 會有使用的限制例如執行時間, 記憶體, 是否可以用GPU

免費版不保證GPU每次都能使用, 實際測試可使用的機率有夠低, 10次裡面大概有0次成功….

如果要在Colab 上面跑負載比較大程式, 就需要用到付費板
付費版有更多執行時間, 記憶體, 且可以使用GPU , 這樣可以去跑負載比較大程式

付費版以運算單元來作為計費方式, 例如購買Colab Pro 就會給 100運算單元 **(有使用期限) **

之後執行的時候就會去扣除運算單元, 類似悠遊卡的機制, 加值後才能扣款使用

如果有需要去執行其他程式可以利用 !command 去完成

例如想要執行 /content/project/train.py 這文件, 可以在程式儲存格, 輸入底下指令並執行

1
2
3

# default path is /content
%cd ./project/train.py
!python3 -m train.py

想像以下情境, 我們想要利用Colab上面得運算資源去訓練AI模型, 會需要把程式碼, Datasets傳上去
Colab每次重啟時, 資料都會不見, 總不能每次都重新上傳上去Colab這樣效率太低

這時候可以先把需要用的檔案傳上去 Google 雲端, 然後讓 Colab 去掛載並複製到 Colab 的硬碟裡面
之後還可以把訓練好的模型存在Google 雲端裡, 之後在下載下來

GCP 是 Google 提供的雲端運算服務, 可以購買 VM 且可據需要調整配置, 通常會透過 SSH 方式去使用這台雲端主機
GCP 好處就是, 它就是一台主機可以在上面去任何設定, 不會像是Colab有特定的使用限制
缺點就是貴 (雖然GCP是市面上相對便宜的)