機械学習で非常に時間のかかる処理をするとき、AWS の EC2 インスタンスを立ててその上で実行している。
AMIは深層学習用のインスタンスを用いている。
Jupyter Notebookもプリインされている。
また、時間のかかる処理を可視化するのに便利なパッケージ tqdm があり、これも重宝している。
tqdm は Jupyter Notebookもサポートしているが、上記AMIで動かすのには一苦労あった。
結論から言えば、以下が必要だった。
conda install -c conda-forge ipywidgets nodejs jupyterlab tqdm jupyter nbextension enable --py widgetsnbextension --sys-prefix jupyter labextension install @jupyter-widgets/jupyterlab-manager
まず、最新版の ipywidgets , nodejs, それに tqdm をインストールする。筆者はJupyter Labを使うためそれも導入している。
次に、 ipywidgets を有効化する。これによってインタラクティブな機能が使えるようになる。
最後に、jupyterlab exntensions を有効化する。
そして、以下のようなコードでtqdmが動くようになる。
from tqdm.autonotebook import tqdm for _ in tqdm(range(1, 100)): # なにか重い処理 ...
こんな感じでプログレスバーが表示される。
参考：
独学プログラマー Python言語の基本から仕事のやり方まで
- 作者: コーリー・アルソフ,清水川貴之監訳,清水川貴之,新木雅也
- 出版社/メーカー: 日経BP社
- 発売日: 2018/02/24
- メディア: 単行本
- この商品を含むブログ (4件) を見る
退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング
- 作者: Al Sweigart,相川愛三
- 出版社/メーカー: オライリージャパン
- 発売日: 2017/06/03
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (6件) を見る
- 作者: 柴田淳
- 出版社/メーカー: SBクリエイティブ
- 発売日: 2016/12/22
- メディア: 単行本
- この商品を含むブログ (2件) を見る
