Caffe学習チューニングメモ: batch_size変更の注意点

GPUモードで動かすと、環境によってはout of memoryで怒られる場合がある。
その場合は train_val.prototxt ファイル内の batch_size を小さく変更する事で避けられる。
しかし、TRAINフェーズのbatch_size に合わせて solver.prototxt ファイル内の base_lr も小さくする必要がある。

base_lr: 0.01 * sqrt(X)
X: batch_size / 256

つまり、batch_sizeを64にしたなら、base_lrは:

base_lr = 0.01 * sqrt(64 / 256) = 0.005

闇すぎるよCaffeちゃん!

参考

投稿者:

Takuya

Digital crafts(man|dog). Love photography. Always making otherwise sleeping. born in 1984.

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中