NKJM
1
お世話になっております。
同一解像度の画像からなる2つのデータセットを用いて、異常領域検出タスクの学習を行ったときに発生するメモリー使用量の違いについて教えてください。
現在、2つのデータセット(以下、データセットBとデータセットCとします)を用いて異常領域検出タスクの学習を行っています。
・データセット B
8bit グレースケール 2928 pixel x 2928 pixel のPNG形式画像 90枚 (127MB/90枚)
・データセット C
8bit グレースケール 2928 pixel x 2928 pixel のPNG形式画像 90枚 (123MB/90枚)
上記のデータセットBとデータセットCは、同じデータセットAに対して異なるパラメータでコントラスト補正を行って作成したものです。
(前処理はコントラスト補正のみで、画像の圧縮やリサイズは行っておりません。)
データセットBとデータセットCを用いて、同一のタスクフロー(各種画像加工タスク→異常領域検出タスク(学習))を実施すると各データセットでメモリー使用量に大きな違いが生じます。
・データセットB:学習時のメモリー使用量 約25GB程度
・データセットC:学習時のメモリー使用量 約60GB超 (メモリー不足エラー発生)
データセットCは、画像加工タスクで二値化やリサイズの処理を行ってもメモリー使用量に変化は見られませんでした。
恐れ入りますが、同一解像度の画像を用いた際にメモリー使用量に大きな差が生じてしまう要因についてアドバイスいただけますと幸いです。
「いいね!」 1
ご質問いただきありがとうございます。
同じサイズのデータセットの場合、前処理が変わっても同程度のメモリ使用量に通常なります。
考えられるとすると
どちらかのタスクにリサイズ前処理が入ってるか、解析領域(ROI)が設定されている場合は
ご記載のようなメモリ使用差が発生します。
上記、差がなかった場合
詳細調査させていただきたいため、
お手数ですが、担当営業にそれぞれの学習後のLogファイルをご共有をお願いできればと思います。
(※なお、良品学習(異常領域学習)の場合、メモリを消費してしまうので2000pix x 2000pix 以上ある場合は、領域ROI絞り込みまたはリサイズによる使用を推奨しております)
NKJM
3
早速のご回答ありがとうございます。
「同じサイズのデータセットの場合、前処理が変わっても同程度のメモリ使用量に通常なる」とのこと、承知いたしました。
MENOU-TEの同一プロジェクトにて、データセットBとCを切り替えての異常領域学習も試してみました(同一プロジェクトのため、画像加工タスクや学習の各種パラメータは同一条件です)。
上記条件でも、やはりデータセットBのメモリ使用量は最大25GB程度でしたが、データセットCでは60GBを超え、メモリ不足エラーが発生してしまいました。
なおデータセットBとCどちらも、同一サイズの領域ROI絞り込みを行った後に学習を実行しています。
担当営業の方にもご相談させていただきます。
「いいね!」 1