詳細な情報をありがとうございます。
マスクのみ追従させることはできないので、光沢のブレ全てを学習しきるか、
ご記載いただいた通り、光沢に影響されないように学習するしかありません。
もし、ワークの中心に光沢のムラが無いようであれば、中心のみをアノテーションして、
その下のタスクの解析領域のモードを固定にすることで改善する可能性があります。
アノテーション
推論結果
子タスクの解析設定
画像加工を行う場合は、輝度補正機能のガンマ変換やトーンカーブが有効かもしれません。
上記を行っても難しい場合は、もしかしたら照明や撮像条件の見直しが必要かもしれません。