モデルの軽量化機能は、学習済みのモデルの精度を損なわないように計算の表現力を圧縮して実行する機能です。
軽量化していない実行は32bitで計算が行われますが、軽量化で実行すると16bitの半精度で実行し高速化やメモリ削減が可能です。
高速化やメモリ削減できるのでエコですね! (なお、軽量化前と若干の結果が変わる場合もあるため、途中で切り替えた場合は念のため精度を確認しましょう)