推論速度について

4K画像(5194x3888ピクセル)の画像の検査例でお答えさせていただきます。
例として、1/32リサイズした画像でチーターの顔を検出し、
検出エリアの重心から元解像度で1024x1024ピクセルの範囲内でヒゲを見つけさせるAIを用意してベンチマークを実施しました。
(このデータセットは今後自由に評価できるよう準備させて頂きます。)


image

デスクトップPC1 デスクトップPC2 デスクトップPC3 ノートPC デスクトップPC4 クラウド1 クラウド1(CPUのみ) ワークステーション1
OS Win11 Pro Win10 Pro Win10 Pro Win10 Pro Win10 Pro WinServer 2019 Win10 Pro
CPU AMD Ryzen5 5600X Intel i7 10700K Intel i7 9700K Intel i7 9750H Intel i9 11900K Xeon 8163(8core) Xeon W2225
メモリ(GB) 64 32 64 32 64 32 128
GPU Geforce RTX3070 Geforce RTX3080 Geforce RTX2080Ti Geforce 1650 Geforce RTX3090 Tesla T4 CPU推論 RTX A6000
Menou-TEバージョン 21年7月開発版
(Win11のため)
1.2.102.0 1.2.102.0 1.2.102.0 1.9.300.0 1.9.300.0
推論速度(平均ミリ秒) 416 388 417 1092 193 749 14289 470

検査画像やタスクコネクションの組み合わせ次第で変わるところはありますが、
GPUを搭載したノートPCより2倍以上速くなる見込みです。
弊社の推奨としては6コア以上のCPU、Geforce3070以上を推奨とさせて頂いております。

「いいね!」 2