データを追加して学習した後など、どの程度精度が向上したか確認する方法をまとめます。
本手法は統計的な都合により、画像枚数１０枚以上を推奨します。
※2022年６月時点。今後MENOU提供のアプリケーションに統合される場合があります。
確認方法の概要
①レポート出力
初回の学習が終わった後、ダッシュボードからExcelレポートを出力します。
②追加学習
データ追加、アノテーション修正が終わった後に追加学習を実行。
③改善後のレポート出力
追加学習後にダッシュボードからExcelレポートを別名で出力。
④データ加工
Excelの場合は可視化のためにデータ整形。
⑤データ可視化
箱ひげ図を書いて、比較をする。
具体的な手順
①
ダッシュボード画面からExcelレポートを出力します。
画像出力は不要です。
②
データを追加し、追加学習を実行します。
③
①同様の手順でExcelレポートを出力します。
ファイル名が同一だと上書きされますので、ファイル名は変更してください。
④
※Excelでの場合を記載します。
出力されたExcelの結果一覧シートを開きます。
M列”IoU”を列選択し、検索と置換で"-“を”"に置換します。
※IoUに関しては別途記事を作成いたします。
IoU列にある"-"(ハイフン)が削除され、数値データだけ残ります。
IoU列を再び全選択し、別のExcelのシートに貼り付けます。
このフローを比較したい前後のデータで実施します。
便宜上、行を上詰めしていますが、
上記画像のような対比表が作成できます。
⑤
このまま条件変更前後の差分を見てもよいのですが、
枚数や領域数が増えた場合は全貌の比較が難しくなります。
また、学習が上手くいっていない場合はスコアが下がる場合がありますので、
全体のばらつきを俯瞰する必要があります。
以下の手順で箱ひげ図を書いてばらつきを把握しましょう。
比較したい２列を全選択→
挿入→統計グラフの挿入→箱ひげ図
以上の手順で完成です。
箱ひげ図そのものの説明はwikipediaなどをご参照ください。
(箱ひげ図 - Wikipedia)
簡便な比較は以下に示します。
具体的な案件で比較したい場合は、カスタマーサポートまでご連絡ください。
