AIダッシュボードの使用方法～解析結果編～

機能紹介
, ,
1

ダッシュボードの解析結果について紹介いたします。

  • 集計対象画像
    image
    データセットの全画像に対して何枚が集計対象の画像なのかを指しています。
    結果なし画像は解析領域が全く存在しない画像の枚数を指しています。
    フィルター設定でデータを絞り込んだ場合、以下のように表示が変化します。
    image
    なお、表示が更新されない場合は再集計ボタンを押してください。

  • 実行速度

    image
    image723×86 3.52 KB

    • 中央値
    • 最大
    • 最小
    • グラフ
      • 白い線は画像ごとの処理時間の推移
      • 黄色い線は中央値

  • 結果サマリー

    • 混乱行列(正解/実行結果)
      image
      image
      正答率を示す表です。
      「検出あり」のデータが「検出あり」と判定された場合は結果が正しいと言えます。
      その正しい部分が白い数字、誤った部分が赤い数字、不明なものは黄色い数字で表示されています。
      グラフの数字をクリックすると結果画像一覧の画像を絞り込むとこが出来ますので、
      失敗した画像に着目して分析することが容易になります。
    • 領域検出
      • スコアヒストグラム
        image
        • 赤ヒストグラム
          • 実行結果が「検出あり」となった画像の最大スコア
        • 緑ヒストグラム
          • 実行結果が「検出なし」となった画像の最大スコア
        • 赤と緑の山が綺麗に分かれるような閾値を設定するのが一般的には好ましい
    • クラス分類
      • 円グラフ
        image
        • 正答
        • 誤判定
          全て正答していると誤判定の円グラフが表示されません。
          以下のように誤判定がある場合は表示されます。
          image
          image785×221 22.7 KB

  • 結果画像一覧

    • メニュー
      image
      • フィルター適用
        image
        • 結果画像一覧に表示されている画像のファイル名をフィルター設定のファイル名に設定してデータを絞り込み
      • レポート出力
        image
        • タスクに応じたフォーマットでレポートを出力
      • ソート
        image
        • 昇順/降順の切り替え
        • ソート条件の選択
      • ページ
        image
        • ページ戻し/送り
        • 全画像を表示
          • ページ分けを行わずすべて表示(画像が多いと表示が遅くなる可能性があります)
    • 結果画像
      image
      image1240×304 110 KB
      • 画像をアノテーションタブで確認
        image
        ボタンを押すとアノテーションタブに遷移して即座に確認することが可能
      • それぞれのタスクで得られた情報を表示
        • 領域検出
          image
        • クラス分類
          image
「いいね！」 2
3

混乱行列(正解/実行結果)の部分でご質問があります。

作成中のプロジェクトが実際にどの程度異常を検出するか、確認用の画像を入れたワークスペースを別途作成し、解析を行いました。
このワークスペースの画像では学習はしておらず、再解析を掛けただけです。

その後、ダッシュボード上の混乱行列を見てみると、ほとんどが正解/不明に分類されました。
これは学習していない画像で正解が分からないため、そのように分類されたのかと思いましたが、一方で数点が正解/検出ありに分類されました。
検出あり/なしは事前に設定していないはずなのですが、なぜ正解が分かったのか疑問に思いました。

この混乱行列はどのように表示されるのが正常なのでしょうか。
また、不明と表示された画像に対してアプローチすべきことはあるでしょうか。
ご教示の程、よろしくお願い致します。

4

ご質問ありがとうございます。

確かにデータを切り替えた後に正解に「不明」以外が出てしまうのはおかしいと思います。

ただ、私の方でも学習後にデータを切り替えてみたのですが、
ご指摘いただいた状態を再現することが出来ませんでした。
image

そこで1つ確認していただきたいのですが、データセットの中に「検出あり」/「検出なし」の状態が付与されているものがあるでしょうか。
検出なし
image
検出あり
image

ダッシュボードで正解の「検出あり」/「検出なし」/「不明」の状態はアノテーション画面で設定したものとなっていますので、学習に使っていないデータであっても「不明」以外が選択されていると「検出あり」/「検出なし」に集計されます。
image

もしなかった場合は不具合かもしれませんので調査したいと思います。

また、「不明」状態へのアプローチですが、データセットに対してグループ分けを行っていると便利に扱えるケースがあると思います。

グループAのみ混乱行列の結果を表示

  1. グループAを作成してフィルタリング
    image
    このときデータセットの画像10枚のうち5枚がグループAです。
  2. ダッシュボードの再集計ボタンを押下
    image
  3. 混乱行列の確認
    image
    グループAの5枚の画像に対して「検出あり」の結果が得られました。
    グループAの結果の期待値が「検出あり」だった場合、正解率は100%と言えます。
    また、グループBの画像が5枚あり、結果の期待値が「検出なし」だった場合、
    実行結果が「検出なし」5枚だった場合も、正解率が100%と言えると思います。

あらかじめ、画像にラベルが付与出来ていて、グループ分けできる場合は、データをピックアップして分析することで正答率を出すことが出来ます。

5

ご回答ありがとうございます。

ご指摘の通り、「検出あり」と指定されているものが、分類されていました。
ただ、今回はプロジェクト確認のために実施したため、
アノテーション作業は行わずに再解析し、ダッシュボード画面で確認をしたと思っているのですが、
「検出あり」となっていました。

自動で付与されることが無いとのことであれば、設定してしまったのかもしれません。
その後に同事象は確認できていないため、様子を見させて頂きます。

また、ご教示頂いたグループ分けについても活用させて頂きます。

「いいね！」 1