優れたAIシステムを導入したいけれど、何をもって「良い」とするのか案外迷うところです。
この記事では、AIシステムを評価するうえで見るべきポイントをご紹介したいと思います。
少し脱線しますが、AIの一種である機械学習において「評価関数」というものがあります。**「何をもってして良い」**と評価するのかという数式を評価関数と呼ぶのですが、人間でいうところの「価値観」ともいえる評価関数はAIが何を目指して学習するのかを定めるとても大切な軸となります。例えば、乗換案内で検索すると「移動時間」「乗換回数」「料金」といった評価軸によって異なった経路が出てきますよね？簡単にいうと、この「移動時間」「乗換回数」「料金」が評価関数となっていて、それぞれの軸で最少になるような経路が導かれているのです。
例えば、自分の好みに合わせて移動時間を最少にしたいけれど、「乗換が多いと疲れるから10分のペナルティを加算する」といった独自の評価をしたければ、この評価関数で経路を探索すれば自分の好みにぴったりのルートが導けるようになるのです。
わざわざ脱線したのも、実はAIを導入する際には複数の評価軸があるので一概に評価するのは困難だからです。しかし、検査用の画像AIを導入するとしたら以下の評価指標が一般にありますのでご参考にしてみてください。
-
精度
まず精度が気になる人は多いと思いますが、実は精度の評価はとても難しいです。その理由は①人間の検査も100%ではないから ②厳しめでNG判定が多いのと、甘めでOK判定が多いのとでは同じ精度であっても影響が異なるから、です。この辺はこの記事で別途詳しく説明しています。 -
速度（タクトタイム）
検査速度が生産ラインのタクトタイムよりも遅くなると、検査がボトルネックとなり、ライン全体の速度を下げざるを得なくなり、生産量への影響も大きくなるでしょう。したがって検査速度は、あるタクトタイムよりも遅いと致命的ですが、それ以上早くてもあまりメリットはありません。しかし、２つの検査を並列で行ったり設備投資によって早くすることも可能なので、コストとのトレードオフという面もあります。 -
コスト
検査にかかるコストは気になるものです。特に導入時の初期費用が気になるかもしれません。しかし、ランニングコストやメンテナンスコストも気になるところです。
-
初期費用
導入時のコストには、ハードウェア代、ソフトウェア代、開発コスト、導入検証等に伴う社内コストなどが含まれます。初期費用の大半は固定資産(Capex)として計上されますが、減価償却として数年にわたって経費計上されることになります。つまり固定資産の予算を獲得する際、長期的なランニングコストにも影響がありますので注意が必要です。 -
ランニングコスト
ランニングコストは生産に直接かかる費用として現れ、オペレーションに必要という意味でOpexと呼ばれることもあります。生産に必要な人件費や電気代と同様に、AI利用料などが発生することがあります。また、実際に支出されない固定資産の減価償却などもランニングコストとしてかかってくるので隠れたコストと言えるでしょう。 -
メンテナンスコスト
保守・維持にかかるコストは軽視されがちですが、大きな割合を占めることがあります。特にソフトウェアの更新は案外コストがかかります。OSや通信プロトコルのアップデートとともにソフトウェアのアップデートが必要となることも珍しくありません。AI検査の場合、データの追加による追加学習や、検査基準の見直しなども予想されますので、小さな変更であれば自社でアップデートできるようなシステムを選ぶとメンテナンスコストを抑えることができます。