メインコンテンツへスキップ
新着情報のヘッダー画像

CASE

開発事例

AI技術

AI自動レジのための食器画像分割

食堂での精算作業の負荷軽減、効率向上、省力化に貢献するAIを活用した自動レジがあります。この実現のため、食器自動認識と分類の手法を開発した事例です。

AIを使って学習をさせるには、ラベル付けのデータセットが必要となりますが、手作業で画像から食器を分割する作業は工数が膨大となるため、自動化が求められています。

実験画像の例を示します。

食器画像の例1(使用前)
食器画像の例1(使用前)
食器画像の例2(使用後)
食器画像の例2(使用後)

Watershed に基づく、領域成長による画像分割手法を検討しました。食器と背景画像の間に明確な境界線を持つため、シード画素を特定し、画素同士の類似関係によって食器の領域成長で分割していくことができそうです。

元画像
領域成長
領域成長
分割
分割

次に、距離変換(Distance Transformation)によるシード画素の特定を行います。画像をモノクロに変換し、距離変換によって食器の領域の真ん中の画素値をシード画素として抽出します。

元画像
2値化
2値化
距離変換
距離変換

提案手法を異なる画像にも適用してみました。左が入力画像、右が手法を適用した結果です。

入力画像と手法を適用した画像
入力と手法適用結果
入力画像と手法を適用した画像
入力と手法適用結果
入力画像と手法を適用した画像
入力と手法適用結果
入力画像と手法を適用した画像
入力と手法適用結果

距離変換と領域成長の併用で、食器の自動分割手法が確立できました。使用後の汚れた食器のとき、性能は限定的ですが、シード画素の手動選択などによる改善が期待できます。