画像分解に基づく茶畑の生育状況認識

お茶の新芽をいつ、どれくらい伸びたところで摘むかは、お茶のでき具合にかかわります。早めだと芽が柔らかく品質は良いのですが、量が採れません。遅めだと量は採れますが、固い芽が増えてしまいます。新茶は4月から5月、二番茶は6月から7月など大体決まっていますが、気温や天気で前後します。そこで茶葉をドローンで撮影し、AI学習モデルを用いて摘みごろかどうかを調べようという事例です。

茶畑によっては覆いをかぶせ、テアニンからカテキンへの変化を少なくすることで、渋みが少なく、旨みの多いお茶を育てています。日光を遮断して栽培する「覆下園」（被覆茶園）と呼ばれ、撮影画像に制約が加わります。

ここでは、ドローンを活用した覆下園条件での茶芽色度合いの認識（新芽生育調査）を目的とし、以下のような手法を検討しました。

まず一般の色度合いの認識手法である、カラー画像RGBチャンネルに基づく手法を試しました。カラー情報に基づき茶葉の領域を分割すると、新緑 (R:206, G:213, B:172)、中緑 (R:152, G:165, B:123)、深緑 (R:72, G:83, B:37)、褐色 (R:85, G:79, B:64)、白色 (R:235, G:233, B:230)、黒色 (R:62, G:59, B:75) など様々な色が含まれます。新芽の画素は高いG（Green）値を持つため、Gの輝度値分布から色度合い、つまり新芽の割合が把握できます。

次に、覆下園条件での茶芽の色度合いの類推手法ですが、葦簀による照度の変化が生じ、色情報による認識法では問題があります。そこで葦簀を真似たシミュレーション画像を作成します。茶畑の斜め画像から鉛直画像への変換を行い、カラー画像をRGB空間からLAB空間へ変換、葦簀の効果を真似た円盤状の穴を作ります。一様分布で穴の位置をサンプリング、正規分布で穴の半径をサンプリング、円盤状以外の画像領域では乗法的に照度を衰弱させました。

※ お茶の摘みごろは年1回でデータを集めるのが難しく、シミュレーションを使った探索はとても重要です。

元画像　　　　　　　　　　　　　偽葦簀画像　　　　　　　偽覆下園条件での茶畑画像

Low rank and Sparse decompositionを用いて茶芽の色度合いを類推します。穴がポツポツと空いている（点在している）ということは、疎の性質を持っていると言えます。画像を低ランクのサブ画像と、疎のサブ画像に分解すれば、穴の位置が疎のサブ画像に含まれるはずです。下記のように定式化できます。

ただしD は元画像、Aは低ランクサブ画像、Eは疎のサブ画像
‖∙‖_*は行列のnuclearノルム(特異値の和、ランク)
‖∙‖₀はL0ノルム(行列の非零要素の数、疎性)

これを解くことで（方法は「参考」に記します）わかる葦簀の影響を、除去する手順を考えます。推定した穴領域の輝度値と周囲輝度値の比較で、照度の衰弱率を推定し、葦簀が遮った部分の輝度値を逆算します。

こうして茶芽色度合いの類推効果が検証され、歩道位置も特定できました。

実際の場面では、衰弱因子は空気による屈折など一つとは限りません。ドローンで動画撮影したときへの対応や、G値で茶芽色度合いの判断することが妥当であるか（赤外線などの手法も提案されています）など、まだまだ多くの課題を抱えています。

参考

Low rank and Sparse decompositionを用いて茶芽の色度合いを類推します。葦簀の穴がポツポツと空いている（点在している）ということは、疎の性質を持っていると言えます。画像を低ランクのサブ画像と、疎のサブ画像に分解すれば、穴の位置が疎のサブ画像に含まれるはずなので、下記のように定式化できます。