株式会社エムアールサポート様から「AIを活用して業務を自動化できる方法はありませんか？」というご相談をいただき、弊社でその業務に最適化したシステムを構築し、ソリューションのご提案いたしました。ご担当者様は数千枚にも及ぶ大量の道路写真を保存したフォルダを指定するだけで、アプリが自動的にノイズとなる要素を検出し、瞬時にマスキング処理を施した画像を作成できるようになりました。これにより、これまで1週間程度かかっていたマスキング作業が、わずか半日で完了するようになり、工数やコストの大幅な削減につながりました。さらに、処理後の画像は手動で調整できるため、万が一誤判定があった場合でも簡単に修正できます。

また、本アプリケーションはローカル環境で動作するため、画像データを外部クラウドにアップロードする必要がなく、機密情報や個人情報の漏洩リスクを最小限に抑えられています。このマスキング自動処理を活用することで、道路管理を行う行政部門やその委託を受ける測量業者は、より効率的かつ正確に道路の状況を把握でき、メンテナンスや補修の計画に集中できるようになります。

投稿 業務に特化した物体検出ソリューション：航空写真のマスキング自動化 は 株式会社ハイシンク創研 に最初に表示されました。

生成AIとRAG（Retrieval-Augmented Generation）の導入

従来、VRコンテンツの制作には、アーチストによるテクスチャの作成や技術者による3Dモデルの構築が必要でした。しかし、本システムでは生成AI技術を導入することで、2D画像や背景知識を基に3Dモデルを自動生成でき、専門的なスキルがなくても手軽にVRコンテンツを制作できるようになります。
さらに、大規模言語モデル（LLM）とRAG（Retrieval-Augmented Generation）技術を活用することで、古典物語や歴史資料などの外部データを検索・参照しながら、より正確で文脈に沿った情報を提供できます。RAGは、大量のデータから適切な情報を抽出し、リアルタイムでテキストを生成する技術であり、これにより古典物語に登場する人物の背景や性格をより精緻に再現できます。

LLMとRAGによる会話システム構成

これらの技術をもとに3Dモデルを作成することで、登場人物に命を吹き込み、よりリアルで没入感のあるコンテンツ制作が可能になります。VRゴーグルを装着すれば、映像を観るだけでなく、物語の舞台となる街を歩いたり、登場人物と会話したり、まるで物語の世界に入り込んだかのような体験ができます。インタラクティブに物語を楽しめる新しい体験によって、文化資源や歴史的背景への理解を促進し、日本文化の継承に貢献して参ります。

投稿 AI技術を活用した文化財のVR体験ソリューション は 株式会社ハイシンク創研 に最初に表示されました。

そこでAIとIoTの技術を活用し、設備状態をリアルタイム監視と故障の予兆を早期に検知することでトラブルを未然に防ぐ「予知保全」システムを開発しました。具体的には、下図のように機器から収集される大量のデータを基に、AIがパターンを学習し、異常の兆候を識別します。

例えば、振動や温度などの時系列データを分析することで、機械の故障時刻を事前に予測します。

「予知保全」システムの最大の利点は、故障やトラブルを事前に検知し、メンテナンスを行うことが可能になります。更に、突発的な故障による生産停止のリスクや定期的なメンテナンス作業を減らすことができ、長期の運用コストの削減にもつながります。

以前開示した事例（AI応用に適したDevOps環境 – ハイシンク創研）と合わせて、環境構築から実装運用までのソリューションを提案することができます。一緒にモダンな技術を利用して設備のダウンタイム“０”へ挑戦しましょう。

投稿 製造装置の予知保全 は 株式会社ハイシンク創研 に最初に表示されました。

選別装置には、エアージェット、トリップ、プッシャーなど様々な方式がありますが、そのときの物体の姿勢を評価して修正（フィードバック）をかけることで、状況に応じた最適化が可能です。物体の姿勢は主に回転角度に反映されますが、整列されていない物体の選別、あるいは選別された物体の姿勢を修正するために、回転角度情報を利用します。歩留まりにも直接影響するため、いかにして正確に回転角度を推定するかが重要となります。

回転角度評価を行うには、まず物体の動きを追跡します。フレーム毎に位置を認識し、前後のフレーム間で最近傍での対応付けなどを行う前処理（2値化やMorphingなど）を行います。

撮影した物体の画像データから得られた2次元の共分散行列を考えます。X=[x,y]を点群のx,y座標を並べた行列とすると

∑はx,y座標の相関関係、つまり点群の伸び具合を意味します。

一方、特異値分解を適用することで、点群の主軸とそれぞれの長さ（固有ベクトルと固有値）が算出できます。与えられた行列Mを固有値と固有ベクトルに分解します。

ここで𝑈と𝑉は固有ベクトルを含む直行行列で、Sは固有ベクトルに対応した固有値です。

最後に主軸の位置合わせを行い、t 番目フレームでの固有ベクトルと回転行列Rから、t+1番目フレームの回転角度𝜃を算出します。

を目的関数、Ut はt番目フレームでの固有ベクトルであり、Rは回転行列です。

Rが回転行列（2次元の特殊直交群）のとき、特異値分解（SVD）による最適なRを求める手法が考案されています。

から回転角度𝜃を算出することができます 。

こうして求められた回転角度の情報を活用することで、搬送装置の制御を効率よく行うことができ、実際に装置制御の基礎技術として用いられています。

投稿 物体の回転角度評価 は 株式会社ハイシンク創研 に最初に表示されました。

例えば、製造装置に搭載する産業用高速カメラの実装、画像処理ハードウェアの設計、AI学習モデルの構築、および高速化に寄与する部分の FPGA 化など、データ量が多く、複雑な処理が求められる部分を、ハードウェアとソフトウェアを組み合わせることで最適化しました。特に並列処理や分散処理が可能な部分をハードウェア化することは、劇的な性能向上につながります。

これらの技術は、搬送装置を高速で流れる物体（製品、部品、梱包材など）の画像を撮影し、向きや姿勢を瞬時に判断、間違った状態にある部品は制御装置を介して修正、その正誤を計数してロット毎に歩留まりを分析するシステムの設計開発に活かされました。その一部は実際の工場の現場で既に稼働しています。

本システムの開発では、高速かつ正確な画像処理が求められたため、FPGAやGPUによるハードウェア実装が重要となりました。そのために活用した要素技術の一つでもある、FPGAの高位合成を紹介します。

FPGAの回路はHDL (ハードウェア記述言語：Hardware Description Language) という論理回路を設計するための言語を用いて設計され、論理合成ツールを使って生成されます。しかし、クロックやタイミングを考慮して処理を記述する必要があるなど、テストやデバッグが非常に難しくなります。

高位合成は、回路の機能をC言語やC++を用いて記述し、高位合成ツール (HLS Tools) に入力してHDLに変換され、RTL (Register Transfer Level：LSIを作成するためのプログラミング言語) 記述、真理値表、状態遷移記述、論理式などとともにゲートレベルの論理設計を自動的に行う論理合成ツールに入力され、FPGA回路を生成します。

投稿 FPGAによる高速／高精度な物体計数／姿勢認識 は 株式会社ハイシンク創研 に最初に表示されました。

従来は、メーターを人間が読み取り、キーボードや画面タップにより記録していましたが、両手が使えない環境ではとても困難な作業となります。一つの解決策として、作業員が読み取った数字を音声で入力する方法も考えられましたが、暗くて人の目で読み取るのが難しいことも多く、読み間違いが起こります。更に騒音ノイズが大きいこともあり、音声入力では認識率が十分確保できないことがあります。せっかく正しく読み取った数字を、入力のときに間違えるという問題がありました。

そこで、メーター類をカメラで読み取り、その撮影画像とともに、画像認識によって数値を読み取る方法を開発しました。入力の確認ができれば、その場で記録も完了です。この方法ですと、現場からオフィスへ戻ったあとで、撮影した画像と入力数値を見比べてチェックすることができます。最近のスマートフォン搭載カメラは、人の目より優秀ですから、直接読み取るより、撮影画像を確認する方が負荷も軽減できます。デバイスも一般のスマートフォンの機能があれば十分で、導入コストも軽減できます。

メーター類の設置場所が無線通信のカバーエリアであれば、その都度、データを読み取り、性能の高いクラウドで、認識処理や記録保存処理を自動で次々に行うことができます。残念ながら多くのメーター類は地下に設置されており、圏外となってしまいますが、そうした場合も考慮して、オフラインでの自動読み取りにも対応しました。

開発の流れ

1. データの収集

現場のメーター画像を撮影し、ラベル付けを行い、訓練用のデータセットを作ります。ラベル付けとデータ変換の例を記します。

2. 学習モデルの作成

メーター画像の特徴を抽出してモデルを作成します。機械学習ライブラリPyTorchを使用し、メーター画像のデータをニューラルネットワークで学習させたところ、十分実用に足りる性能を得ることができました。

3. 学習モデルの実装

得られたモデルを使って、メーター読取専用のスマートフォン向けアプリを作成します。スマートフォンの代わりに専用デバイスを用意することもあるでしょう。以上の手順を繰り返せば、読み取るべきメーター画像の種類やバリエーションが増えても、学習モデルを更新することで、システムは進化していきます。

環境変化に適応する学習モデル

スマートフォンへの実装を行うことで、地下などネットワーク接続が難しい場所でもメーターを自動的に読み取ることが可能です。前述したように、同時に画像データを撮影することで、日時や環境の条件が異なるデータを収集し、そのデータを学習させることで、システムはますます進化していきます。

スマートフォンで学習モデルを更新することは困難ですが、学習モデルを作成するプロセスをクラウド上でコンテナ化し、更新した学習モデルをスマートフォンへダウンロードします。新たに作成する学習モデルで用いる学習データは、そのスマートフォンで撮影したメーター画像です。日々、様々な環境で撮影されるメーター画像、特に読み取りに失敗した例を学習させることで、システムは更に頑健になっていきます。

クラウド＋AI+IoTの可能性

AI学習モデルを適用する対象は、同時に新たなデータの発生源でもあり、データ収集の現場です。AI + IoT = AIoTとも呼ばれます。そこで収集されたビッグデータはクラウドに集められ、新たな学習モデルに更新されて、また現場で活用されます。工場やオフィスなどセキュリティが厳しい場所では、データをクラウドへ持ち出すことが禁じられていることもありますが、クラウドに代わるエッジ・コンピュータを現場に設置して対応します。

投稿 検針メーターの自動読み取り は 株式会社ハイシンク創研 に最初に表示されました。

流れていくパーツの模様は、同じパーツであっても異なるロットでは微妙に異なっている場合があります。そのため最初に流れるパーツで上手くチューニングしていても、徐々に正しい判定が出来なくなっていくことがあります。ここでは、パーツ姿勢を判定するための基準となるテンプレート画像を、流れていくパーツの模様の変化に追従するよう、動的に更新していく技術を紹介します。

まずこの技術の背景について整理してみましょう。流されるパーツは、同じ姿勢であっても模様が微妙に変化していき、安定高精度なテンプレートマッチングが徐々に出来なくなっていきます。この模様の変化にテンプレートが追随していくためには、動的にテンプレートを更新していく機能が必要です。パーツフィーダーが、基準となるテンプレート画像を自動的に適応させていきます。

今回、テンプレート画像を用意し、流されたパーツ2,000枚の動画像に対して、テンプレートマッチングを行います。それぞれマッチングされたパーツ画像の単純平均を用いて、当該テンプレートを動的に更新していきます。

パーツ画像とテンプレート画像がマッチするとは、次のようなことです。１枚のパーツ画像と複数のテンプレート画像との間で、それぞれの差の二乗平均（マッチ基準）を算出します。その中で最も小さい値（差）を取るものを、マッチされたテンプレート画像とします。

更新の方式には、そのタイミングによって、オフライン方式とオンライン方式があります。オフライン方式は、全部のパーツ画像を使ってまとめて更新するものです。一方、オンライン方式は、パーツ画像のフレームが届く毎に更新を行います。

オフライン方式の更新式は、

となります。ただし、は s 番目のテンプレートで、は s 番目のテンプレートにマッチされたパーツ画像です。

オンライン方式の更新式は、

となります。ただし、は t 時刻にマッチされた s 番目のテンプレートで、 は t 時刻に s 番目のテンプレートにマッチされたパーツ画像、 は t 時刻の重み付けで平均毎に小さくなります。

更新反復についての違い

オフライン方式は全体の情報を使っているので、必ず以前のマッチ基準より良い結果へと更新されるため、反復が不要です。一方、オンライン方式はフレームの順番によって様々ですから、以前より悪い結果に更新してしまうことが起こるため、反復が必要です。

オフライン方式処理フロー

オンライン方式処理フロー

実装結果

まず更新前のテンプレート画像を示します。

次にオフライン方式による更新後のテンプレート画像を示します。

最後にオンライン方式による更新後のテンプレート画像を示します。decay = 0.9999 です。

実行時間はいずれも６秒弱（ODYSSEY-X86J4105を使用した場合）です。

オンラインの結果は、オフラインと比べて「即時性」を持っています。オフライン方式はバイアスが小さく、全体的にぼやけた結果が得られます。オンライン方式は、後になるほど結果への影響が大きくなるので、後のパーツの状態に偏って依存しているように見えます。

投稿 単純平均に基づいたパーツテンプレートの更新 は 株式会社ハイシンク創研 に最初に表示されました。

具体的には、データを収集する装置、AI学習モデルを構築するクラウド、そして動作に最適な場所（制御用PC、エッジ、モバイル端末、クラウドなど様々）が協調して動作する環境を用意します。

AI技術コンテナ化によるPoC効率の向上

PoCの段階では、実装ターゲットとなる装置で動作させる必要はありません。もし簡単にクラウドで動作検証することができれば、生産性は大幅に向上します。論理的な動作を確認した後、どのように実装するかを考えるなど、これらフェーズを分けることで、AI学習モデルの再利用や修正で対応することも可能となります。

クラウド／エッジ／装置を統合したAI／IoT環境

ターゲット機器によって実装方法は異なりますが、AI学習モデルをクラウドで開発する共通基盤を構築します。

進化し続けるDevOps環境

弊社にはAIに関係する開発事例が数多くありますが、お客様の事情に合わせてカスタマイズして実装するため、Deliveryの形態がそれぞれ異なっています。これらコストはお客様の負担となっていましたが、今後はクラウド統合環境を整備し、提供価値の最大化に取り組んでいきます。

投稿 AI応用に適したDevOps環境 は 株式会社ハイシンク創研 に最初に表示されました。

AIを使って学習をさせるには、ラベル付けのデータセットが必要となりますが、手作業で画像から食器を分割する作業は工数が膨大となるため、自動化が求められています。

実験画像の例を示します。

Watershed に基づく、領域成長による画像分割手法を検討しました。食器と背景画像の間に明確な境界線を持つため、シード画素を特定し、画素同士の類似関係によって食器の領域成長で分割していくことができそうです。

次に、距離変換（Distance Transformation）によるシード画素の特定を行います。画像をモノクロに変換し、距離変換によって食器の領域の真ん中の画素値をシード画素として抽出します。

提案手法を異なる画像にも適用してみました。左が入力画像、右が手法を適用した結果です。

距離変換と領域成長の併用で、食器の自動分割手法が確立できました。使用後の汚れた食器のとき、性能は限定的ですが、シード画素の手動選択などによる改善が期待できます。

投稿 AI自動レジのための食器画像分割 は 株式会社ハイシンク創研 に最初に表示されました。

来訪者はオフィス入口のカメラに向かい、自分の顔を画面で確認して「受付」ボタンをクリックすします。過去に訪問したことのある来訪者には、会社名（所属名）と電話番号が表示されるので「確認」ボタンをクリックするだけです。該当者が無い場合は、初めての来訪者として受付処理が行われます。この際、自動的に推定された性別と年齢も集計可能です。

初めての来訪者（顔認識されなかった来訪者）は、名刺をカメラに向けて「名刺読み取り」ボタンをクリックします。名刺の認識結果を確認し、正しければ「OK」をクリック、誤りがあれば画面で修正するか、「誤認識あり」をクリックして受付担当者が名刺画像から修正してもらうよう要請することもできます。

こうして来訪者の顔は名刺と共にデータベースに登録され、今後の受付は顔パスで完了します。

AI学習モデルはクラウド上でコンテナ実装されており、常に学習を続けているだけではなく、異なる学習モデルと入れ替えることも簡単にできます。同時に来訪者の属性情報も収集していますので、店舗やイベント会場などマーケティングにも活用できます。

投稿 顔と名刺を認識する自動受付 は 株式会社ハイシンク創研 に最初に表示されました。