株式会社エムアールサポート様から「AIを活用して業務を自動化できる方法はありませんか？」というご相談をいただき、弊社でその業務に最適化したシステムを構築し、ソリューションのご提案いたしました。ご担当者様は数千枚にも及ぶ大量の道路写真を保存したフォルダを指定するだけで、アプリが自動的にノイズとなる要素を検出し、瞬時にマスキング処理を施した画像を作成できるようになりました。これにより、これまで1週間程度かかっていたマスキング作業が、わずか半日で完了するようになり、工数やコストの大幅な削減につながりました。さらに、処理後の画像は手動で調整できるため、万が一誤判定があった場合でも簡単に修正できます。

また、本アプリケーションはローカル環境で動作するため、画像データを外部クラウドにアップロードする必要がなく、機密情報や個人情報の漏洩リスクを最小限に抑えられています。このマスキング自動処理を活用することで、道路管理を行う行政部門やその委託を受ける測量業者は、より効率的かつ正確に道路の状況を把握でき、メンテナンスや補修の計画に集中できるようになります。

投稿 業務に特化した物体検出ソリューション：航空写真のマスキング自動化 は 株式会社ハイシンク創研 に最初に表示されました。

生成AIとRAG（Retrieval-Augmented Generation）の導入

従来、VRコンテンツの制作には、アーチストによるテクスチャの作成や技術者による3Dモデルの構築が必要でした。しかし、本システムでは生成AI技術を導入することで、2D画像や背景知識を基に3Dモデルを自動生成でき、専門的なスキルがなくても手軽にVRコンテンツを制作できるようになります。
さらに、大規模言語モデル（LLM）とRAG（Retrieval-Augmented Generation）技術を活用することで、古典物語や歴史資料などの外部データを検索・参照しながら、より正確で文脈に沿った情報を提供できます。RAGは、大量のデータから適切な情報を抽出し、リアルタイムでテキストを生成する技術であり、これにより古典物語に登場する人物の背景や性格をより精緻に再現できます。

LLMとRAGによる会話システム構成

これらの技術をもとに3Dモデルを作成することで、登場人物に命を吹き込み、よりリアルで没入感のあるコンテンツ制作が可能になります。VRゴーグルを装着すれば、映像を観るだけでなく、物語の舞台となる街を歩いたり、登場人物と会話したり、まるで物語の世界に入り込んだかのような体験ができます。インタラクティブに物語を楽しめる新しい体験によって、文化資源や歴史的背景への理解を促進し、日本文化の継承に貢献して参ります。

投稿 AI技術を活用した文化財のVR体験ソリューション は 株式会社ハイシンク創研 に最初に表示されました。

半導体製造装置も大口径化に伴い進化していますが、８インチ用の検査装置は古いものが多く 、 特にパーティクルカウンターは異物や傷を画面に表示はするものの、デジタルデータ化されていないため作業の一部は手作業で行なっていました。

そこで、 パーティクルカウンターの計測画面をキャプチャリングして検査画像を保存し、 デジタルデータに変換することで、データベース化するシステムを開発しました。 本システムはレガシーな装置に後付けできますので、古いパーティクルカウンターを最新式のように活用できます。

製造装置の不具合検出自動化への応用事例

今回開発したシステムの応用として，古いパーティクルカウンターを製造装置の不具合検査装置として活用することが可能となった事例を紹介します。

特徴

ウェハー画像の自動保存

検査装置には 走査途中のウェハー画像がリアルタイムで表示されます。 一連の画面の特徴を分析、特定の部分の変化を検出することで、 走査完了した完全なウェハー画像のみを自動で保存します。

計測方向と位置の統一

検査装置が表示するウェハー画像内のパーティクル(明点)を認識し、一定のサイズ以上のものを傷(スクラッチ)と判定し、時間経過後の画像と比較し、装置の不具合を検出します。

検査装置のウェハー画像はあまり鮮明ではなく、位置・ サイズにもぶれあり、ウェハーの方向も揃っていませんが、ウェハーの「オリフラ」と呼ばれる結晶方位を示すための平部(切り欠き )を手掛かりにウェハーの方向を揃え、 ウェハー輪郭の位置、サイズも 整形しています。

画面例

ウェハーに一定サイズ以上のスクラッチがあることを検出し警告を表示します。

自動保存した画像から、任意の時間の過去の画像を確認、比較することができます。なお、検査工程では複数の製造プロセス（レシピ）のウェハーが混在して流れてきますが、画像内に表示されているレシピ名を OCR で読み取り区別できます。

スクラッチが検出されたウェハー画像を選択し、スクラッチが同じ位置にあるか自動判定します。

比較した画像は方向を揃えて並べて確認することができ、共通のスクラッチ位置を画面内に表示します。

従来 手動と目視で行なっていた検査がほぼ自動で実行できるようになり、業務効率の大幅な改善が図れました。今後同等の検査装置保有のお客様にも提案し、より広く課題解決を実現します。

投稿 ウェハー製造装置の不具合検出 は 株式会社ハイシンク創研 に最初に表示されました。

そこでAIとIoTの技術を活用し、設備状態をリアルタイム監視と故障の予兆を早期に検知することでトラブルを未然に防ぐ「予知保全」システムを開発しました。具体的には、下図のように機器から収集される大量のデータを基に、AIがパターンを学習し、異常の兆候を識別します。

例えば、振動や温度などの時系列データを分析することで、機械の故障時刻を事前に予測します。

「予知保全」システムの最大の利点は、故障やトラブルを事前に検知し、メンテナンスを行うことが可能になります。更に、突発的な故障による生産停止のリスクや定期的なメンテナンス作業を減らすことができ、長期の運用コストの削減にもつながります。

以前開示した事例（AI応用に適したDevOps環境 – ハイシンク創研）と合わせて、環境構築から実装運用までのソリューションを提案することができます。一緒にモダンな技術を利用して設備のダウンタイム“０”へ挑戦しましょう。

投稿 製造装置の予知保全 は 株式会社ハイシンク創研 に最初に表示されました。

選別装置には、エアージェット、トリップ、プッシャーなど様々な方式がありますが、そのときの物体の姿勢を評価して修正（フィードバック）をかけることで、状況に応じた最適化が可能です。物体の姿勢は主に回転角度に反映されますが、整列されていない物体の選別、あるいは選別された物体の姿勢を修正するために、回転角度情報を利用します。歩留まりにも直接影響するため、いかにして正確に回転角度を推定するかが重要となります。

回転角度評価を行うには、まず物体の動きを追跡します。フレーム毎に位置を認識し、前後のフレーム間で最近傍での対応付けなどを行う前処理（2値化やMorphingなど）を行います。

撮影した物体の画像データから得られた2次元の共分散行列を考えます。X=[x,y]を点群のx,y座標を並べた行列とすると

∑はx,y座標の相関関係、つまり点群の伸び具合を意味します。

一方、特異値分解を適用することで、点群の主軸とそれぞれの長さ（固有ベクトルと固有値）が算出できます。与えられた行列Mを固有値と固有ベクトルに分解します。

ここで𝑈と𝑉は固有ベクトルを含む直行行列で、Sは固有ベクトルに対応した固有値です。

最後に主軸の位置合わせを行い、t 番目フレームでの固有ベクトルと回転行列Rから、t+1番目フレームの回転角度𝜃を算出します。

を目的関数、Ut はt番目フレームでの固有ベクトルであり、Rは回転行列です。

Rが回転行列（2次元の特殊直交群）のとき、特異値分解（SVD）による最適なRを求める手法が考案されています。

から回転角度𝜃を算出することができます 。

こうして求められた回転角度の情報を活用することで、搬送装置の制御を効率よく行うことができ、実際に装置制御の基礎技術として用いられています。

投稿 物体の回転角度評価 は 株式会社ハイシンク創研 に最初に表示されました。

例えば、製造装置に搭載する産業用高速カメラの実装、画像処理ハードウェアの設計、AI学習モデルの構築、および高速化に寄与する部分の FPGA 化など、データ量が多く、複雑な処理が求められる部分を、ハードウェアとソフトウェアを組み合わせることで最適化しました。特に並列処理や分散処理が可能な部分をハードウェア化することは、劇的な性能向上につながります。

これらの技術は、搬送装置を高速で流れる物体（製品、部品、梱包材など）の画像を撮影し、向きや姿勢を瞬時に判断、間違った状態にある部品は制御装置を介して修正、その正誤を計数してロット毎に歩留まりを分析するシステムの設計開発に活かされました。その一部は実際の工場の現場で既に稼働しています。

本システムの開発では、高速かつ正確な画像処理が求められたため、FPGAやGPUによるハードウェア実装が重要となりました。そのために活用した要素技術の一つでもある、FPGAの高位合成を紹介します。

FPGAの回路はHDL (ハードウェア記述言語：Hardware Description Language) という論理回路を設計するための言語を用いて設計され、論理合成ツールを使って生成されます。しかし、クロックやタイミングを考慮して処理を記述する必要があるなど、テストやデバッグが非常に難しくなります。

高位合成は、回路の機能をC言語やC++を用いて記述し、高位合成ツール (HLS Tools) に入力してHDLに変換され、RTL (Register Transfer Level：LSIを作成するためのプログラミング言語) 記述、真理値表、状態遷移記述、論理式などとともにゲートレベルの論理設計を自動的に行う論理合成ツールに入力され、FPGA回路を生成します。

投稿 FPGAによる高速／高精度な物体計数／姿勢認識 は 株式会社ハイシンク創研 に最初に表示されました。

従来は、メーターを人間が読み取り、キーボードや画面タップにより記録していましたが、両手が使えない環境ではとても困難な作業となります。一つの解決策として、作業員が読み取った数字を音声で入力する方法も考えられましたが、暗くて人の目で読み取るのが難しいことも多く、読み間違いが起こります。更に騒音ノイズが大きいこともあり、音声入力では認識率が十分確保できないことがあります。せっかく正しく読み取った数字を、入力のときに間違えるという問題がありました。

そこで、メーター類をカメラで読み取り、その撮影画像とともに、画像認識によって数値を読み取る方法を開発しました。入力の確認ができれば、その場で記録も完了です。この方法ですと、現場からオフィスへ戻ったあとで、撮影した画像と入力数値を見比べてチェックすることができます。最近のスマートフォン搭載カメラは、人の目より優秀ですから、直接読み取るより、撮影画像を確認する方が負荷も軽減できます。デバイスも一般のスマートフォンの機能があれば十分で、導入コストも軽減できます。

メーター類の設置場所が無線通信のカバーエリアであれば、その都度、データを読み取り、性能の高いクラウドで、認識処理や記録保存処理を自動で次々に行うことができます。残念ながら多くのメーター類は地下に設置されており、圏外となってしまいますが、そうした場合も考慮して、オフラインでの自動読み取りにも対応しました。

開発の流れ

1. データの収集

現場のメーター画像を撮影し、ラベル付けを行い、訓練用のデータセットを作ります。ラベル付けとデータ変換の例を記します。

2. 学習モデルの作成

メーター画像の特徴を抽出してモデルを作成します。機械学習ライブラリPyTorchを使用し、メーター画像のデータをニューラルネットワークで学習させたところ、十分実用に足りる性能を得ることができました。

3. 学習モデルの実装

得られたモデルを使って、メーター読取専用のスマートフォン向けアプリを作成します。スマートフォンの代わりに専用デバイスを用意することもあるでしょう。以上の手順を繰り返せば、読み取るべきメーター画像の種類やバリエーションが増えても、学習モデルを更新することで、システムは進化していきます。

環境変化に適応する学習モデル

スマートフォンへの実装を行うことで、地下などネットワーク接続が難しい場所でもメーターを自動的に読み取ることが可能です。前述したように、同時に画像データを撮影することで、日時や環境の条件が異なるデータを収集し、そのデータを学習させることで、システムはますます進化していきます。

スマートフォンで学習モデルを更新することは困難ですが、学習モデルを作成するプロセスをクラウド上でコンテナ化し、更新した学習モデルをスマートフォンへダウンロードします。新たに作成する学習モデルで用いる学習データは、そのスマートフォンで撮影したメーター画像です。日々、様々な環境で撮影されるメーター画像、特に読み取りに失敗した例を学習させることで、システムは更に頑健になっていきます。

クラウド＋AI+IoTの可能性

AI学習モデルを適用する対象は、同時に新たなデータの発生源でもあり、データ収集の現場です。AI + IoT = AIoTとも呼ばれます。そこで収集されたビッグデータはクラウドに集められ、新たな学習モデルに更新されて、また現場で活用されます。工場やオフィスなどセキュリティが厳しい場所では、データをクラウドへ持ち出すことが禁じられていることもありますが、クラウドに代わるエッジ・コンピュータを現場に設置して対応します。

投稿 検針メーターの自動読み取り は 株式会社ハイシンク創研 に最初に表示されました。

流れていくパーツの模様は、同じパーツであっても異なるロットでは微妙に異なっている場合があります。そのため最初に流れるパーツで上手くチューニングしていても、徐々に正しい判定が出来なくなっていくことがあります。ここでは、パーツ姿勢を判定するための基準となるテンプレート画像を、流れていくパーツの模様の変化に追従するよう、動的に更新していく技術を紹介します。

まずこの技術の背景について整理してみましょう。流されるパーツは、同じ姿勢であっても模様が微妙に変化していき、安定高精度なテンプレートマッチングが徐々に出来なくなっていきます。この模様の変化にテンプレートが追随していくためには、動的にテンプレートを更新していく機能が必要です。パーツフィーダーが、基準となるテンプレート画像を自動的に適応させていきます。

今回、テンプレート画像を用意し、流されたパーツ2,000枚の動画像に対して、テンプレートマッチングを行います。それぞれマッチングされたパーツ画像の単純平均を用いて、当該テンプレートを動的に更新していきます。

パーツ画像とテンプレート画像がマッチするとは、次のようなことです。１枚のパーツ画像と複数のテンプレート画像との間で、それぞれの差の二乗平均（マッチ基準）を算出します。その中で最も小さい値（差）を取るものを、マッチされたテンプレート画像とします。

更新の方式には、そのタイミングによって、オフライン方式とオンライン方式があります。オフライン方式は、全部のパーツ画像を使ってまとめて更新するものです。一方、オンライン方式は、パーツ画像のフレームが届く毎に更新を行います。

オフライン方式の更新式は、

となります。ただし、は s 番目のテンプレートで、は s 番目のテンプレートにマッチされたパーツ画像です。

オンライン方式の更新式は、

となります。ただし、は t 時刻にマッチされた s 番目のテンプレートで、 は t 時刻に s 番目のテンプレートにマッチされたパーツ画像、 は t 時刻の重み付けで平均毎に小さくなります。

更新反復についての違い

オフライン方式は全体の情報を使っているので、必ず以前のマッチ基準より良い結果へと更新されるため、反復が不要です。一方、オンライン方式はフレームの順番によって様々ですから、以前より悪い結果に更新してしまうことが起こるため、反復が必要です。

オフライン方式処理フロー

オンライン方式処理フロー

実装結果

まず更新前のテンプレート画像を示します。

次にオフライン方式による更新後のテンプレート画像を示します。

最後にオンライン方式による更新後のテンプレート画像を示します。decay = 0.9999 です。

実行時間はいずれも６秒弱（ODYSSEY-X86J4105を使用した場合）です。

オンラインの結果は、オフラインと比べて「即時性」を持っています。オフライン方式はバイアスが小さく、全体的にぼやけた結果が得られます。オンライン方式は、後になるほど結果への影響が大きくなるので、後のパーツの状態に偏って依存しているように見えます。

投稿 単純平均に基づいたパーツテンプレートの更新 は 株式会社ハイシンク創研 に最初に表示されました。

具体的には、データを収集する装置、AI学習モデルを構築するクラウド、そして動作に最適な場所（制御用PC、エッジ、モバイル端末、クラウドなど様々）が協調して動作する環境を用意します。

AI技術コンテナ化によるPoC効率の向上

PoCの段階では、実装ターゲットとなる装置で動作させる必要はありません。もし簡単にクラウドで動作検証することができれば、生産性は大幅に向上します。論理的な動作を確認した後、どのように実装するかを考えるなど、これらフェーズを分けることで、AI学習モデルの再利用や修正で対応することも可能となります。

クラウド／エッジ／装置を統合したAI／IoT環境

ターゲット機器によって実装方法は異なりますが、AI学習モデルをクラウドで開発する共通基盤を構築します。

進化し続けるDevOps環境

弊社にはAIに関係する開発事例が数多くありますが、お客様の事情に合わせてカスタマイズして実装するため、Deliveryの形態がそれぞれ異なっています。これらコストはお客様の負担となっていましたが、今後はクラウド統合環境を整備し、提供価値の最大化に取り組んでいきます。

投稿 AI応用に適したDevOps環境 は 株式会社ハイシンク創研 に最初に表示されました。

以降ではこのAI画像処理装置について紹介します。

世界トップクラスの高速画像処理（2,000 fps）

世界でもトップクラスの毎秒2,000フレーム（2,000 fps : frame per second）で画像を処理します。そのために必要な高速産業用カメラや、AI画像処理ソフトウェアをFPGAでハードウェア化しました。

・高速：フレームレート 2,000 fps、処理速度500 µs / frame

・操作性：簡単メニューを搭載しており誰でも設定が可能

・小型：基板サイズ 120mm x 80mm（コントロール部）

・低消費電力：ファンレス設計

・拡張性：AI自動制御機能、クラウド接続機能

最先端CPUチップの複数コアを高度連携

複数コアを使用することで、処理の分散と独立性を担保し、移植性の向上も図れます。組込みマシンとして他の分野への展開も可能です。

・高速高精度画像処理：2,000 fps ⇒ A53 x 4、R5 x 2、FPGA

・Xilinx製 Zynq UltraScale+ MPSoCデバイス

アプリケーション処理ユニット：A53 (Arm Cortex-A53)

リアルタイム処理ユニット： R5 (Arm Cortex-R5)

プログラマブルユニット：FPGA

強化学習を用いた最適制御

AIを利用した物体姿勢認識（画像認識）と最適制御（強化学習）を行った事例では、対象物が変わったり、環境や機種が変わったりしても自動調整してくれるため、熟練技術者が不要となります。使えば使うほど賢くなるこれらの技術は、AI + IoT = AIoTの先駆けとなるでしょう。

投稿 製造装置に搭載する画像処理ハードウェア は 株式会社ハイシンク創研 に最初に表示されました。