AI技術を活用した文化財のVR体験ソリューション

令和4年 (2022年) の博物館法の改正により、博物館の役割が大きく変更され、デジタル技術の活用が進展すると共に、施設運営の柔軟性が向上いたしました。具体的には、デジタル・アーカイブの作成とインターネットでの公開が義務付けられ、より多くの人々が文化資源にアクセスできるようになります。また、土地や建物の所有といった外形的な要件が登録基準から撤廃され、さまざまな形態の施設が博物館として認められるようになりました。さらに、市民向けの文化資源の閲覧や体験活動の提供が努力義務となり、デジタル・ミュージアムなどの様々な形態の博物館の活性化が期待されています。
このような背景の下、弊社は、立命館大学アート・リサーチセンター（ARC）、ナブラワークス株式会社と共同研究を行い、文化資源のデジタルアーカイブ、VR、生成AIの三つの要素を組み合わせ、文化財コンテンツの制作・体験が可能なシステムを開発しました。本システムは、制作と鑑賞の両面からVRコンテンツの可能性を広げることを目的としています。制作面では、短期間・低コストでVRコンテンツを制作できる環境を整え、ビジュアルアートの専門家でなくても3Dアセットの制作に取り組めるよう支援し、小規模な施設でも導入しやすい仕組みを目指しています。一方、鑑賞者向けには、登場人物との対話を楽しめるコンテンツを生成し、物語の世界観により深く没入できる体験を提供することで、伝統文化の魅力を最大限に引き出します。

生成AIとRAG（Retrieval-Augmented Generation）の導入

従来、VRコンテンツの制作には、アーチストによるテクスチャの作成や技術者による3Dモデルの構築が必要でした。しかし、本システムでは生成AI技術を導入することで、2D画像や背景知識を基に3Dモデルを自動生成でき、専門的なスキルがなくても手軽にVRコンテンツを制作できるようになります。
さらに、大規模言語モデル（LLM）とRAG（Retrieval-Augmented Generation）技術を活用することで、古典物語や歴史資料などの外部データを検索・参照しながら、より正確で文脈に沿った情報を提供できます。RAGは、大量のデータから適切な情報を抽出し、リアルタイムでテキストを生成する技術であり、これにより古典物語に登場する人物の背景や性格をより精緻に再現できます。

LLMとRAGによる会話システム構成

これらの技術をもとに3Dモデルを作成することで、登場人物に命を吹き込み、よりリアルで没入感のあるコンテンツ制作が可能になります。VRゴーグルを装着すれば、映像を観るだけでなく、物語の舞台となる街を歩いたり、登場人物と会話したり、まるで物語の世界に入り込んだかのような体験ができます。インタラクティブに物語を楽しめる新しい体験によって、文化資源や歴史的背景への理解を促進し、日本文化の継承に貢献して参ります。