3D Gaussian Splattingの紹介

2025-04-21

3D Gaussian Splattingの紹介

記事をシェアする

はじめに

PCやスマートフォンの3D性能の向上や、廉価で高性能なVRゴーグルの登場により、「デジタルツイン」と呼ばれる現実空間を模写した仮想の3D空間が注目されています。 VRを活用して物件の内見を疑似体験したり、自動車の設計・生産を3Dモデルでシミュレーションするなど、さまざまな分野での活用が進んでいます。

この記事では、デジタルツインを実現するための技術の一つである「3D Gaussian Splatting(3DGS)」を紹介します。 3DGSは2D画像から高品質な3D空間を再現する技術であり、従来技術と比べて撮影や学習のコストを大幅に抑えつつ、より現実感のある再現が可能です。 2023年に登場した比較的新しい技術で、革新的な手法として、研究者や開発者の間で急速に広まりつつあります。

3DGSの概要

3D空間表現の種類について

3DGSは、3D空間を「3Dガウス分布の集合」として表現する手法です。これを理解するために、他の代表的な3D表現と比較しながら解説します。

メッシュデータ

最も一般的な3D表現はメッシュデータ（ポリゴンモデル）です。これは三角形や四角形の平面を組み合わせて立体を構築する手法で、コンピュータゲームやモデリングなどで広く利用されています。

メッシュデータ
(出典：Wikipedia)

点群データ

次に点群データについて説明します。これはレーザースキャナーなどを使って物体の形状を点の集合として記録する手法で、主に地形や建築物の測量に利用されます。

点群データ
(出典：Wikipedia)

3D Gaussianデータ

3DGSでは、単なる点ではなく、ぼんやりとした楕円球状の「3Dガウス分布」で立体を表現します。これは、1つ1つの点に「ぼかし」を加えたようなイメージで、点が単なる位置の情報だけでなく、広がりや方向性を持った存在として扱われるのが特徴です。

3Dガウス分布

各ガウス分布は、以下のような情報で構成されます：

位置（x, y, z）：そのガウス分布がどこにあるかを示します。
共分散（σ）：分布の広がり方や方向を決める値で、楕円の大きさや形に影響します。
透明度（α）：その点がどの程度透けて見えるかを示します。
色情報：その点の色を表します。

広がりや方向性を持たせることで、点の形が「面」として機能しやすくなり、見る角度によって微妙に色や形が変化するような、現実の物体らしさが表現できます。たとえば、髪の毛や木の葉のように、細くて向きや流れがあるものは、点だけで表現すると細かい構造がバラバラに見えてしまいます。ですが、ガウス分布のように広がりや方向性を持たせた点であれば、「どちらの向きにどれくらい広がっているか」を表現できるため、細かい構造物でも自然なつながりや奥行きを感じられるようになります。その結果、全体としてリアルな印象になります。

多数のガウス分布を重ね合わせることで、あたかも実物のような質感や立体感を持った3D空間を表現することができます。点をただ配置するだけの点群データに比べて、見た目が滑らかで、よりリアルな描画が可能です。

3DGSによる3Dモデルの作成手順

3DGSが登場する以前、一般的に3Dモデルを作成するには多くの手間と専門技術が必要でした。従来は、専用の3Dモデリングソフト（例：BlenderやMayaなど）を使って、1つひとつの形状を手作業で設計していく必要がありました。イメージとしては、紙粘土で現実の物体を再現するようなもので、形を丁寧に整え、色を塗って完成させるような作業に近く、リアルに仕上げるにはかなりの経験と時間が求められました。

それに対し、3DGSでは、より簡単な手順で3Dモデルが作成できます。以下に、実際に3DGSを使用して3Dモデルを作成する流れを紹介します。

3DGSの魅力の一つは、スマートフォンなどで撮影した写真を使用して、専門的な機材や知識がなくても現実空間の3Dモデルを生成できる点にあります。ここでは、実際に3DGSを使ってデータを作成する際に、ユーザーが行う手順を紹介します。

対象物を複数の角度から撮影する
- スマートフォンなどを使って、ぐるっと回るように対象物の写真を撮影します。
アプリやツールに画像を読み込む
- 撮影した写真を3DGSに対応したアプリやサービス（例：Luma AIなど）に取り込みます。
自動で学習・変換処理が行われる
- アプリ内で画像から3DGS用のガウス分布データが自動で生成され、3Dモデルとして再構築されます。
生成された3Dデータを確認・活用する
- 生成された3D空間を、アプリ上で回転・拡大・移動して確認できます。必要に応じて編集・書き出しを行い、VRコンテンツなどに活用できます。

このように、複雑な計算処理はアプリが自動で行ってくれるため、ユーザーは撮影と読み込みというシンプルな操作だけで3D空間を手軽に作成できます。

LumaAIによる3DGS生成
(出典：https://lumalabs.ai/interactive-scenes ⧉)

類似技術との比較

3DGSは、比較的新しい3D再現技術ですが、それ以前にも画像から3D空間を構築する手法はいくつか存在しており、それぞれに特徴と強みがあります。ここでは、代表的な類似技術としてフォトグラメトリとNeRF(Neural Radiance Fields)を紹介し、それらと3DGSの違いを見ていきます。

フォトグラメトリ

対象を複数の角度から撮影し、画像解析的な手法でメッシュデータとして再構成する技術。現場の状況を忠実に3D化できるが、透過や反射表現が苦手で、撮影枚数も多く必要。

NeRF(Neural Radiance Fields)

撮影画像から視点ごとの色情報をニューラルネットワークで学習し、任意の視点から画像を生成する技術。高品質だが、計算負荷が大きい。

3DGSのメリット

3DGSは、既存の手法と比べて以下のような点で優れています：

撮影枚数が少なくて済む（フォトグラメトリより簡単）
透過や反射の表現が得意（フォトグラメトリでは難しい）
高負荷な計算が不要で軽量（NeRFより処理が速い）
リアルタイムに描画が可能（NeRFでは事前レンダリングが基本）

NeRFは計算コストが高く、リアルタイムに描画するのが難しいため、固定の映像のような利用に限られます。ユーザーがその場で自由に空間を歩き回ったり、物体の裏側をのぞき込むような体験には不向きです。

一方、3DGSでは計算コストが低いためリアルタイム描画ができます。そのためVR空間での歩行やインタラクティブな探索が可能になります。これにより、没入感の高い体験を実現できます。

利用例

3DGSは2023年に発表された比較的新しい技術ですが、すでに以下のような活用例があります。

Meta Horizon Hyperscape

Meta Quest向けに公開された、3DGSを活用した技術デモです。このデモでは、現実世界の空間を非常に高精度に再現した仮想環境の中を、まるでその場にいるかのように自由に歩き回ることができます。3DGSの特性により、空間の隅々までリアルタイムで描画され、視点を動かしても破綻のない映像体験が実現されています。

この技術の優れている点は、従来のように高額な設備や複雑な3Dモデリング作業を必要とせず、写真ベースでここまでリアルな空間体験を構築できてしまう点にあります。

Meta Quest(2以降)と「Horizon Hyperscape」のデモアプリをインストールすることで体験できます。

Meta Horizon Hyperscape
(出典：https://www.meta.com/ja-jp/experiences/meta-horizon-hyperscape-demo/7972066712871980/ ⧉)

Luma AI

スマートフォンで撮影した画像から手軽に3Dモデルを生成できるアプリ／Webサービスです。もともとはNeRFベースで開発されていましたが、現在は3DGSにも対応しており、より高速で高品質なモデルの生成が可能になっています。

Luma AIの特徴は、撮影から3Dモデル生成までがすべてスマートフォン上で完結できる点です。アプリを起動して対象物を複数の角度から撮影するだけで、自動的に3DGSを用いた処理が行われ、すぐに高精細な3Dモデルが生成されます。

生成したモデルは、アプリ内で回転・ズームなどで確認できるほか、Web上にアップロードして共有したり、VR/ARコンテンツとして活用したりすることも可能です。

アプリはiOSとAndroidの両方に対応しており、誰でも無料で始めることができます。

Luma AI
(出典：https://lumalabs.ai/interactive-scenes ⧉)

課題

3DGSは多くの利点を持つ革新的な技術ですが、現時点ではいくつかの課題があります。

動く被写体への対応が難しい：3DGSは、写真をもとに静止したシーンを再構成するのが得意です。そのため、人物が動いていたり、物体が移動しているような状況では、正確な3Dモデルを作成するのが困難で、ブレやノイズが発生しやすくなります。たとえば、歩いている人を撮影しても、その動きが正しく再現されず、形が崩れてしまうことがあります。
編集の柔軟性が低い：メッシュデータのように形状を直接操作するのが難しく、特定の物体を選んで動かす・削除するなどの編集がしにくいです。
データ量と描画負荷：数万〜数十万個のガウス分布で構成された3DGSモデルは、1つのシーンで数百MB〜数GBに達することもあります。リアルタイムに描画可能とはいえ、処理負荷は高く、モバイル端末やスペックの低いPCでは表示がカクつく場合があります。
撮影精度への依存：スマートフォンで簡単に撮影できるとはいえ、カメラの角度や距離にばらつきがあると再現精度が落ちる可能性があります。

これらの点は今後の技術開発により解決が進められており、さらに幅広いシーンでの利用に向けた改善が期待されています。

まとめ

本記事では、最新の3D空間再現技術である3D Gaussian Splatting(3DGS)について、その仕組みから活用例までを解説しました。

3DGSは、従来の3Dモデリングに必要だった専門知識や高価な機材が不要で、スマートフォンで撮影した写真から誰でも簡単に高品質な3D空間を生成できる点が大きな特徴です。

また、フォトジオメトリやNeRFなどの類似技術と比較しても、少ない撮影枚数で済み、透過・反射といった表現に優れている上、リアルタイムレンダリングが可能であるため、没入感のあるインタラクティブな体験が実現しやすいというメリットがあります。

実際に、Meta社のHorizon HyperscapeやLuma AIなど、3DGSを活用した実例も登場しており、商業・教育・エンタメなど幅広い分野での応用が始まっています。

今後は、さらなる高速化や3D動画対応といった研究も進められており、3DGSはデジタルツインやVR技術を一層身近にする可能性を秘めた革新的な技術と言えるでしょう。

参考

3D Gaussian Splatting for Real-Time Radiance Field Rendering
( https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/ ⧉ )
( https://github.com/graphdeco-inria/gaussian-splatting ⧉ )

Luma AI Interactive Scenes
( https://lumalabs.ai/interactive-scenes ⧉ )

Meta Horizon Hyperscape
( https://www.meta.com/ja-jp/experiences/meta-horizon-hyperscape-demo/7972066712871980/ ⧉ )

記事をシェアする