今回は、中の人が最近ハマっている「フォトグラメトリー」について動画にまとめてみました。
※動画やブログで紹介したフォトグラメトリーソフト「Metashape」ですが、開発元のAgisoftが、ロシアの会社であるため、戦争の影響を受ける可能性があります。「Metashape」の導入を検討している方は、この点をしっかりと考慮することをお勧めいたします。
- フォトグラメトリーって？
- フォトグラメトリーの大まかな流れ
- フォトグラメトリーの活用事例
- フォトグラメトリーが苦手なもの（工夫が必要なもの）
- データの後処理について
- スマホアプリから始めるのがおすすめ
- もしもパソコンでフォトグラメトリーを始める時は…
- 最後に
フォトグラメトリーって？
諸君。まずは、このたい焼きを見ていただきたい。
普通のたい焼きのようだけれど…。
このたい焼きの写真がどうしたの？まさか、幽霊でも写りこんでいるとか…
実はこれ……3Dデータ…なんだよね…。
なん…だと…？
一体いつから…ただの写真だと錯覚していた…？
貴様、いつからそんなに3Dの腕を上げた…！
ちなみに幽霊ちゃんも居ます。
いるんかい。しかも可愛いな。
このたい焼きの３Dデータは、実は「フォトグラメトリー」という技術を使って作っているよ。
フォトグラメトリー？
フォトグラメトリーは、ものすごく大まかに言うと、写真から3Dデータを作り出す技術のことだよ。
なるほどわからん。
大まかな流れを説明しよう。
フォトグラメトリーの大まかな流れ
例えばここに、美味しそうな、リンゴがあるじゃろ？
おう。
1.撮影
このリンゴの写真を、色んな角度から、たくさん撮っていく。
少しずつ少しずつ、ずらして撮っていくのがコツ。
この時、撮影の途中で、被写体の形が変わるようなことをしてはいけない。
例えば、撮影している途中で、リンゴを齧るとか。落として凹ませるとか。
撮影の途中で形が変わっちゃいけないということは、ポーズを変えたりするのもダメなんだね。
その通り。
2.アラインメント（低密度点群データ作成）
次に、フォトグラメトリー用のソフトウェアに、撮った写真を読み込ませる。
そして、それぞれの写真が、どの方向から撮影されたものか、パソコンに計算してもらう。
今回は何枚くらい撮影したの？
今回は150枚ほど撮影したよ。
150枚。計算時間はどれくらいかかるものなの？
パソコンのスペックや、写真の枚数、使用するソフト、求める精度によって変わってくる。
基本的には、パソコンの性能が低いと計算時間が長くかかるし、写真の枚数が多かったり、高精度の設定で計算したりすると計算時間が長くかかる。
なので、数分で終わる場合もあれば、何十時間もかかるときもある。
なるほど。
出来た！
お。この絵はなんだかかっこいいぞ…
ちなみに写真を撮るときに、余計なものが写っていたりしたらどうするの？
そういう時は、写真のこの部分は使います。この部分は使いません。という指定が出来る。
これを「マスク」と言ったりする。これは少しめんどうな作業ではあるのだけれど。
要らないものが映り込んじゃっても、対応出来るんだね。
3.高密度点群データ作成
どの方向から撮られたものか、計算が済んだら、そこから「点群データ」と呼ばれる、点で構成された3Dデータを生成する。
パソコンが勝手に生成してくれるので、基本的には待つだけ。こちらも時間がかかる。
作業時間のなかで、待つ時間が多いね。
そうだね。レンダリングに感覚が似ているかも。設定したあと、待つ時間が長い。
とはいえ、これからパソコンやソフトの性能が上がるにつれ、この時間はどんどん短くなっていくと思う。
確かに。
4.メッシュ作成
あ、すごい！3Dになってきた！
今はまだ点で出来たデータなんだよね。よくあるポリゴンのデータにはできないの？
出来るぞ。
点のデータから、3Dの現場でよく使われているメッシュのデータを生成出来るのじゃ。
これもまたパソコンに計算してもらうので、基本的には設定をして待つだけ。
5.テクスチャ作成
完成！…かな？
あ、でも表面の感じが…なんか変？
実はまだ表面の模様、いわゆるテクスチャのデータが出来ていないのじゃ。
これからそのデータを作成する。
よし、テクスチャがこんがり焼き上がったぞ。
リアルな3Dデータになった！凄い！
これがフォトグラメトリー…！
こんな感じで、写真をいろんな角度から撮ってフォトグラメトリーのソフトに入れて処理をすると、3Dデータにしてくれるというものだ。
あ、一応言っておくけど、3Dデータ化されるのは、写真で撮影された範囲の、表面的な部分だけ。
写真が撮れなかった部分は3D化出来ないし、中身まで自動で再現してくれる訳ではない。例えばこのたい焼きの中身は、このように空っぽだ。
当然ながら味や香りもデータ化される訳ではない。
データのたい焼きが食べられる日が来たら、面白いのにね。
確かに。その日は、そんなに遠くないかもしれない。
動画からフォトグラメトリー出来る？
これって、静止画の写真じゃなくて、動画からは3Dデータ化出来ないの？
出来るよ。動画は写真が連なって出来ているものだから。
動画から写真を切り出して、その画像を元にフォトグラメトリーする。
切り出しの作業を自動でやってくれるソフトもあるぞ。
なんとなく分かってきた気がする。
ちなみに、写真はたくさん撮らないと駄目なのかな？
数枚の画像から3D化出来たら楽なのだけれど…
数枚の写真からフォトグラメトリー出来る？
たとえばこのリンゴ、数枚の写真から…3D化をしてみよう。…出来上がったものは、こんな感じだよ。
ううーん。なるほど。
撮影は大変だけれど、3D化が出来れば、動画制作に使ったり、3Dのゲームに活用したり出来る。
応用範囲が広いね！
実際の現場では、どのような使われ方がしているの？
フォトグラメトリーの活用事例
例えば「龍が如く」という、とってもリアルなキャラクターが活躍するゲームがあるのだけれど、これはフォトグラメトリーを上手く活用したゲーム。
セガの技術ブログに、とても勉強になる記事があったので、ぜひみてみて欲しい。
少し前の記事とはいえ、今読んでも価値のある内容。おすすめ。
龍が如くにおけるキャラクター制作ワークフロー - SEGA TECH Blog
※必見です！
絶対読もう。ほかにはどんな事例があるの？
他のフォトグラメトリーの事例でいうと…
歴史的な資料の記録にも使われているみたい。3Dデータにしてしまえば、腐ったりしないし、共有もしやすい。
街や遺跡、自然の景観ごと3Dのデータにしている例もある。
空間を3Dデータにしてしまえば、VRでその世界に入り込む。ということも出来る。
エジプトの遺跡を探検するVRコンテンツなんかもあるよ。
なにそれ楽しい。
国内の例で興味深かったのは、首里城の例。
沖縄にある首里城は、2019年に火災で焼け落ちてしまったのだけれど、いろんな人から火災の前の首里城の写真を提供してもらって、フォトグラメトリーの技術を使い3Dデータとして復元したんだ。
みんなの首里城デジタル復元プロジェクト | Shuri Castle Digital Reconstruction
※とても素敵なプロジェクト。こちらも必見です！
なるほど、首里城は有名な観光地だから、いろんな人が写真を撮っていたんだね。
そのとおり。しかし、一般からの写真提供ということは…
多くの写真で、人が映り込んでいたり、明るすぎたり暗すぎたり…。と、多くの問題があったと想像する。
3Dデータ化したチームは、多くの苦労があったんじゃないかな…。
ひえぇ。
事例をいくつか聞いてみて思ったのだけれど、フォトグラメトリーが向いていないものってどういうものがあるの？
フォトグラメトリーが苦手なもの（工夫が必要なもの）
実は、フォトグラメトリーに向いていないものは…多い。
まずは、向いていない素材が多くある。
向いていない素材？
フォトグラメトリーに向いていない素材
例えばガラスのような、透明なもの。半透明なもの。鏡のような、鏡面のもの…こういったものは、綺麗に3D化することが難しい。
そういった素材のものは、撮影の前に塗装で下処理をしたり、後から自分でデータを修正したりといった工程が必要になる。
そのほかフォトグラメトリーに向いていないもの
ほかにも、柔らかいもの。複雑に入り組んだもの。もの凄く小さいものや、ものすごく大きいもの。
こういったものも、なんらかの工夫がいる。
小さいものならば、顕微鏡のような設備が要るし、巨大な建造物であれば、上からの撮影にドローンのような機材が必要になる。
透明なもの、柔らかいもの…などなど…
え、世の中のものの多くが該当しない？
そう。実は簡単にフォトグラメトリー出来るものというのは、そう多くない。
なんらかの工夫をしたり、後で修正したり。という場合が、意外と多いんだ。
例えば動物のように、形状が変わりながら動くものもなかなか難しい。
前述のように、撮影の途中で形が変わってしまうと、上手く3Dデータ化出来ないので、撮影中は静止してもらわないといけない。
こういう時は、瞬間的にいろんな角度から同時に写真を撮るみたい。
例えばこんな感じにカメラを大量に設置して、同時に、瞬間的に撮影する。
なかなか大がかりだ。
そんな感じで、なんらかの工夫が要る場合は多い。
フォトグラメトリーの性質を理解して、工夫する力が試されるんだ。
なるほど。ただ写真をたくさん撮れば良いわけじゃないんだね…
あと、作った3Dデータって、そのまま使えちゃうの？
うーん。多くの場合、データの手直しが必要。
データの後処理について
形状がぐちゃぐちゃになってしまっている部分は、直さないといけないし、メッシュの量が多すぎる場合は、これを削減しないといけない。いわゆるリトポロジーが必要。
例えばこのたい焼きも、形を整えて、ポリゴン数を削減して、UVを手直しして…と、多く手直しが入っている。
3Dモデルを扱うための技術は、どのみち必要ということだね。
そういうこと。
工夫も要るし、撮影や３D編集の技術もそれなりに必要だし…
単純にフォトグラメトリー、イコール、楽！とは考えない方が良いでしょうね。
世の中、なんでもそれなりに大変なんだなぁ。
しかし、色々と工夫は必要だけれど、フォトグラメトリーはとても楽しい技術。
たくさん撮った写真の中から、美しい３Dデータが出来上がった時の感動を、ぜひ味わってほしい。
スマホアプリから始めるのがおすすめ
最近は、スマホアプリでもフォトグラメトリーが楽しめるものがあるので、そこから始めるのが良いと思う。
スマホでもフォトグラメトリーが出来るんだね。
出来る。実は自分も最初はスマホアプリから始めた。
読み込ませる写真の枚数制限があったりして、あまり本格的なことは出来ないのだけれど、最初の一歩としては、とても良いと思った。
最初の一歩に、気軽さは大事。
また、iPhoneにはLidarというセンサーを搭載している機種があって、このセンサーとカメラを組み合わせた3D化技術が非常に強力らしい。
自分は古いiPhoneを使っているので、まだ試せていないのだけれど、もしLidarセンサー付きのiPhoneを使っている人は、Lidarセンサーとカメラを組み合わせた3D化アプリを試してみると良いと思う。
なるほど。
もしもパソコンでフォトグラメトリーを始める時は…
ちなみに、パソコンでフォトグラメトリーをする時に必要な機材は？
主に、カメラをはじめとする、撮影機材を一式。フォトグラメトリー用のソフト。ソフトを動かすためのパソコンを一式だね。
ソフトは無料のものから数百万円のものまで様々。
自分が調べた範囲では、「Reality Capture」「MetaShape」「3df Zephyr」
これらのソフトを使っている人が多かったかな。
無料体験版から始めるのがおすすめだよ。
（※3df Zephyrは、機能制限はありますが無料版があります。Reality CaptureはPPI方式のライセンスを活用すれば、初期コストを大きく抑えることが出来ます。）
ちなみに今回の動画で使用しているのは「MetaShape」というソフトだよ。
とはいえ、いきなりパソコンでフォトグラメトリーを始めるのは、なかなかハードルが高いと思うので
個人的には、やはり最初はスマホアプリから始めてみるのが良いと思う。
こういうのは、話を聞くだけじゃなく、実際にやってみると理解が大きく違うよね。
最後に
でも、なにを3D化しようかなぁ。特にこれといったものが無いのだけれど…
確かに、3D化したいものが特に無いよ！という人もいるかもしれない。
そういう人は、自分の住んでいる部屋とか、家族や友人が作った料理とか、何気ない日常を3Dで残しておくのも良いんじゃないかな。
何年か経った後に、自分にとって、とても価値のあるものになっているかもしれない。
エモエモだぜ。
よければチャンネル登録やTwitterフォローなどお願いしまーす(･ω･)ﾉ!
