ijigen.net

デジタルものづくりブログ

フォトグラメトリーとは何だ?(・ω・)ノ 写真からリアルな3Dデータを作り出す「フォトグラメトリー」についてまとめてみたよ!

f:id:ijigen_net:20220205222520j:plain

今回は、中の人が最近ハマっている「フォトグラメトリー」について動画にまとめてみました。

youtu.be本記事のYouTube版はこちら

 

※動画やブログで紹介したフォトグラメトリーソフト「Metashape」ですが、開発元のAgisoftが、ロシアの会社であるため、戦争の影響を受ける可能性があります。「Metashape」の導入を検討している方は、この点をしっかりと考慮することをお勧めいたします。

 

フォトグラメトリーって?

f:id:ijigen_net:20220205222044j:plain

f:id:ijigen_net:20220205224730p:plain諸君。まずは、このたい焼きを見ていただきたい。

f:id:ijigen_net:20220205224710p:plain普通のたい焼きのようだけれど…。

このたい焼きの写真がどうしたの?まさか、幽霊でも写りこんでいるとか…

f:id:ijigen_net:20220205222049j:plain

f:id:ijigen_net:20220205222054j:plain

f:id:ijigen_net:20220205224717p:plain実はこれ……3Dデータ…なんだよね…。

f:id:ijigen_net:20220205224657p:plainなん…だと…?

f:id:ijigen_net:20220205224730p:plain一体いつから…ただの写真だと錯覚していた…?

f:id:ijigen_net:20220205224700p:plain貴様、いつからそんなに3Dの腕を上げた…!

f:id:ijigen_net:20220205222059j:plain

f:id:ijigen_net:20220205224726p:plainちなみに幽霊ちゃんも居ます。

f:id:ijigen_net:20220205221808j:plain

f:id:ijigen_net:20220205224714p:plainいるんかい。しかも可愛いな。

f:id:ijigen_net:20220205221813j:plain

f:id:ijigen_net:20220205224730p:plainこのたい焼きの3Dデータは、実は「フォトグラメトリー」という技術を使って作っているよ。

f:id:ijigen_net:20220205224710p:plainフォトグラメトリー?

f:id:ijigen_net:20220205224717p:plainフォトグラメトリーは、ものすごく大まかに言うと、写真から3Dデータを作り出す技術のことだよ。

f:id:ijigen_net:20220205224714p:plainなるほどわからん。

f:id:ijigen_net:20220205224717p:plain大まかな流れを説明しよう。

フォトグラメトリーの大まかな流れ

f:id:ijigen_net:20220205221823j:plain

f:id:ijigen_net:20220205224717p:plain例えばここに、美味しそうな、リンゴがあるじゃろ?

f:id:ijigen_net:20220205224710p:plainおう。

1.撮影

f:id:ijigen_net:20220205221819j:plain

f:id:ijigen_net:20220205224717p:plainこのリンゴの写真を、色んな角度から、たくさん撮っていく。

少しずつ少しずつ、ずらして撮っていくのがコツ。

この時、撮影の途中で、被写体の形が変わるようなことをしてはいけない。

例えば、撮影している途中で、リンゴを齧るとか。落として凹ませるとか。

f:id:ijigen_net:20220205224710p:plain撮影の途中で形が変わっちゃいけないということは、ポーズを変えたりするのもダメなんだね。

f:id:ijigen_net:20220205224717p:plainその通り。

2.アラインメント(低密度点群データ作成)

f:id:ijigen_net:20220205221828j:plain

f:id:ijigen_net:20220205224717p:plain次に、フォトグラメトリー用のソフトウェアに、撮った写真を読み込ませる。

そして、それぞれの写真が、どの方向から撮影されたものか、パソコンに計算してもらう。

f:id:ijigen_net:20220205221834j:plain

f:id:ijigen_net:20220205224710p:plain今回は何枚くらい撮影したの?

f:id:ijigen_net:20220205224717p:plain今回は150枚ほど撮影したよ。

f:id:ijigen_net:20220205224657p:plain150枚。計算時間はどれくらいかかるものなの?

f:id:ijigen_net:20220205224717p:plainパソコンのスペックや、写真の枚数、使用するソフト、求める精度によって変わってくる。

基本的には、パソコンの性能が低いと計算時間が長くかかるし、写真の枚数が多かったり、高精度の設定で計算したりすると計算時間が長くかかる。

なので、数分で終わる場合もあれば、何十時間もかかるときもある。

f:id:ijigen_net:20220205224714p:plainなるほど。

f:id:ijigen_net:20220205221839j:plain

f:id:ijigen_net:20220205224707p:plain出来た!

お。この絵はなんだかかっこいいぞ…

ちなみに写真を撮るときに、余計なものが写っていたりしたらどうするの?

f:id:ijigen_net:20220205221843j:plain

f:id:ijigen_net:20220205224717p:plainそういう時は、写真のこの部分は使います。この部分は使いません。という指定が出来る。

これを「マスク」と言ったりする。これは少しめんどうな作業ではあるのだけれど。

f:id:ijigen_net:20220205224710p:plain要らないものが映り込んじゃっても、対応出来るんだね。

3.高密度点群データ作成

f:id:ijigen_net:20220205224717p:plainどの方向から撮られたものか、計算が済んだら、そこから「点群データ」と呼ばれる、点で構成された3Dデータを生成する。

パソコンが勝手に生成してくれるので、基本的には待つだけ。こちらも時間がかかる。

f:id:ijigen_net:20220205224714p:plain作業時間のなかで、待つ時間が多いね。

f:id:ijigen_net:20220205224733p:plainそうだね。レンダリングに感覚が似ているかも。設定したあと、待つ時間が長い。

とはいえ、これからパソコンやソフトの性能が上がるにつれ、この時間はどんどん短くなっていくと思う。

f:id:ijigen_net:20220205224714p:plain確かに。

f:id:ijigen_net:20220205221848j:plain

f:id:ijigen_net:20220205221853j:plain

4.メッシュ作成

f:id:ijigen_net:20220205224657p:plainあ、すごい!3Dになってきた!

今はまだ点で出来たデータなんだよね。よくあるポリゴンのデータにはできないの?

f:id:ijigen_net:20220205224730p:plain出来るぞ。

点のデータから、3Dの現場でよく使われているメッシュのデータを生成出来るのじゃ。

これもまたパソコンに計算してもらうので、基本的には設定をして待つだけ。f:id:ijigen_net:20220205221858j:plainf:id:ijigen_net:20220205221903j:plain5.テクスチャ作成

f:id:ijigen_net:20220205224710p:plain完成!…かな?

あ、でも表面の感じが…なんか変?

f:id:ijigen_net:20220205224717p:plain実はまだ表面の模様、いわゆるテクスチャのデータが出来ていないのじゃ。

これからそのデータを作成する。

f:id:ijigen_net:20220205221908j:plain

f:id:ijigen_net:20220205224726p:plainよし、テクスチャがこんがり焼き上がったぞ。

f:id:ijigen_net:20220205221912j:plain

f:id:ijigen_net:20220205224657p:plainリアルな3Dデータになった!凄い!

これがフォトグラメトリー…!

f:id:ijigen_net:20220205224717p:plainこんな感じで、写真をいろんな角度から撮ってフォトグラメトリーのソフトに入れて処理をすると、3Dデータにしてくれるというものだ。

あ、一応言っておくけど、3Dデータ化されるのは、写真で撮影された範囲の、表面的な部分だけ。

写真が撮れなかった部分は3D化出来ないし、中身まで自動で再現してくれる訳ではない。例えばこのたい焼きの中身は、このように空っぽだ。

f:id:ijigen_net:20220205221918j:plain

f:id:ijigen_net:20220205221923j:plain

f:id:ijigen_net:20220205224717p:plain当然ながら味や香りもデータ化される訳ではない。

f:id:ijigen_net:20220205224710p:plainデータのたい焼きが食べられる日が来たら、面白いのにね。

f:id:ijigen_net:20220205224730p:plain確かに。その日は、そんなに遠くないかもしれない。

動画からフォトグラメトリー出来る?

f:id:ijigen_net:20220205224710p:plainこれって、静止画の写真じゃなくて、動画からは3Dデータ化出来ないの?

f:id:ijigen_net:20220205221927j:plain

f:id:ijigen_net:20220205224717p:plain出来るよ。動画は写真が連なって出来ているものだから。

動画から写真を切り出して、その画像を元にフォトグラメトリーする。

切り出しの作業を自動でやってくれるソフトもあるぞ。

f:id:ijigen_net:20220205224710p:plainなんとなく分かってきた気がする。

ちなみに、写真はたくさん撮らないと駄目なのかな?

数枚の画像から3D化出来たら楽なのだけれど…

数枚の写真からフォトグラメトリー出来る?

f:id:ijigen_net:20220205221933j:plain

f:id:ijigen_net:20220205224717p:plainたとえばこのリンゴ、数枚の写真から…3D化をしてみよう。…出来上がったものは、こんな感じだよ。

f:id:ijigen_net:20220205221937j:plain

f:id:ijigen_net:20220205224714p:plainううーん。なるほど。

f:id:ijigen_net:20220205224717p:plain撮影は大変だけれど、3D化が出来れば、動画制作に使ったり、3Dのゲームに活用したり出来る。

f:id:ijigen_net:20220205224710p:plain応用範囲が広いね!

実際の現場では、どのような使われ方がしているの?

フォトグラメトリーの活用事例

f:id:ijigen_net:20220205221942j:plain

f:id:ijigen_net:20220205224717p:plain例えば「龍が如く」という、とってもリアルなキャラクターが活躍するゲームがあるのだけれど、これはフォトグラメトリーを上手く活用したゲーム。

セガの技術ブログに、とても勉強になる記事があったので、ぜひみてみて欲しい。

少し前の記事とはいえ、今読んでも価値のある内容。おすすめ。

techblog.sega.jp

龍が如くにおけるキャラクター制作ワークフロー - SEGA TECH Blog

※必見です!

f:id:ijigen_net:20220205224657p:plain絶対読もう。ほかにはどんな事例があるの?

f:id:ijigen_net:20220205224717p:plain他のフォトグラメトリーの事例でいうと…

f:id:ijigen_net:20220205221946j:plain

f:id:ijigen_net:20220205224717p:plain歴史的な資料の記録にも使われているみたい。3Dデータにしてしまえば、腐ったりしないし、共有もしやすい。

街や遺跡、自然の景観ごと3Dのデータにしている例もある。

空間を3Dデータにしてしまえば、VRでその世界に入り込む。ということも出来る。

エジプトの遺跡を探検するVRコンテンツなんかもあるよ。

www.moguravr.com

f:id:ijigen_net:20220205224657p:plainなにそれ楽しい。

f:id:ijigen_net:20220205221953j:plain

f:id:ijigen_net:20220205224717p:plain国内の例で興味深かったのは、首里城の例。

沖縄にある首里城は、2019年に火災で焼け落ちてしまったのだけれど、いろんな人から火災の前の首里城の写真を提供してもらって、フォトグラメトリーの技術を使い3Dデータとして復元したんだ。

www.our-shurijo.org

みんなの首里城デジタル復元プロジェクト | Shuri Castle Digital Reconstruction

※とても素敵なプロジェクト。こちらも必見です!

f:id:ijigen_net:20220205224710p:plainなるほど、首里城は有名な観光地だから、いろんな人が写真を撮っていたんだね。

f:id:ijigen_net:20220205224717p:plainそのとおり。しかし、一般からの写真提供ということは…

多くの写真で、人が映り込んでいたり、明るすぎたり暗すぎたり…。と、多くの問題があったと想像する。

3Dデータ化したチームは、多くの苦労があったんじゃないかな…。

f:id:ijigen_net:20220205224714p:plainひえぇ。

事例をいくつか聞いてみて思ったのだけれど、フォトグラメトリーが向いていないものってどういうものがあるの?

フォトグラメトリーが苦手なもの(工夫が必要なもの)

f:id:ijigen_net:20220205221958j:plain

f:id:ijigen_net:20220205224723p:plain実は、フォトグラメトリーに向いていないものは…多い。

まずは、向いていない素材が多くある。

f:id:ijigen_net:20220205224710p:plain向いていない素材?

フォトグラメトリーに向いていない素材

f:id:ijigen_net:20220205222003j:plain

f:id:ijigen_net:20220205224723p:plain例えばガラスのような、透明なもの。半透明なもの。鏡のような、鏡面のもの…こういったものは、綺麗に3D化することが難しい。

そういった素材のものは、撮影の前に塗装で下処理をしたり、後から自分でデータを修正したりといった工程が必要になる。

そのほかフォトグラメトリーに向いていないもの

f:id:ijigen_net:20220205222008j:plain

f:id:ijigen_net:20220205224717p:plainほかにも、柔らかいもの。複雑に入り組んだもの。もの凄く小さいものや、ものすごく大きいもの。

こういったものも、なんらかの工夫がいる。

小さいものならば、顕微鏡のような設備が要るし、巨大な建造物であれば、上からの撮影にドローンのような機材が必要になる。

f:id:ijigen_net:20220205224714p:plain透明なもの、柔らかいもの…などなど…

え、世の中のものの多くが該当しない?

f:id:ijigen_net:20220205224717p:plainそう。実は簡単にフォトグラメトリー出来るものというのは、そう多くない。

なんらかの工夫をしたり、後で修正したり。という場合が、意外と多いんだ。

f:id:ijigen_net:20220205222014j:plain

f:id:ijigen_net:20220205224733p:plain例えば動物のように、形状が変わりながら動くものもなかなか難しい。

前述のように、撮影の途中で形が変わってしまうと、上手く3Dデータ化出来ないので、撮影中は静止してもらわないといけない。

こういう時は、瞬間的にいろんな角度から同時に写真を撮るみたい。

例えばこんな感じにカメラを大量に設置して、同時に、瞬間的に撮影する。

f:id:ijigen_net:20220205222019j:plain

f:id:ijigen_net:20220205224714p:plainなかなか大がかりだ。

f:id:ijigen_net:20220205224717p:plainそんな感じで、なんらかの工夫が要る場合は多い。

フォトグラメトリーの性質を理解して、工夫する力が試されるんだ。

f:id:ijigen_net:20220205222024j:plain

f:id:ijigen_net:20220205224710p:plainなるほど。ただ写真をたくさん撮れば良いわけじゃないんだね…

あと、作った3Dデータって、そのまま使えちゃうの?

f:id:ijigen_net:20220205224717p:plainうーん。多くの場合、データの手直しが必要。

データの後処理について

f:id:ijigen_net:20220205222029j:plain

f:id:ijigen_net:20220205224717p:plain形状がぐちゃぐちゃになってしまっている部分は、直さないといけないし、メッシュの量が多すぎる場合は、これを削減しないといけない。いわゆるリトポロジーが必要。

例えばこのたい焼きも、形を整えて、ポリゴン数を削減して、UVを手直しして…と、多く手直しが入っている。

f:id:ijigen_net:20220205222034j:plain

f:id:ijigen_net:20220205224714p:plain3Dモデルを扱うための技術は、どのみち必要ということだね。

f:id:ijigen_net:20220205222039j:plain

f:id:ijigen_net:20220205224717p:plainそういうこと。

工夫も要るし、撮影や3D編集の技術もそれなりに必要だし…

単純にフォトグラメトリー、イコール、楽!とは考えない方が良いでしょうね。

f:id:ijigen_net:20220205232147j:plain

f:id:ijigen_net:20220205224714p:plain世の中、なんでもそれなりに大変なんだなぁ。

f:id:ijigen_net:20220205232152j:plain

f:id:ijigen_net:20220205224730p:plainしかし、色々と工夫は必要だけれど、フォトグラメトリーはとても楽しい技術。

たくさん撮った写真の中から、美しい3Dデータが出来上がった時の感動を、ぜひ味わってほしい。

スマホアプリから始めるのがおすすめ

f:id:ijigen_net:20220205232157j:plain

f:id:ijigen_net:20220205224733p:plain最近は、スマホアプリでもフォトグラメトリーが楽しめるものがあるので、そこから始めるのが良いと思う。

f:id:ijigen_net:20220205224657p:plainスマホでもフォトグラメトリーが出来るんだね。

f:id:ijigen_net:20220205224717p:plain出来る。実は自分も最初はスマホアプリから始めた。

読み込ませる写真の枚数制限があったりして、あまり本格的なことは出来ないのだけれど、最初の一歩としては、とても良いと思った。

f:id:ijigen_net:20220205224657p:plain最初の一歩に、気軽さは大事。

f:id:ijigen_net:20220205232124j:plain

f:id:ijigen_net:20220205224717p:plainまた、iPhoneにはLidarというセンサーを搭載している機種があって、このセンサーとカメラを組み合わせた3D化技術が非常に強力らしい。

自分は古いiPhoneを使っているので、まだ試せていないのだけれど、もしLidarセンサー付きのiPhoneを使っている人は、Lidarセンサーとカメラを組み合わせた3D化アプリを試してみると良いと思う。

f:id:ijigen_net:20220205224657p:plainなるほど。

もしもパソコンでフォトグラメトリーを始める時は…

f:id:ijigen_net:20220205224710p:plainちなみに、パソコンでフォトグラメトリーをする時に必要な機材は?

f:id:ijigen_net:20220205224717p:plain主に、カメラをはじめとする、撮影機材を一式。フォトグラメトリー用のソフト。ソフトを動かすためのパソコンを一式だね。

ソフトは無料のものから数百万円のものまで様々。

f:id:ijigen_net:20220205232129j:plain

f:id:ijigen_net:20220205232134j:plain

f:id:ijigen_net:20220205224717p:plain自分が調べた範囲では、「Reality Capture」「MetaShape」「3df Zephyr」

これらのソフトを使っている人が多かったかな。

無料体験版から始めるのがおすすめだよ。

(※3df Zephyrは、機能制限はありますが無料版があります。Reality CaptureはPPI方式のライセンスを活用すれば、初期コストを大きく抑えることが出来ます。)

ちなみに今回の動画で使用しているのは「MetaShape」というソフトだよ。

とはいえ、いきなりパソコンでフォトグラメトリーを始めるのは、なかなかハードルが高いと思うので

個人的には、やはり最初はスマホアプリから始めてみるのが良いと思う。

f:id:ijigen_net:20220205224710p:plainこういうのは、話を聞くだけじゃなく、実際にやってみると理解が大きく違うよね。

最後に

f:id:ijigen_net:20220205224710p:plainでも、なにを3D化しようかなぁ。特にこれといったものが無いのだけれど…

f:id:ijigen_net:20220205232138j:plain

f:id:ijigen_net:20220205224717p:plain確かに、3D化したいものが特に無いよ!という人もいるかもしれない。

そういう人は、自分の住んでいる部屋とか、家族や友人が作った料理とか、何気ない日常を3Dで残しておくのも良いんじゃないかな。

何年か経った後に、自分にとって、とても価値のあるものになっているかもしれない。

f:id:ijigen_net:20220205224707p:plainエモエモだぜ。

TOPに戻る