グーグル本社で「Project Starline」を体験した「本人」感じの3Dビデオ通話(翻訳)

グーグル本社で「Project Starline」を体験した「本人」感ある3Dビデオ通話 By 西田宗親

米マウンテンビューにあるグーグル本社、先週も申し上げたが、筆者はグーグルI/O2023に合わせて渡米し、グーグル本社で多様な取材を行ってきた。その中にはまだ一般化までには時間がかかる技術も含まれている。今回お伝えするのもそのような技術の一つだ。しかし、体験の質は素晴らしく、未来を感じさせた。AIで記事を要約する（β）その技術の名前はProject Starline。いわゆるテレビ会議システムだが、「まさにそこにある」感覚を得られるものだった。

Project Starline. 写真撮影が禁止され、グーグルの公式イメージを体験しながら担当者に話を聞くこともできたので、それを混ぜて伝えよう。なお、技術の性質上、カメラでは映像を再現しにくいため、独自の写真や動画の撮影は許可されていない。そのため、記事の中ではGoogleが公開している画像·動画を使用していることをご了承いただきたい。机の向こうに「本人」が3Dで登場する。「ちょっとこれからミーティングをするようにします。あの部屋に入っていただけますか？「体験が始まる前、グーグル担当者は筆者にそのように説明した。表示されたのは小さな会議室。日本の基準でも小さい部屋で、そこにあるのは机と椅子、そして50インチほどの横長ディスプレイだけだ。

グーグルの公式資料で。机があり, その向こうに少し大きなテレビサイズの箱がある画面を見ていると、その中でさっき話した担当者が入ってきた。部屋じゃなくて画面の中に。よくあるテレビ会議···という感じを持つかもしれない。しかし、リアリティは全く違う。先ほど会った担当者がまさにそこにいるのだ。いわゆる3D映像だが、専用メガネなどは不要。目の前に本人と似た大きさの映像が精彩で立体的に現れる。前に飛び出すというより机の内側に箱があり、その中に実際に人がいるような感じだ。

グーグルの公式映像より。テレビに向かって言うような感じですが、実際の映像は「実物大の人間が立体映像でそこにいる」という感じ。文章ではなかなか伝わりにくいが、本当に「そこにいる」感じがすごい。手を伸ばしてバンプするようなことも簡単にできる。もちろん実際に拳がぶつかるわけではないが、そのように錯覚するほどの感触だった。もちろん音声遅延などもほとんどなく、対話も自然に行われる。どんな感じかな？2Dデモ映像になるが、以下の動画でイメージは感じられるのではないかと思う。Introducingour New Project Starline Prototype | Google 3Dを肉眼で体験できる「ライトフィールドディスプレイ」。筆者は取材中、過去にもいくつかの立体対話技術を見ている。その中でもここまでリアリティのあるものはほとんどなかった。唯一これに匹敵するのは、昨年ソニーの「Sony Technology Exchange Fair（STEF）」で経験した「55インチ空間再現ディスプレイによる立体表示」程度だろうか。ソニーが開発した55インチディスプレイによる立体表示コミュニケーション。ほとんど実物と同じ大きさで表示されるので、こちらも驚くほどリアリティがあるただ、プロジェクトスターラインとソニーの空間再現ディスプレイには本質的な違いがある。それが表示方式だ。ソニーのものは、右目と左目向け映像を流し、自分の顔の位置に合わせて表示を最適化すること。 だからデータは左右の目の分け前、つまり「2画面分」になる。それを自分の顔の位置に合わせて表示し、自然な映像で見せるのがソニーの方式だ。構造上、2画面分の映像を用意すればいいので負荷が低く、画像の解像度も高めやすいが、一方で、「1人しか使えない」という制約がある。一方、Project Starlineが使っているのは「ライトフィールド·ディスプレイ」ということ。左右の目に見える視点を再現するのではなく、「物体に反射される光」を再現して表示する。「見る方向によって目に入る光が変わる」仕組みを再現すると、「その方向から見た映像」になって見える仕組み…···なのに、説明するとかなり長くなってしまう。興味のある方は、以前筆者が執筆した以下の記事を参考にしてほしい。Googleのものは前述の記事で題材にした、JDIのものとは構造が違うようだ。詳しい内容は明らかにされていない。しかし、特徴は同じだと思われる。最も大きな利点は「いろんな人が見られる」こと。今回のデモは一人で体験したが、ライトフィールドディスプレイなので数人が見られるものと見られる。映像として使う「視点」が多いため、多少こちらが動いても像の揺れが少なく、自然に見えやすい。ソニー方式が顔を認識した後、映像を補正しているのは揺れに対する耐性を高めるためでもある。一方、多視点の映像をライブで送出することは難しい。ソニー方式なら2つのカメラで映像を撮影するだけで済むが、多視点のライトフィールド·ディスプレイ用では、同様に映像をカメラで撮影してライブ送信することは困難と言われていた。そこで、ライトフィールド·ディスプレイは「出会いの映像用」と言われることもあった。そうだ。「困難と言った」部分を覆してリアルタイム通話を具現したのがプロジェクトスターラインの最も大きな差別化であることだ。リアルタイムで人をAIで3D化、どんな仕組みなのか？要は「人の姿を3Dデータでリアルタイムキャプチャーし、伝送先で再び3Dデータにして表示する」ということだ。以下の画像は、2021年にProject Starlineが発表された際のビデオから引用したものである。2021年に公開されたビデオで。Project Starline では、人の姿を先に3D データ化して伝送した後、再び3D データ化して表示する。カメラの映像から人の3Dデータを作り、圧縮して伝送し、相手で再び3Dデータにしてそこで大量の視点分の映像を作り、ディスプレイ上で再現している。Project Starline:Feellikeyou’re there, togetherこのような構造であるため、背景は実際の映像と異なる。また、髪の毛と腕など輪郭を調べれば、いかにも3Dデータのような部分があることも分かる。だが、じっくり見なければそれらも気づかないだろう。3Dデータで送るというと大変だろうが、「必要な帯域はそれほどでもなく、一般的なオフィス回線で問題ない」、「遅延もほとんどない。 こんなに自然に話せる」（Google担当者）ということで、かなり工夫されているようだ。どのような性能のパソコンで処理を行っているのかも公開されていない。2021年の試作機は非常に大きく特殊な機材を必要としていたが、今年の試作機はテレビほどの大きさになりカメラも「一般的なものを複数組み合わせて実現している」（グーグル担当者）という。2021年のデモビデオで。今年公開されたプロトタイプに比べて大きさがかなり大きい。今年のプロトタイプ。2年前のものからは大幅に小型化・シンプル化が実現しているどうやら、この変化を実現したのが”AIによる処理技術”というようだ。今回のGoogle I/Oでは”AIの活用”が全面的にアピールされたが、実はProject Starline自体もAIが不可欠な存在、ということになるだろう。いくつかの企業でテスト中国の実用化はまだ未定だ。気になるのは実用化の時期だ。担当者はパートナーと一緒にテスト中国とだけ答える。公開されたパートナーとしてはセールスフォース、ティーモバイル、ウィーワークなどが挙げられている。そうしたオフィスには”特別な部屋ではなく、普通の会議室に置かれている”(Google担当者)ということで、ハードウェアとしてのインストール負荷は小さくなっているだろう。しかし、”日本本などに設置する計画はあるのか”という質問には、”設置場所を広げようと努力している”(グーグル担当者)とだけ答えた。すなわち、まだ実用化時期、市販化時期などは未公開ということだ。回線の問題などはないようだから、”ライトフィールド・ディスプレイ自体の生産コスト”、”全体を処理するコンピュータとカメラのコスト”などが課題だろう。どちらにしても、この技術は非常に可能性が高い。専用機器の前に進むべきという、大きな課題はあるが、企業内での相談ブースや”公衆電話的機器”として提供なども考えられる。ひとまず皆さんは”このような機器が世の中国にひてくることができる”ということだけを覚えていただければ良いと思う。ビデオ通話は実在感がなく、話しにくいとも言われている。しかし、実物大の立体映像で話すことができれば、そのような憂慮は一気に消える。それほど、Project Starlineは体験としてインパクトがあった…・・・…と感じている。出典:https://www.watch.impress.co.jp/docs/series/nishida/1502157.html#g08_s.jpgグーグル本社で「Project Starline」を体験した「本人」感ある3Dテレビ通話【西田宗智香の今富来】先週もお伝えしたが、筆者はGoogle I/O 2023に合わせて渡米し、Google本社で様々な取材を行ってきた。www.watch.impress.co.jpグーグル本社で「Project Starline」を体験した「本人」感ある3Dテレビ通話【西田宗智香の今富来】先週もお伝えしたが、筆者はGoogle I/O 2023に合わせて渡米し、Google本社で様々な取材を行ってきた。www.watch.impress.co.jpグーグル本社で「Project Starline」を体験した「本人」感ある3Dテレビ通話【西田宗智香の今富来】先週もお伝えしたが、筆者はGoogle I/O 2023に合わせて渡米し、Google本社で様々な取材を行ってきた。www.watch.impress.co.jp