アイウェア不要で立体物を
眼前に再現する
“裸眼3Dディスプレイ”
立体的な3Dコンテンツを楽しむためには、これまで3D眼鏡やヘッドマウントディスプレイ(HMD)といったアイウェアが必要とされていた。しかし昨今、裸眼で3D立体視を可能とする技術が実装された製品が登場しており、注目を集めている。今回はこのような「裸眼3Dディスプレイ」をテーマに、注目の技術とユースケースを紹介していく。
Introduction
医療や建設業を中心に大きく広がる
裸眼3Dディスプレイの活用
3DCGのコンテンツを立体的に見る場合、現在であればVR用のHMDを使うことが多いだろう。しかしHMDの場合、使うユーザーが1人に限られてしまったり、装着に手間がかかったりと、手軽に使えるとは言い難い。
そうした課題を抱えるユーザーにとっての福音となり得るのが、裸眼3D立体視を可能とするディスプレイだ。HMDをはじめとしたアイウェアを装着することなく3Dコンテンツを閲覧できることにより、現在3DCGが多く活用されている医療現場や建設現場などにおいて、教育効果や業務効率の向上が見込める。また、こうした業種では3Dプリンターを活用し、3DCGを立体化するするケースも存在したが、3Dプリンターの場合出力に時間を要するため、可能であれば事前に造形を画面上などで確認した上で出力を行いたいニーズもある。そうした細かい事前チェックにも、3Dディスプレイは有効に働く。
裸眼で3D立体視が可能になることで、利用シーンも大きく広がる。文化施設の展示や店舗のショールームなど、これまで2Dディスプレイで対応していたコンテンツの表示を3D化することで、よりさまざまな角度から文化財や商品を見ることが可能になるのだ。
Acer
建設業の声から生まれた
裸眼3D立体視テクノロジー
立体視を実現する4ポイント
PCメーカーとして知られる日本エイサーは、Windows Mixed Reality対応HMD「AH101」(2017年10月発売)や、光学部分が取り外し可能なモジュラーデザインを採用したWindows Mixed Reality対応HMD「AH501」(2019年3月発売)など、空間コンピューティング領域の製品も長く手掛けてきた。その技術を用いて開発されたのが、裸眼3D立体視テクノロジー「SpatialLabs」だ。本テクノロジーでは、前述したようなHMDなどのアイウェアを装着しなくても、裸眼の状態でモニターに表示された3Dモデルを立体的に視認できる。
裸眼での3D立体視を実現しているSpatialLabsの技術のポイントは四つある。
一つ目はアイトラッキング技術だ。日本エイサーでは、SpatialLabsテクノロジー搭載の製品として、モニターとノートPCを提供しているが、どのデバイスにも、上部のWebカメラ両脇に専用のアイトラッキングカメラを搭載している。これにより、目と顔の動きを認識してトラッキングする。
二つ目は3D表示ディスプレイ。ディスプレイの表面に光学レンズを接着させており、前述のアイトラッキング用のカメラで追随した目の位置や動きを基に、左右の目に見せるイメージを作成し、ディスプレイと光学レンズを通して表示することによって、裸眼ながら立体的なコンテンツの表示を可能にしている。
三つ目がAI技術だ。SpatialLabsテクノロジー搭載製品は、2D画像や映像を3Dに自動変換するAI技術を内部に搭載している。
四つ目のポイントであるリアルタイムレンダリング技術では、使っているアプリケーションを経由して3Dコンテンツをリアルタイムにレビュー、レンダリングが可能だ。デザインの制作フローを効率化してくれる。
これらの機能が実装された製品として、日本エイサーでは15.6インチサイズの4K UHDモニターとして、エンターテインメント向けの「Acer Nitro SpatialLabs View」、プロフェッショナル向けの「Acer SpatialLabs View Pro」、クリエイター向けノートPCとして15.6インチモニターを搭載した「ConceptD 7 SpatialLabs Edition」をラインアップしている。ConceptD 7 SpatialLabs Editionは本製品1台で3Dモデリングをはじめとした制作作業が行えるよう、第11世代 インテル Core i7 プロセッサーおよびNVIDIA GeForce RTX 3080 ノートブック GPU、最大64GBのDDR4メモリー、NVMe PCIe SSDの最大2TBのストレージなどを内蔵し、スムーズなワークフローを実現できる。
HMD装着の課題を解決
これらのSpatialLabsテクノロジー搭載製品が生まれた背景には、建設業からの声があった。建築デザインの現場では、もともと家の内装や家具の配置などのシミュレーションを3D CADを使って行ってきた。実際にVR用のHMDを活用して、家具のサイズ感や設置したイメージなどを確認するケースもあったというが、一方で検証のため逐次HMD装着する手間も指摘されていた。SpatialLabsテクノロジー搭載製品であれば、そうした既存の課題を解消できるのだ。
現在の主な利用ユーザーは、前述のような建築デザイン用途に加えて、特に医療機関が多いという。日本エイサー Computing事業部 プロダクトマネージメント 担当部長 張 君儀氏は「医療での活用は群を抜いて多いです。医療現場で使われている内視鏡は2眼レンズのため、右目用と左目用の映像を左右に並べたサイドバイサイド方式の映像として保存できます。その映像を立体3D表示するプレイヤーアプリ『SpatialLabs Player』で再生すれば、内臓の奥行きや病巣などを立体的に確認できます。しかしSpatialLabsテクノロジー搭載のモニターやPCは医療機器ではないため、診断のためではなく医学研究での利用が主です」と語る。医師の瀬尾拡史氏が代表取締役社長を務めるサイアメントが開発した次世代医用画像ビューワー「Viewtify」も、Acer SpatialLabs View ProやConceptD 7 SpatialLabs Editionで活用でき、CTやMR画像などのDICOMデータを読み込むことで骨や臓器などの3DCGをリアルタイムに生成することも可能だ。
もちろん、建築業界の需要も継続してある。冒頭に述べたようなデザインだけでなく、重要文化財を3Dデータで保存するような取り組みにも活用が進んでいるという。こうしたデータ保存でのSpatialLabs搭載デバイスの需要は、博物館などの文化施設にも広がっており、海洋研究分野で深海魚を撮影したスキャンデータを基に3Dモデルを作成し、SpatialLabs搭載デバイスで立体的に表示するような活用も進んでいる。
こういった多様な分野での活用が進んだことで「より大きなディスプレイで裸眼3D立体視を行いたい」というニーズも増えてきた。特に医療現場では、人の顔や内臓を原寸表示できるサイズのモニターが待ち望まれていた。エイサーではその需要に応えるべく、27インチの4Kモニター「Acer SpatialLabs View Pro 27」を2023年10月に発表している(日本未発表モデル)。「27インチサイズであれば、人の顔や内蔵などの各器官を原寸で表示できます。医療だけではなく建設現場でも待ち望まれていた製品です」と日本エイサー Computing事業部 副部長の入沢隆弘氏。将来的にAcer SpatialLabs View Pro 27が国内で販売されれば、SpatialLabsテクノロジーによる裸眼3D立体視はさらに活用が広がっていくだろう。
Sony
オブジェクトを空間に
再現するディスプレイ
3Dテレビで培った技術を生かす
2010年代初頭に起きた“3Dブーム”。3D映画や3Dテレビ、3Dゲーム機など、多様な商品が販売された。ソニーが提供する液晶テレビ「ブラビア」シリーズからも、当時3Dに対応した製品をリリースしていた。一時は盛り上がりを見せたそれらの製品も、世の中にCG技術がまだ浸透していなかったこともあり、スタンダードな技術とはならなかった。しかし「GPUやゲームエンジンの進化、3Dコンテンツを作るための製品が増えている中で、今改めて3Dが脚光を浴びています」と指摘するのは、ソニー インキュベーションセンター メタバース事業開発部門 プロダクトマネジメント部 SRプロダクト課 XRプロダクトマネジャー 森川靖大氏。
ブラビアで培った3D関連の技術を組み合わせ、ソニーが2020年10月に販売をスタートしたのが、高精細の3DCG映像を裸眼で立体的に見ることが可能な「ELF-SR1」だ。本製品は「空間再現ディスプレイ」をうたっており、その場に実物があるかのような、立体的な空間映像を見られる。2023年6月には、ELF-SR1の15.6インチから27インチにサイズアップした空間再現ディスプレイ「ELF-SR2」の販売をスタートしている。ELF-SR2は大画面化に加え、ブラビアで培った知見とデータを応用した独自の超解像エンジンを搭載したことで、4K映像を高精細に表示するだけでなく、2K映像を4K映像にアップコンバートして再生することを可能にしている。
ELF-SR2では立体視を実現するためのセンサーも強化されている。ソニーが独自に開発した第2世代高速ビジョンセンサーを本体上部に搭載し、視線認識精度や追従性を向上させた。これにより、薄暗い環境でも視線の認識率を下げることなく、画面を見る人の視線を正確に捉え続けることが可能になった。「2020年に発売したELF-SR1は多様な現場で導入が進みました。例えばインダストリアルデザインでの活用では、車などのデザインレビューをチーム内で行う時に活用された事例があります。また、文化施設における文化財展示に本製品を使うことで、忠実に文化財を再現しつつ3DCGデータでデジタルアーカイブ化も実現できます」とソニー 商品技術センター 商品設計第1部門 商品開発部 商品開発1課 エンジニアリングマネジャー 中木謙一氏。一方、文化施設の展示スペースのような場所は、照明が暗く視線の認識率が下がるといった課題があった。前述したELF-SR2のビジョンセンサー強化は、こうした実際の活用の中から生まれた課題に応えたものだ。
商品ディスプレイの用途にも
医療現場での活用も多い。ソニーは空間ディスプレイを業務で活用できる専用アプリケーションを紹介する「空間再現ディスプレイ アプリセレクト」を用意しているが、その中でも最も充実しているのが医療教育向けのアプリだ。P.83でも紹介したViewtifyをはじめ、神奈川県歯科大学大学院XR研究所が開発した「DSR View」など、臓器などの内部構造を立体的に表示できるアプリケーションがそろっている。「歯科医療においては、口腔周りを3Dスキャンして診断前後のビフォーアフターを見せることで、患者への説明に活用しているそうです。医療機器ではないため医療教育で活用されるケースが多いのですが、医師の判断の下診察に活用されるケースもあります」と森川氏。
店舗での導入も多いという。ハイブランド店舗で、商品のディスプレイとして活用されており、時計やネックレスなどを展示した事例がある。店頭に実物がない商材でも、3DCGデータであればデモを見せることが可能になるため、エンドユーザーに対する訴求力が高いのだ。中木氏は「スマートフォンを使って、ARで仮想的にアクセサリーを試着をするアプリも登場していますが、空間再現ディスプレイによる展示の良さは宝飾品の繊細な輝きも再現できる点にあります。パネル前面に貼り付けたマイクロオプティカルレンズによって、リアルタイムに生成した映像を左右の目に届けることを可能にしており、この技術によって、より実物に近い光の反射を再現できるのです」と語る。
ソニー インキュベーションセンター メタバース事業開発部門 プロダクトマネジメント部 SRプロダクト課 綱井裕史氏は空間再現ディスプレイの強みについて「やはり当社が強みとしているセンサー技術を活用したビジョンセンサーは、他社の立体視モニターと比較しても大きな強みです。第2世代高速ビジョンセンサーではPCのCPUへの負荷も軽減されています。ELF-SR2は画面が45度に傾斜しているほか、画面横にサイドパネルがついており、そこに丁度空間ができます。この場所にコンテンツを立体的に再現するため、『空間再現ディスプレイ』という名称を付けており、その点に製品の面白さがあります。これからもユーザーにより快適な体験を提供しつつ、技術の進歩も進めていきたいですね」と語った。
RealImage
多様な画面サイズのデバイスを
3D立体視対応に
既存方式の課題を技術力で克服
RealImageは、大阪公立大学および東京工業大学発ベンチャーの認定を受け、2023年4月3日に設立されたばかりの企業だ。裸眼3Dディスプレイ技術の開発を手掛ける同社 CEOを務める小池崇文氏は、法政大学 情報科学部 デジタルメディア学科の教授でもあり、“実世界志向メディア”というキーワードの下、画像認識や拡張現実などの技術を用いた、未来の映像メディア技術の研究に取り組んでいる。裸眼3Dディスプレイをはじめとした3D映像技術もその一つだ。
もともとは日立製作所に務めていた小池氏は、2000年ごろから裸眼3Dディスプレイの開発に携わっていた。「裸眼3Dの技術は非常に長く、何度かブームもありました。当社の創業メンバーは、前回のブームやその以前から裸眼3Dディスプレイの研究開発などに携わってきました」と小池氏。そうした長年の研究技術開発の結果、高画質かつ広い立体視域を実現しているのが、同社の裸眼3Dディスプレイだ。
「3Dディスプレイのそもそもの仕組みは、1800年代ごろから存在します。それらの製品と大きな仕組みは変わらないのですが、画質を上げるための設計手法や、ソフトウェアのアルゴリズムといった要素技術の性能が当時と比較して大きく向上しており、それらを組み合わせた結果、高い品質の裸眼3Dディスプレイの開発が実現できました」と小池氏。RealImageでは、32インチの大画面裸眼3Dディスプレイ「RealImage 3D-32」や、12.9インチのタブレット型裸眼3Dディスプレイ「RealImage 3D-iPad」の販売も行っているが、基本的には技術ライセンスの提供をメインとしている。
「さまざまな用途に対応した裸眼3Dディスプレイの設計が可能です。表示サイズは最大60インチ程度まで、表示解像度は最大8Kまで対応できます。当社がメインで提供している3Dディスプレイはパララックスバリアと呼ばれる方式をしています。従来は、この方式を使うとディスプレイが暗くなるという欠点がありました。しかし、長年の改良によって画面の暗さを最小限に抑えて、明るく表示できるようになり、多様な画面サイズのディスプレイに対応可能になりました」と小池氏。
裸眼3D立体視を実現する技術として、パララックスバリア方式のほかにレンチキュラー方式がある。しかしこのレンチキュラー方式は、画面サイズを大きくするとその分のコストが上がったり、精度が下がったりといった課題が生じる。RealImageのパララックスバリア方式は、コストと精度を保ちつつ、欠点であった画面の暗さを技術力で解決したことで、さまざまな画面サイズのディスプレイを3D対応にできるようになったのだ。
営業での活用も
すでにさまざまな業種からの引き合いも増えているという。小池氏は「特に医療の分野では、医学生の教育に活用されるケースや、実証実験レベルではありますが、手術室に実際に持ち込んで、ロボット手術や立体内視鏡手術に活用できないかといった検証が行われています」と語る。内視鏡手術では3Dの内視鏡の画像を確認しながら手術やその補助を行うため、HMDなどのアイウェアが必須だ。しかし、これらのデバイスは視野が狭かったり、色再現性が良くなかったりといった課題があり、裸眼3Dディスプレイの利用が望まれているのだという。こうした需要はヘルメットを着用する必要がある建設現場にも存在し、いずれも共同開発やビジネス化に向けた検討や実証実験が進められている。
「共同開発の前に、タブレット型のRealImage 3D-iPadや、32インチモニタータイプのRealImage 3D-32といった標準品で裸眼3Dディスプレイの評価をしてもらうケースや、タブレットの置き換えとしてRealImage 3D-iPadを導入いただくケースもあります」と小池氏。自社製品の中に3Dを組み込みたいユーザーなどは、営業先にRealImage 3D-iPadを持っていき、裸眼で3Dコンテンツを見せるようなプレゼンテーションを目的に、導入されるケースもあるようだ。
小池氏は「3Dはこれまで、なかなか技術と需要がマッチしませんでしたが、AppleがMR HMD『Apple Vision Pro』を2月2日に発売するなど、3Dが当たり前になる世界の基盤が整ってきたように思います。一方で、HMDではカバーできない領域は依然として存在すると考えており、アイウェアが必要ない3Dとして裸眼3Dディスプレイの技術の普及を目指していきます。技術力には自信がありますので、共同開発など興味を持たれた方は是非コンタクトをいただければうれしく思います」と語った。