中心议题:
# W; x- K8 F) U% g2 h8 C * 裸眼3D的解决方案
# ^; [8 j1 l- c3 k解决方案:
+ L {$ Z8 x3 Y4 q
* 2D/3D逐点技术
9 `4 [! s+ B" V$ o4 | * 头部跟踪技术
; ]0 t/ a3 o9 U3 S, | * 3D图像处理芯片
$ L. M2 j6 K, M7 S) y8 ]. O# ?, V& z * 运动视差技术
( B0 n8 I" Y- @% G( r( q f5 n
" \1 W. m# [' r3 L7 R摘要:裸眼3D整体解决方案是一个全面的方案,SuperD公司在光学与材料研发、工艺研发、芯片和电子工程、图像工程、3D视觉及3D应用等多方面都进行了深度的研发。该方案将被广泛应用于笔记本电脑、互联网、3D影视等各类产品上。
) h- p9 w& y. e; S8 K
+ i. n! E$ J/ q' b2 N: O
近年来,随着平板显示技术与相关材料领域技术的不断进步,以及好莱坞对3D显示技术的运用和推动,3D显示技术正离我们越来越近。这种对3D显示的追求是符合显示技术发展规律的。在显示领域中,我们经历了从黑白到彩色,从彩色到高清的技术跨越,而今从2D显示跨越到3D显示的时机已经来临。
- j. V, v0 y+ T1 r' H7 l6 M2 W; [/ X/ ~& H" ]
目前我们较多接触到的3D显示技术有两类:眼镜式3D显示;无需眼镜的3D显示(即裸眼3D显示)。此外还有全息显示等,但是全息技术目前还很难推广。眼镜式3D显示,顾名思义就是需要用户佩戴专门的啊3D眼镜,通过让眼睛分别观察到有视差的图像而形成3D效果。眼镜式3D显示是目前电影院和3D电视常采用的技术模式。眼镜式3D显示的技术门槛低、实现简单,但是存在着需改变用户观看方式、不符合使用习惯,以及显示亮度下降、特别不适合应用在移动设备上等缺点。裸眼3D显示是指通过视差障碍或者透镜阵列技术把经过专门设计的视差障碍或者透镜阵列放置在显示面板上,通过它们的分光使得有视差的图像分别进入不同的眼睛来形成3D效果。裸眼3D显示技术复杂,除硬件外,还需要专门的图像处理算法配合才能形成3D效果。该解决方案已经被多家笔记本厂商认可,并将于今年下半年上市。
" L9 ~" i+ m5 n
\1 p' K9 V5 l
裸眼3D的实现
; i1 P. x1 |! D+ a* ?
( }9 w0 j4 i; I" B# CSuperD公司采用的裸眼3D显示技术是将设计独特的双折射柱透镜阵列放置在显示面板前面,并配合专门研发的图像处理软件来形成3D效果。此外,SuperD还专门研发了用于完成3D图像处理的芯片,将3D图像处理独立于现有的硬件运算资源。在能够获得很好3D显示效果的同时,依然保证了现有硬件资源的利用率。图1是裸眼3D显示的示意图,实际技术远比图中所示要复杂,图1描述了裸眼3D显示的基本原理。
7 e) X- ^; e& ]- [) o9 u
# k9 }# V, K6 C3 ^: _6 k: ~3 Z& l
: }; s; r( o* [8 J) j9 j
7 c0 T+ L% M; h# H. ]# K7 X
透镜式裸眼3D显示技术不降低显示亮度,不需改变用户的观看习惯,特别适合在移动设备上实现。SuperD的裸眼3D显示技术需要对现有LCD生产制造工艺流程进行改良,需要合成新的材料,在利用精密的微加工技术来制作光学模具和器件的同时,需研发专门的软件和图形图像算法来优化3D效果和满足用户对片源和应用的需求。为使3D图形图像处理负载均衡并保留未来完全独立的3D显示图形图像处理发展空间,需要设计专门的芯片。
9 V* R! @9 k: E& H7 @7 @8 W; E D8 J, Q, Y$ @- k% f; d% H
2D/3D逐点技术的实现
9 o, D- @% `: U# f9 W
! a! s( n1 [& ]+ T6 A [1 p
SuperD的2D/3D共融技术也是区别于眼镜式3D的一种重要属性,因为眼镜式3D不能区隔屏幕上的3D区域和2D区域,只能采用同一种处理手段,这样就导致了2D显示效果受到3D眼镜的干扰,变得不像原来那样自然,从而影响视觉感受。
' c3 E0 K" T3 @5 T2 N& L/ T) b
0 ?9 J M: b. x0 K/ x9 `4 K& o
为使3D显示不改变2D显示的习惯和应用效果,SuperD研发了一种被称为逐像素点2D/3D切换的技术(简称为2D/3D共融技术)。它的特点是允许在同一个显示面板上,同时显示2D和3D内容。比如:可以通过这种技术来显示网络点播的视频,视频窗口可以观看3D电影,而其他区域依然是2D显示,包括2D图片、文字等都不受影响。图2描述了2D/3D共融技术的效果。
0 j# |8 V. {/ p) d6 a" @* B- ]) G6 t# u( z# I L6 e4 p
SuperD研发的2D/3D共融技术包括:1、特殊设计的双折射光学器件,它可以在一定驱动电压下实现透镜状态的开关;2、专门针对这种光学器件的驱动电路,驱动电极的设计充分考虑了光学的干涉效果,从而达到完全不影响画面效果;3、针对这种光学器件的逐像素点的2D/3D驱动,来实现3D区域的开关、移动、缩放等功能。
5 A7 |9 g- v" L5 u$ ?2 e* s7 F3 q( f: K" Z6 K$ d7 @
图1中标记为“3D窗口”的区域显示的是3D效果,3D窗口外的区域是2D文字区域。2D/3D共融技术最大的应用领域为互联网,通过这种技术人们可以在欣赏互联网3D内容的同时,继续使用2D下的功能。因为互联网已经渗透到生活、生产的各个领域,通过互联网我们可以动员大家利用大量资源来制作、传播和共享3D内容以及3D应用,这反过来又将极大地推动3D显示技术的发展,因此2D/3D共融技术对互联网的支持是一个非常良性的循环,既保证了在现有技术条件下3D显示与2D显示的兼容,同时又推动了3D显示的不断发展。
" Y# _2 A' S5 T+ e7 K& }
# M" `: a4 _' Q8 r2 ]
2 l4 }7 ^" c8 Q) G
, n* M$ U* @: ~1 t4 c- _头部跟踪技术
# ^1 {) D. k' g0 P" e9 s) E6 c/ M. z o2 u1 Y" Z
由于受到自由式3D显示技术原理的限制,在一定的空间范围内会形成一系列的观看区域,在这些区域中,观众能够自由观看3D效果,但是如果超出这些区域,就无法看到正常的3D效果。这种现象目前还没有统一的定义,SuperD将这种只能在某些区域内正常观看3D效果而无法在这些区域以外观看的状态称为“切变现象”。图3描述了这种现象。
; K& [) S8 Y! v7 }! a6 m5 d( s: }4 F+ O4 f! @4 {6 P U! B ?
图3中,A位置能正常看到3D效果,而B位置看到的3D效果却是错误的。因为两个眼睛所看到的图像存在着交换,这就造成了3D层次感与应该表现的层次感完全相反的效果。而人眼又不能自动调节这种相反的效果,因而造成了严重的头晕现象。处在切变区域所看到的3D效果我们称之为“反视”。在这种情况下,观众会发觉本应处在远处的物体反而离自己更近,本应处在近处的物体却离自己更远,跟我们平时的生理习惯形成很大反差。
9 B7 X) h" y$ U: P& \* l; Y
+ Y/ K6 |1 }# p
! h9 G- F+ Y/ m( V& P3 q H
; k% E. D$ R# P" Q为解决观看区域受限制的问题,SuperD研发了一种把头部追踪技术集成到原有3D显示方案中的3D显示设备。图4为头部跟踪技术的示意图。
8 J( x# u7 c/ ~7 Z) S
6 Y+ _ }3 T- J# g, o& t
7 u o! @% q$ E; p J8 d0 D. O! g
3 X8 b8 I) b5 v5 J# u! U# E C
SuperD利用跟踪技术获得观众的三维位置,然后根据位置调整3D图像的像素排列,生成新的符合该位置的3D图像,这样就解决了观看区域受限的问题。目前的跟踪技术还只能针对单个观众。头部跟踪技术本身是可以跟踪多个用户的,但由于存在显示面板刷新率和分辨率的局限,还不适合多个用户同时使用。这也是该技术被首先应用到笔记本电脑和其他移动设备上的原因。SuperD的头部跟踪技术要求的跟踪精度非常高,精确到厘米级,并且是用一个摄像头来完成的。这是目前很多头部或者人脸跟踪技术所达不到的。
/ H; w1 b3 b- p# k
, L% O, j% q6 N此外,头部跟踪技术目前除了可以解决单个用户的观看区域受限问题外,还可以用来处理很多其他应用,比如与显示设备的交互,在游戏控制中用来增加游戏的可玩性,用眼睛控制鼠标来实现与应用软件的交互等。因为SuperD所采用的头部跟踪技术可以用一个摄像头来获取空间位置,所以也可以把它用在测量领域。
4 o9 ^+ u9 R* c* Q+ z3 U
" T1 ^% L$ N# s: ?6 w4 W3D图像处理芯片
' ~4 U6 X7 X9 g
; h1 }, Y3 O. |2 ~
SuperD的3D图像处理芯片提供了单芯片集成方案,不但可以接收、还可以处理和发送显示图像数据流,同时也会根据图像内容的不同而调整并控制屏幕的光学设计部分。在图像数据通路之中,芯片会自动检测图像的格式,比如,分辨率的大小、显示图像帧的基本参数等等。这些参数经过内部运算处理之后,在保证不改变数据流带宽/吞吐率的前提条件下,会被图像数据流发送模块再次打包同步,发送至屏幕的显示单元,从而实现无缝接入和处理。与此同时,同步控制逻辑也会在预先设定好的工作模式下,根据图像2D/3D区域来控制屏幕双折射光学器件的驱动电路,使之在符合特定电压的条件下开启透镜的折射效果,呈现出3D显示和传统2D显示区域。这种不同显示区域的控制和图像的处理,不仅要保证控制的同步,还必须考虑到2D和3D图像所具有的不同延迟属性,保证图像的瞬时连续性和带宽的匹配。
1 }8 T7 ?, D% B6 A
6 O# {, Q4 J' f6 {6 o目前,SuperD的3D芯片已经支持全高清的分辨率,并已针对不同种类的3D内容格式内置了对左右格式、上下交错格式等的支持。对于上层软件而言,这种多格式支持只需通过使用相关配置接口对3D芯片进行配置即可完成,因此,这种动态配置的实现使得上层软件可以直接操作硬件资源和扩展应用范围。
* P- X- n: C+ b6 [( F& _
" M; z9 Q4 ~+ }. g
在图像的处理上,SuperD的3D芯片采用的独特设计思路使用了行缓存代替传统图像处理芯片中帧缓存的方法。仅此一项,行缓存就可以节省数倍的系统功耗,并降低了解决方案的成本。
/ e9 l! k* n: L5 ^' e5 i4 {; l. u
o: k, e4 A8 l/ ^, i/ g( b# K
运动视差技术的实现
/ B0 k0 B) \% c0 g* \% Q. y/ v! g; g. A) b: e0 L0 P
要得到立体视觉效果,除了通过两个眼睛分别采集具有视差的图像供大脑合成立体视觉外,还有一个重要的单目立体因素,那就是运动视差效果。运动视差是观看者在自身发生位移的情况下所看到的周围物体在运动方向上和速度上的差异。图5是描述运动视差的示意图。
Y. V1 }5 A( z
3 M0 m4 n. s2 Q, l% ]8 H
从图5中我们可以看到,当观看者位置发生变化时,应该看到不同的物体侧面,并且距离观看者远近不同的物体发生的相对位移也不一样。集成运动视差现象的应用可以很明显地提高用户的沉浸感。目前有些2D显示下的应用也开始考虑运动视差现象,以此产生一种虚假的立体感觉来提高应用的吸引力。
. u" ~" `. Z( s% D9 l. g) M* q
V# V0 F7 I! B E+ Z; l
2 t" K; F0 m9 J& C* X9 zSuperD通过把运动视差技术与3D显示技术相结合,将更能增加3D显示的真实性和沉浸感。因此,结合头部跟踪技术,我们提出了一种含有运动视差的3D显示技术。目前该技术还主要用于游戏应用中。因为现在的游戏开发方法本身就包含了对场景的三维描述信息,所以我们要做的是把这些信息提取出来,并结合跟踪技术得到的观众位置来实时地修正游戏场景的矩阵信息,以此产生对应不同视点位置下的不同渲染效果,使用户形成运动视差的感觉,从而提高3D显示技术的沉浸感。图6是运动视差与3D显示相结合的示意图。
3 {) I+ k6 I3 A1 k$ L- Q" X) d+ p" S6 J8 N
; ]$ q1 P3 P: ]1 W. @6 p7 |% b3 v z$ R2 c
在图6中注意观察两个立方体的显示变化。这里3D显示设备除了提供根据观看者位置而新生成的对应该位置的3D图像外,还把3D图像按照运动视差要求进行处理。
- u( R7 ?5 C$ ^" z% S1 U$ W
1 o) U: D# H% Q" m- s6 U0 vZ轴优化如何让模拟出来的3D世界与真实的3D世界尽量接近呢?SuperD提出一种称为Z轴优化的概念。在3D显示技术条件下,由于引入了一个新的维度(Z轴),传统的基于2D显示的图形图像处理技术需要进行改进。Z轴优化提出了不同图形图像处理的理论和技术,形成了适合3D显示的处理方法。首先,利用3D图像隐含的视差信息来描述Z轴。根据视差信息,再结合显示面板尺寸、光学设计参数和待表现的场景类型等信息,来判断是否需要调整视差信息以及如何进行调整。根据调整的视差信息来生成新的3D图像,新的3D图像形成的3D效果会更适合当前条件下的显示,这就是动态视差调整技术。图7描述了这种技术的原理。
/ Y# s+ q5 v& l0 w) r/ a+ f& z3 Q% E9 {5 v) A
/ O/ s, q1 ?# e8 i" r5 ?
此外,根据视差信息,我们还可以进行其他优化,比如基于深度信息的图像滤波和基于深度信息的图形渲染。最终目的就是利用Z轴优化的概念来优化3D成像效果,让3D显示技术更加适应人们的生理习惯。
" i1 V, Y7 w! N$ ?( `
0 `1 B+ x: Z* v
本文小结
# g7 j- A7 L8 B3 F) B0 G# w( N% n
裸眼3D整体解决方案是一个全面的方案,SuperD公司在光学与材料研发、工艺研发、芯片和电子工程、图像工程、3D视觉及3D应用等多方面都进行了深度的研发。该方案将被广泛应用于笔记本电脑、互联网、3D影视等各类产品上。