头戴式显示虚拟场景的空间计算，包括体验者头部和位置的实时精准跟踪定位，以及AR头戴显示中虚拟对象在现实空间中的位置计算与实时表现是需要进一步研究的问题。与此相关，虚实融合是AR的基本问题之一，包括视频式AR显示中图形对象与视频图像的融合，以及光学透视式AR显示中图形对象与现实景物的融合。前者研究的时间比较长，后者随着光学AR头戴显示的实用化，逐步成为这一方向的主流，许多问题有待解决。同时，光学透视式AR 的室外化，包括室外大场景下的虚实融合是有待探索的一个方向。

VR视频的采集、制作与交互式播放

VR全景视频(包括基于桌面、移动终端或Web的VR视频) 的采集、制作、交互式播放技术与设备，以及跨平台VR视频播放器，是一个研究发展方向。如何在VR 视频中引入几何与控制元素，增加VR视频的交互类型，提高其交互性是值得研究的问题。

基于移动终端和互联网的VR

基于移动终端和互联网的VR具有巨大发展潜力。对于前者， 低计算、低存储VR 技术，云计算VR技术， 低延迟大数据传输与新型交互等是可创新技术方向。后者需要全屏3D绘制、VR设备接入与更合适的人机交互机制， 以及新型浏览器标准。Web VR将对现有浏览器和邮件系统等带来变革和颠覆性影响， 成为互联网的新入口。

物理特征的更多表现与新型物理模型

目前，虚拟对象的物理表现及其物理模型研究主要集中在运动学和动力学方面。物理模型也只有粒子系统、弹簧模型、SPH (smoothed particle hydrodynamics) 方法等少数几个。物质的许多物理特征(如材料特征)，爆炸、切割等物理现象，柔、黏、塑、流、气、场等物质对象的物理特征与交互响应的实时逼真表现，存在许多理论问题。 由于物理模型计算量巨大， 因此具体应用时实时性和逼真性之间的平衡也是需要考虑的问题。提出表现某类物理特征和物理现象的新型物理模型，构造其物理引擎及核心算法芯片PPU (physics processing unit)， 可以带来原创性、平台工具性成果。

进化演化模型与虚拟孪生

基于化学、生物学和生命科学的人体器官的生理、化学、生物进化演化模型是有待深入研究的科学问题， 可能产生新的知识型、概率型等模型类型。现实世界中的每一个(类) 对象，均可以构建虚拟孪生，使其与现实孪生在几何、物理、生理， 以及进化演化等方面高度相似。人体、城市和复杂装备的虚拟孪生会成为未来发展的重点， 并对医疗健康、城市规划管理和装备设计维护领域产生颠覆性影响。构造虚拟孪生， 特别是可交互几何类虚拟孪生的理论与方法，既是VR，也是AR，MR (mixed reality，混合现实) 等的基础。

智能行为模型

随着VR应用领域的不断扩展，虚拟人(或计算机生成的人) 操纵实体(如飞机、车辆等) 成为VR系统的重要组成部分，这些智能体的行为使得VR 系统所具有的3I (immersion， interaction， imagina-tion) 特征向4I发展，即VR系统将具有更多的智能(intelligence) 特征。该类问题的解决有赖于人工智能技术和人脑科学的发展。

力交互的柔韧感与新型自然交互

人与虚拟对象之间的力/触觉逼真感知的方式、机制及其设备仍然存在大量的问题， 特别是柔韧感; 此外新的感知通道， 如温湿感、嗅/味觉等，有的刚起步，有的尚未涉足。这是一个需要多学科交叉研究解决的问题领域。

 VR内容的智能化生产技术与通用软件开发工具

目前VR内容制作生产力低下，原因一是VR 建模、绘制、修补等生产环节的工具和开发平台自动化、智能化程度低， 二是VR 硬件不兼容，均采用各自的软件开发工具包(software development kit， SDK)。提高3D建模(几何、图像、扫描等) 的效率和空洞修补的自动化水平等是需要进一步研究的内容，研发标准应用程序接口和通用软件包是提高共享和研发效率的必然途径。

VR的逼真性度量与VR心理学、VR社会学

VR的逼真性，即虚拟与现实孪生的相似性测度是有待研究解决的一个理论问题。在此基础上研究各类VR应用的效果评价，特别是对人的心理影响，以及对人类社会带来的影响，并进行相关约束与法律研究也是必要的，这会形成新的人文学科研究方向。