数字媒体
据统计，60%以上的IT界巨头公司（包括Google、苹果、Facebook、微软、索尼、HTC、亚马逊、腾讯、暴风、华为、阿里巴巴等）都已巨资布局VR/AR/MR产业；同时，5G网络的逐步推广将为VR/AR提供足够的带宽；这些都预示着虚拟现实、增强现实及混合现实注定会成为未来不可或缺的媒体形式和计算平台，具有巨大的发展空间和市场。
在此背景之下，为进一步提高VR/AR/MR设计开发人员的综合素质和业务水平，系统学习、掌握VR/AR/MR系统开发的最新技术，提高从业人员的技术水准和开发能力。
应广大行业工作者的要求，雷课教育特别邀请在学术和研发领域一线的专家，举办“虚拟现实、增强现实和混合现实最新技术及应用”高级培训班。
课程目标:
虚拟现实、增强现实及混合现实技术既密切相关，又有显著差别，培训课程旨在帮助学员深入理解这三者的思想精髓及其统一技术构架。
梳理出VR/AR系统开发的基本框架和一般流程；把握多种VR/AR开发平台的特点与优劣；全面提升其理论层次和实际应用开发水准。
培训由精心设计的专题讲座、个案分析、课题辩论、实例操作等组成，综合讲解VR/AR/MR的理论知识及实战技能，使学员从底层技术，到应用系统开发，到高层次理念，建立起一个综合、立体的知识体系。
培训将紧密结合当前的最新技术展开，力图使学员具有最前沿的视野、掌握最先进的应用技术。
适合人群:
1 大中专院校网络与新媒体、数字媒体艺术、数字媒体技术、交互设计、虚拟现实、增强现实、新媒体设计、游戏动画、工业设计、艺术设计、图形图像制作、图形图像处理、工程图学、计算机多媒体、视觉传达设计、教育技术学、计算机科学技术等相关专业的学院领导、教学管理人员、专业教学带头人、教研室人员及骨干教师;
2 航空航天、医学仿真、军事模拟、安防监测、电网模拟、交通规划、文物复古、虚拟旅游、游戏娱乐等各行业相关负责人、研究人员、技术人员等
| 时间 | 主题 | 大纲 |
|---|---|---|
| 理论部分 | ||
| 待定 | （1）概念辨析、技术构架； （2）基于三维几何的VR内容构建与VR引擎 |
概念、技术构架、历史 1. VR，AR与MR概念辨析与统一技术构架 （1）VR的概念及三大特征；VR的应用实例； （2）AR的概念及三大特征；AR的应用实例； （3）“现实、虚拟连续统”及MR的概念；MR的应用实例； （4）“扩增虚境（AV）”的概念及应用实例； （5）VR，AR与MR的辨析； （6）VR，AR与MR的统一技术构架 （7）本课程的内容规划 2. VR，AR与MR的历史与现状 （1）VR：萌芽→军方鼎力支持→渐入民间→VR在Internet上的兴衰→多元化、大众化发展→头盔之重生→热炒→回归理性 （2）AR：实验室中诞生→默默十五年→ARToolkits→Google glass→HoloLens→Google的Tango与苹果的ARKits （3）MR：“现实-虚拟连续统” →AR还是MR？炒作忽略了本质 基于三维几何的虚拟内容构建 （1）VR系统开发相关的软件工具； 内容制作类、VR平台类、VR的网络规范语言 （2）VR平台类软件的分层次介绍； 基础图形库：OpenGL，D3D 3D图形引擎：OSG，OGRE VR引擎：VRP，Virtools，Vega，锐扬科技等 3D游戏引擎：Unity3D，Genesis3D，UDK，CryEngine，Roblox等 VR网络平台：VRML/X3D，WebGL/Html 5 （3）VR引擎的一般功能框架与应用流程； （4）VR引擎与游戏引擎之异同。 |
| 待定 | （1）基于图像的VR内容构建 （2）VR中的人机交互 |
基于图像的虚拟内容构建 （1）基于图像的建模与绘制(IBMR)技术 （2）全景图技术 全景图分类 全景图拍摄设备 动态全景图 全景图的基本技术过程 全景图实用开发工具与制作工具 全景图拼接与展示实例 全景图的近期发展与展望 （3）光场（Light Field ） （4）VR系统两种构建模式（基于几何的VR系统与基于图像的VR系统）之比较 人机交互 1. 感知设备 （1）视觉感知 立体视觉 几种典型的立体视觉显示设备及其原理 头戴式显示器、立体眼镜、大屏显示设备、CAVE； （重点对头戴式显示器进行分类讲解及技术分析；） 自动立体显示设备（裸眼3D显示设备）：自动分光立体显示、体三维显示、集成成像3D显示、全息术、其他 立体视觉显示设备原理总结 （2）听觉感知； （3）力觉/触觉感知； （4）嗅觉/味觉感知； 2. 跟踪设备 （1）动作跟踪 传统跟踪技术：机械式传感器、磁场式传感器、超声式传感器 当前最常用的跟踪技术：光学式传感器、惯性式传感器 新型跟踪技术：神经/肌肉跟踪技术 体感交互技术在游戏中的飞速发展： EyeToy, Wii Remote, Play Station Move, Kinect, Virtuix Omni …… （2）声音的跟踪（识别与交互） （3）意念交互 3. 感知设备与跟踪设备的结合案例与开发平台 包括：几种著名头显Oculus, HTC Vive，Google Cardboard的开发技术简述 常用的体感设备：Leap Motion, Kinect,Hololens开发技术简述 |
| 待定 | （1）虚实融合 （2）VR教育、产业链及总结 |
虚实融合 1.基础技术 （1）三维注册 基于视觉信息的三维注册 基于标识物的三维注册 无标识物的三维注册 基于深度摄像头的三维注册 基于多摄像头的三维注册 基于方位感知的三维注册 GPS + 传感器 + 地图信息 （2）能同时显示虚、实信息的显示技术 视频式 光学透视式 视网膜投影式 全息 2. 开发工具 AR SDK：Vuforia, EasyAR, HiAR（Vuforia开发为课程实操内容） 开源的开发库：ARToolkits等 支持方位信息的AR应用开发 AR编辑器：Entiti Creator，Wikitude，视+AR，AR盒子…… 3. 应用形态与启发 （1）为什么需要虚实融合 （2）应用实例 实景 + 三维虚拟物体 实景 + 信息标注 实景物体与虚拟物体的互动 虚拟模型 + 实景视频纹理 实物互动 现实世界与虚拟世界的叠加 VR教育、产业链与总结 1. VR, AR技术的教学探讨 1）虚拟现实技术在应用开发方面的三个特点； 2）高校中虚拟现实技术教学的层次化目标； 三个层面：设计层面；引擎开发层面；基本技术层面v 3）虚拟现实技术的教学思路探讨； 4）虚拟现实技术课程的教学内容规划； 教学内容，三大技术模块； 实践环节； 先修与后继课程； 2.VR, AR产业链分析 VR/AR的行业应用现状 VR/AR产业链：核心元件—接口设备—引擎平台—内容制作—分发平台—行业应用 3.总结与展望 1）课程知识模块的总结与分析 2）展望 （1）沉浸式虚拟现实重新登上舞台 （2）虚拟信息世界与现实世界的进一步融合 实物虚化；虚物实化 （3）存在问题与发展预期 加德纳技术成熟度曲线 |
| 实践部分 | ||
| 待定 | （1）虚拟现实系统 （2）虚拟现实建模入门 |
1．虚拟现实系统 (1)课程导入 (2)虚拟现实系统概述 (3)虚拟现实开发的基本步骤 (4)虚拟现实开发平台的选择 (5)Unity 3D集成开发环境 2．虚拟现实建模1：自然景观制作 (1)地形编辑 (2)纹理绘制 (3)植被分布 (4)树木编辑 (5)花草编辑 案例——虚拟现实Demo游戏的自然景观搭建 3．虚拟现实建模2：环境特效制作 (1)天空效果模拟 (2)水体模拟 (3)Unity的渲染设置 (4)虚拟现实系统的发布 (5)案例——虚拟现实Demo游戏的环境特效制作 Unity的素材管理 |
| 待定 | （1）虚拟现实建模进阶 （2）虚拟现实开发基础 （3）虚拟现实交互开发 |
1．虚拟现实建模3：进阶 (1)Unity与3dsMax和Maya的接口 (2)模型的导入与设置 (3)材质的导入与设置 (4)动画的导入与设置 (5)Avatar人形角色及其参数控制 (6)视图与物体的三维控制 案例——虚拟现实Demo游戏的模型导入 2．虚拟现实交互开发基础 (1)问题的引入 (2)认识Transform组件 (3)初识面向对象思想 (4)用组件搭建对象 (5)脚本与组件 (6)脚本编程环境 (7)脚本语法入门 案例——用脚本实现简单3D物体的初步控制 3. 虚拟现实交互开发 (1)类与对象 (2)预制体Prefab——对象的模板 (3)抽象化 (4)在可视化界面中实例化 (5)在代码中实例化 案例——虚拟现实Demo游戏对象的交互控制 |
| 待定 | （1）虚拟现实物理仿真与角色控制 （2）虚拟现实输入控制与用户界面 （3）跨平台的虚拟现实 |
1．虚拟现实物理仿真与角色控制 (1)基本物理仿真 (2)刚体 (3)碰撞检测 (4)角色控制器 (5)Mecanim角色动画系统 (6)动画控制器 (7)角色动画状态机 案例——虚拟现实Demo游戏的物理仿真与角色控制 2．虚拟现实输入控制与用户界面 (1)输入控制 (2)代码控制刚体 (3)项目Input设置 (4)初探第一人称漫游的输入控制 (5)第一人称漫游中的运动层级 (6)案例——虚拟现实Demo游戏的基本控制（漫游） (7)Unity的三套主流GUI (8)UGUI的常用控件 (9)UGUI的交互 (10)自适应的UGUI 案例——虚拟现实Demo游戏的UI交互控制 3. 跨平台的虚拟现实 (1)Web端的虚拟现实 (2)WebGL (3)Web端发布设置 (4)案例——虚拟现实Demo游戏的Web端发布 (5)移动端的虚拟现实 (6)Java SDK和Android SDK安装与配置 (7)移动端发布前的必备脚本 (8)移动端的发布设置 案例——虚拟现实Demo游戏的Android平台发布 |
| 待定 | (1)增强现实 (2)虚拟现实中的人工智能 (3)综合实战 |
1．增强现实 (1)增强现实的概念 (2)增强现实与虚拟现实的关系 (3)增强现实的系统架构 (4)增强现实的关键技术原理 (5)混合现实、增强现实与虚拟现实 (6)Vuforia增强现实软件开发工具包（SDK） (7)识别图数据库与识别目标的创建与管理 (8)Vuforia for Unity开发 (9)移动端增强现实的发布 案例——虚拟现实Demo游戏的AR物体控制 2．虚拟现实中的人工智能 (1)人工智能的概念 (2)虚拟现实与人工智能的关系 (3)机器学习 (4)深度学习 (5)与虚拟现实相关的人工智能新动态 (6)智能代理 (7)导航网格 (8)智能寻路脚本实现 案例——虚拟现实Demo游戏的智能导航 3. 综合实战：第一人称角色交流 (1)角色导入与装配 (2)GUI的优化 (3)交互事件监听与执行 (4)角色头顶UI的自动跟随 (5)角色的随机分布 (6)角色的动画控制 (7)角色的走近判断 (8)角色的自动朝向调整 (9)角色的交互对话实现 |
 |
杨刚博士，教授，于2006年7月毕业于中国科学院软件研究所，取得博士学位。从事计算机图形学和虚拟现实技术等方面的教学和科研工作 |
|---|---|
2003年曾获香港RGC研究基金的资助，赴香港中文大学担任研究助理，进行图形绘制技术的研究。2009年6月-7月应邀到法国国际发展农业研究中心（CIRAD）的AMAP实验室进行学术访问，从事虚拟植物方面的研究。2011年7月至2012年7月赴美国宾西法尼亚大学进行学术访问与交流。 任教以来，主持国家自然科学基金项目1项；国家重点研发计划项目子课题1项；作为骨干参与了多项计算机图形和虚拟现实技术领域的科研项目，包括国家973项目、863项目、国家科技支撑项目及多项国家自然科学基金项目。至今已在国际知名学术会议、期刊以及国内核心学术期刊发表论文四十余篇；在计算机图形学、虚拟现实等领域积累了很好的研究成果。此外，还主持开发了森林火行为仿真、虚拟显微镜、虚拟切片机、梦幻动物王国（AR系统）、基于手机的全景相机等多个虚拟现实/增强现实系统，积累了丰富的VR系统开发经验。 至今任北京林业大学可视媒体研究所所长，并受聘为中国系统仿真学会数字娱乐仿真专委会委员和中国图学学会动漫图学工程专业委员会委员，同时担任了多个国内国际学术会议程序委员会委员
 |
张俊高级工程师职称，信息系统项目管理师，国家教育部项目评审专家、全国艺术科学规划项目评审专家、中国科协项目评审专家，双硕士，研究方向为增强现实、虚拟现实与人工智能的结合，以及技术与艺术的跨界融合 |
|---|---|
曾就职于万达集团文化旅游规划研究院，任Chief Engineer主任工程师，负责万达武汉电影乐园3D互动剧场、太空剧场等8个项目，并负责与包括ILM（工业光魔）等国际顶级CG/VFX及游戏团队的技术对接。曾就职于中科院计算所，任PI（课题带头人），承接并主持过40余个VR、AR方向的横向项目，客户包括国家文物局、国家博物馆、中国科技馆、敦煌研究院、北京天文馆等。目前在新东方人工智能研究院任AR/VR方向负责人，负责AI合成老师、网课直播助手等项目。
