Lighting Techinology of the Last Of Us（2013
SIGGRAPH）
or "Old Lightmaps - New Tricks"
原作：Michal lwanicki
本篇主要讲述 The Last of Us中用到的用到的光照技术，以及解决问题的思路，原作者wanicki是 顽皮狗的引擎工程师，同时也参与了RealTime Rendering 4th的编写。
ppt 原文链接[http://miciwan.com/SIGGRAPH2013/Lighting%20Technology%20of%20The%20Last%20Of%20Us.pdf]
同时也要感谢下工作室大佬的解惑。
目录
- 一.背景介绍
- 二.最小二乘降低误差
- 三.Lightmaps
- 四.出现的问题和解决方法
- 五.优化方法
- 六.结论
一.背景介绍
由于游戏发生在后世界末日，几乎没有电，所以没有人造光源。大部分的光线来自太阳和天空，所以大部分的环境都是由反射光照亮的。
有一个非常强大的艺术方向：我们想展示这个灯光的美丽，它的柔和，它如何在不同表面之间传播，它创造的柔和阴影。我们想显示间接光照的镜面反射高光，并显示用普通的normal map展示细节。
首先展示一下我们想要达到的效果
如图所见，所有的光线都很柔和，但同时表面细节也表现的很到位。
为了实现这样的效果，目前机器性能实时渲染是吃不消的，所以我们使用了预计算的光照贴图。虽然光照贴图应用了这么多年，但是还是存在一些根本性的问题。
二.最小二乘降低误差
接缝：在三维空间中相邻的区域，映射到UV空间中时，可能在不同贴图的相交区域，如果沿分割线做插值的话，不完全匹配就会产生明显的接缝。
（打个比方一个圆柱沿竖线剪开，展uv，竖线2侧在三维空间中可能是连续的，但是uv空间展开之后不连续）
常见解决方法：在运行时，花费额外的开销，去减弱接缝，或者对物体在uv空间中的位置做一些限制。
为什么没有用在The Last Of Us中：美术的体量不匹配，不适合当前的项目，效率低下，成本太高，无法集成到项目的管线中。
我们发现，我们的主要矛盾就是接缝两侧插值不匹配的问题，所以我们通过了修改边缘纹理的强度，来让他们匹配起来
如上图所示的例子，先介绍下概念，绿色和紫色是空间中的2个mesh，红点虚线是分割边，在这个分割边上，取了很多个点，Ci0表示绿色mesh中i点相邻4个像素的 插值， 在紫色mesh中同样有一个点Ci1，如果Ci0 = Ci1 最好，我们把同一个点在相邻mesh上的误差定义为他们的平方差
\[\ C_{i0}= \sum_{j}^{4}{W_{0ij} * T_{0ij}}\]
\[\ C_{i1}= \sum_{j}^{4}{W_{1ij} * T_{1ij}}\]
\[E_i = (C_{i0} - C_{i1})^2 \]
整个光照贴图的误差函数，就是各个点的误差之和。
当有了误差函数之后，使用最小二乘法，把纹理的值作为变量，优化过程，通过修改texel的值，确保误差最小，为了确保最后的结果不偏离最初计算的值，引入了一个约束惩罚计算值的偏离，这个值用户可以调配。
好处
- 不用对UV布局进行更改
- 没有额外的运行开销
- 并且这种方法可以用在其它类型的贴图边缘融合
一些注意事项
- DXT压缩会打破一些精度，大多数情况看不出来，看起来是正常的，
- 不要自己写 线性解算器，有一些现成的轮子[Eigen]
额外补充
如果你仔细观察，就会发现，最小二乘最小化，其实在其它很多地方用到过。比如游戏游戏中 3D LUT（Look Up Table，直译过来就是查找表的意思。所以LUT的本质就是输入一个特定的值转化为一个对应的输出值）管线的颜色校正，流程如下
- 截图
- 在图片中嵌入问题
- 在Photoshop中演算
- 提取LUT
- 在游戏中，渲染场景，提取LUT
比较的结果可能是，有严重的变色，这时候误差函数被定义为两幅图片中的平方差，通过修改volume texture 使误差最小，会取得一个比较好的结果。
LUT扩展阅读(https://zhuanlan.zhihu.com/p/37717976)
三.Lightmap 新的表达
回到灯光中，我们希望在没有直接光照的情况下，避免表面平坦，所以光照贴图中须要包含光照的方向信息。
我们评估了不同的方案，HL2(半条命)的Radiosity Normal Mapping，用6个方向的vec3来记录光照信息。(https://drivers.amd.com/developer/gdc/D3DTutorial10_Half-Life2_Shading.pdf)。
好处是相比SH(Sphere harmonic)，计算量会稍微少点，但是用在曲面上，因为是插值的原因，细节丢失的会多一点。
目前2018年UE4和unity都用上了SH。
最后选择了一个简单的方案，为每个光照贴图 同时存储Ambient(环境光)和Directional(方向光)。
通过使用 “环境光” + ”方向光” 的方案，有几个好处
- 1.美术能很好的理解 烘焙结果的输出
- 2.某种意义上方便直接上手调整效果
- 3.通过主光源的方向信息，可以创作一些额外的效果
对于光照贴图的每个texel纹理，烘焙工具会有光照发布的信息，我们分为2个组件
- 环境光部分： 为单一颜色，各个方向强度相同
- 方向光部分： 包含一个反方信息和颜色信息（这里的颜色为，光在方向的强度）
我们通过GI bake 的工具生成了SH（球谐函数sphere harmonics） lightmap，通过这样的方式(环境光+方向光)表示最终的效果。
\[I = C_{amb} + C_{dir} * max((\vec
N,\vec L),0 )\]
通过这种表达方式，还可以表示表面的高光。
四.出现的问题和解决方法
看看效果，感觉还不错。
虽然理想很美好，但是当我们添加了人物之后，有点蹦。
人物看起来很奇怪，为什么呢，因为人物在与环境交互的时候，会产生阴影，看起来是环境的一部分，而上图却没有。
通过查阅一些资料，我们在sh指数化的论文中得到了灵感，用一组球体来近似遮光罩，并通过将它们以一种奇特的方式相乘，结合被描述为sh向量的可见性函数。
问题是要得到满意的阴影，需要高的sh阶。斯蒂芬·希尔在《分裂细胞》中用二阶sh对AO做了类似的事情。
我们的优势
- 结构简单，只有一个环境光部分和方向光部分，不用关心得到整体的可见性函数，可以分开2个部分的表示
- 对每个部分，球面上的点，计算遮挡
- 对于环境光部分，计算单位球在半球面遮挡的cos的加权百分比
- 对于方向光部分，从目标点往球面创建一个圆锥体，检查光照方向和半球面的交叉点
接下来是一些技术细节
- 对于环境分量，有一个近似的解决方案，直接计算立体角的cos和整个半球cos的比值
- 对于方向分量，是哟给你蒙特卡洛进行预计算，对于给定的圆锥叫 theta，将采样区域概率密度 转化到 接受点立体角的概率密度
raytrace one week 第三本 和pbrt14.6章 都有介绍。（https://computergraphics.stackexchange.com/questions/4288/path-weight-for-direct-light-sampling）
圆锥的角度是可以调整的，可以让美术来控制阴影边缘的大小，
五.优化方法
使用SPU渲染到缓冲区
先通过使用SPU(主机平台的一种流处理器单元)去渲染阴影到缓冲区，GPU在渲染的时候，从缓冲区中读数据，再最终渲染出结果。
4-5个角色差不多要6-7ms，但是用了这种方法，代理分割到6个SPU单元，2ms就搞定了。
使用低模代理去计算阴影
这样可以很好的提高运算效率，在测试场景中，模型精度讲到1/4，计算得到的阴影基本很难看出区别，非常有效。
六.结论
- 预计算光照还可以发光发热
- 一些tricks可以使画面更好
- 记得使用最小二乘
- 不要自己写线性解算器
参考文献
- [Eigen] Eigen library: (http://eigen.tuxfamily.org/index.php?title=Main_Page)
- [McTaggart2004] "Half-Life 2/Valve Source Shading",Gary McTaggart
- [Good2005] "P[timized Photon Tracing Using Spherical Harmonic Light Maps", Otavio Good and Zachary Taylor
- [Ren2006] "Real_time Soft Shadows in Dynamic Scenes using Spherical Harmonic Exponentitaion", Zhong Ren et al.
- [Sloan2007] "Image-Based Proxy Accumulation for Real-Time Soft Global Illumination", Peter-Pike Sloan et al.
- [Hill2010] "Rendering with Conviction", Stephen Hill
- [Oat 2006] "Ambient Aperture Lighting", Christopher Oat and Predro V. Sander