校园生活：谷歌的新系统捕获字符照明几乎任何环境
即使是新手摄影师和摄像师依靠他们的手持设备来拍摄照片或制作视频，往往也会考虑到他们的对象的照明。照明在电影制作、游戏和虚拟/增强现实环境中是至关重要的，并且可以制造或破坏场景以及场景中的演员和表演者的质量。**逼真的字符照明仍然是计算机图形学和计算机视觉中的一个困难挑战。
虽然在体积捕获系统方面取得了重大进展，重点是具有高分辨率纹理的三维几何重建，例如实现人脸的真实形状和纹理的方法，但在恢复重照字符所需的光度特性方面所做的工作要少得多。这种系统的结果缺乏精细的细节，主体的阴影被预先烘焙成纹理。
谷歌的计算机科学家正在用一种新颖、全面的系统彻底改变这一领域的体积捕捉技术，该系统能够**次捕捉到三维人类表演的全身反射，并通过AR无缝地将它们融入现实世界或电影、游戏等中的数字场景。谷歌将于11月17日至20日在澳大利亚布里斯班举行的ACMS IGgraph Asia上展示他们的新系统三亚教育资源公共服务平台，名为“Relightables”。如今已进入第12个年头的SIGGRAP HAsia吸引了来自世界各地最受尊敬的技术和创意人员，包括计算机图形学、动画、交互性、游戏和新兴技术。
在这一工作领域已经取得了重大进展，业界称之为三维捕获系统。通过这些复杂的系统，观众已经能够在大屏幕上体验到数字字符的生命，例如，在大片，如阿凡达和复仇者系列，等等。
事实上，体积捕捉技术已经达到了高质量的水平，但其中许多重建仍然缺乏真正的真实感。特别是，尽管这些系统使用了带有绿色屏幕的高端工作室设置，但它们仍然很难捕捉到人类的高频细节，而且它们只能恢复固定的照明条件。这使得这些体积捕捉系统不适合在不同的照明条件下在任意场景中对演员或表演者进行真实感渲染..
谷歌的Relights系统使它能够实时助孕字符照明或在任何给定的场景或环境中重新照明。
他们在一个助孕的测地球体中记录了这一点，该球体配备了331个助孕的彩色LED灯（也称为光阶段捕获系统）、一组高分辨率相机和一组助孕的高分辨率深度传感器。该Relights系统从近100个摄像机中捕获约65GB/秒的原始数据，其计算框架能够在此规模上有效地处理数据。
他们的系统捕捉到一个人的反射率信息-照明与皮肤的互动方式是一个主要因素，如何真实的数字人出现。以前的尝试使用平面照明或所需的计算机生成字符。它们不仅能够捕捉到一个人的反射率信息，而且能够在该人在音量内自由移动时进行记录。因此，他们能够在任意的环境中重新点燃他们的动画。
历史上，摄像机从单一的角度和照明条件来记录人们。研究人员注意到，这一新系统允许用户记录某人，然后从任何角度和照明条件来看待他们，不需要绿色屏幕来创造特殊效果，并允许更灵活的照明条件。
表演者与他们的环境之间的空间、光和阴影的相互作用在创造存在感方面起着至关重要的作用。除了“裁剪和粘贴”一个三维视频捕获，该系统提供了记录某人，然后无缝地将他们放置到新的环境-无论是在他们自己的AR体验空间-或在虚拟现实，电影，或游戏体验的世界。
在SIGGRA PH亚洲，Relightable团队将展示他们系统的组件，从捕获到处理到显示，以及每个阶段的视频演示。他们将带领与会者参观建筑的内部和外部，描述他们在工作中应对的主要挑战，并展示一些酷的应用程序和渲染。
