Lumen
Consistent Video Relighting and
Harmonious Background Replacement with Video Generative Models
Method
Dataset Construction
In-the-wild Data.
Data Collection:
HDR-based Lighting Simulation: 从 IC-Light 的退化策略中获得启发，本文设计了一种视频光照模拟策略来从原始输入视频中准备重光照视频（退化）。在训练期间，退化视频作为输入控制，而原始视频作为 ground truth 输出。考虑到模型仅使用输入视频的前景，于是可以忽略背景中的视觉内容，从而专注于光照调整。简而言之，首先受 LuminaBrush 的启发，将原始视频转换为“均匀光照”外观，然后基于随机 HDR 贴图修改转换后视频的光照，其公式如下：
均匀光照视频是指在均匀分配白光的环境中拍摄的视频。首先从真实世界视频数据集中选择一组光照充足的视频作为均匀光照视频。将收集到的均匀光照视频作为 ground truth 输出，下一步将准备模型输入。
为了模拟视频中的光照调整，首先使用一个视频法线提取器来获得具有时间一致性的法线贴图。然后合成随机环境贴图，并基于提取的法线贴图对视频进行 HDR 渲染。特别地，随机采样一个点集 $\mathcal{P}$ 作为环境中的光源。对于点集中的每一个点 $p \in \mathcal{P}$，随机分配一个光源颜色，记为 $I_p = \left ( r,g,b \right )$ 。然后对于环境贴图中的任一点 $v$， 假设 $v$ 中的光色为所有光点的组合，且光衰减呈余弦分布：
其中 $\left \langle v, p \right \rangle $ 表示球坐标系中 $v$ 和 $p$ 之间的弧度距离。然后，通过在原始视频上应用环境贴图来渲染重新点亮的视频，其中环境贴图在所有帧上都是固定的。
- 基于上述光照模拟，首先将此方法应用于均匀光照视频，并使用配对视频对均匀光照恢复器（uniform-lit restorer）进行微调。然后，对于所有收集到的视频，使用该恢复器提取其均匀光照外观，并进行基于 HDR 的重新光照，以获得最终的退化视频用于训练。
Lumen: Video Relighting Model
