SpotLight: Shadow-Guided Object Relighting via Diffusion Abstract 扩散模型可以作为强大的神经渲染引擎以将虚拟对象插入图像中，但是和基于物理的渲染引擎相比，神经渲染引擎对光照设置的控制能力远远不足，而对于光照设置的控制通常对改善或个性化所需的图像结果至关重要。本文中，作者提出通过指定对象的阴影，进而实现对象重新照明这一思路。...

RelightVid: Temporal-Consistent Diffusion Model for Video Relighting 研究任务 RelightVid 的核心任务是实现视频重光照，即在保持视频内容不变的前提下，修改视频中前景物体的光照条件，使其看起来像是在不同的光照环境下拍摄的。这一任务在影视制作、游戏开发、增强现实等领域具有重要的应用价值，例如可以用于调整场景的光照风...

LightLab:Controlling Light Sources in Images with Diffusion Models 摘要 现存的方法要么依赖多视角的输入以在推理中执行反渲染，要么不能够在light change方面提供显式的控制。本文的方法在一个配对小摄影数据集上微调扩散模型，并辅以按比例合成的渲染图像，以实现更加逼真的重新照明。文本利用光传输的线性性质来合成图像对，描...

马尔可夫决策 马尔可夫过程 随机过程 随机过程（stochastic process）是概率论的“动力学”部分。概率论的研究对象是静态的随机现象，而随机过程的研究对象是随时间演变的随机现象（例如天气随时间的变化、城市交通随时间的变化）。在随机过程中，随机现象在某时刻 $t$ 的取值是一个向量随机变量，用 $S_{t}$ 表示，所有可能的状态组成状态集合 $\mathcal{S}$。随机...

Introduction and Method 多模态大语言模型（Multi-modality Large Language Models，后续简称多模态大模型）能够提供强大的通用级别视觉感知/理解能力，甚至可以通过自然语言与人类进行无缝对话和互动。虽然多模态大模型的这些能力已经在多个视觉语言任务中得到了探索和验证，例如图像字幕、视觉问题回答、跨模态关联，以及传统的视觉任务，如图像分类或分...

相关概念 图像质量评估（IQA）是对任意的图像进行质量评分，将图像整体作为输入，将图像的质量得分作为输出，图像质量评估分为三种： 全参考图像质量评估（Full-Reference-IQA）：在这种方法中，拥有一个非失真的图像作为基准以测量失真图像的质量。在可以拥有原始图像及其压缩图像的情况下，此方法可用于评估图像压缩算法的质量。Key Insight：质量分数=$f$(参考图像,失真图像...

torch torch.arrange torch.arange 作用类似于 Python 的 range()，用于生成一个连续数值的一维向量，start是起始值（默认 0），end是结束值（不包含端点），step是步长（默认为1） tensor = torch.arange(start=0, end=10, step=1, dtype=None, device=None) print(t...

论文链接：Latent Intrinsics Emerge from Training to Relight 代码地址 Abstract 逆向图形方案可以恢复几何的显式表示和一组选择的内在特征，然后使用某种形式的渲染器进行照明。然而，逆向图形的误差控制很困难，而且逆向图形方法只能表示所选内在特征的影响。本文描述了一种完全基于数据驱动的照明方法，其中内在特征和照明分别表示为潜在...

Color Correction Transform

首先看lbm/config.py下的BaseConfig类， @dataclass class BaseConfig: name: str = field(init=False) def __post_init__(self): self.name = self.__class__.__name__ 其中 dataclass是Python中一个方便的...