Consistent Video Relighting and Harmonious Background Replacement with Video Generative Models Method Dataset Construction In-the-wild Data. Data Collection: HDR-based Lighting Simulation:...

Lighting Estimation with Video Diffusion Transformer Method Data Strategy 本文监督训练的模型需要数据对: $(\mathrm{I} , \mathrm{E}{ldr}, \mathrm{E}{log})$，其中 $\mathrm{I}$ 是输入的 LDR 图像，而 $\mathrm{E}{ldr}, \mat...

Image-Guided Customized Lighting Control with Generative Decoupling Abstract 现存的大多数光照编辑方法不能够提供定制的光影效果和保留内容整体性。这使得这些方法对于如何将推理图像的光照迁移到用户指定的图像这一复杂任务的表现很不好。为了解决这个问题，本文提出了 TransLight，一个能够实现高保真以及高自由度...

Revisiting Arbitrary-Instruction Image Editing through Self-Constructed Data and Task-Aware Representation Learning Abstract Introduction 主要贡献: 构建了X2Edit数据集：一个规模庞大、质量优秀且任务均衡的图像编辑数据集。 ...

Physically Controllable Relighting of Photographs Abstract Physically Controllable Relighting 文本提出了一个能够将CG中对光源进行物理控制迁移到真实照片上的单图像重光照管线。为了让用户能够在 3D 渲染环境中控制光照，本文的首要任务是为输入的照片创建一个能够在 PBR 渲染引擎中使用的...

DreamLight: Towards Harmonious and Consistent Image Relighting Abstract 本文介绍了一个名为 DreamLight 的通用图像重照明模型。该模型能够将主体无缝地合成到新的背景中，同时在光照和色调方面保持审美上的一致性。其背景既可以通过自然图像来指定（基于图像的重照明），也可以通过无限的文本提示来生成（基于文本的重照...

LayerFlow: A Unified Model for Layer-aware Video Generation Abstract 本文提出了 LayerFlow，一个能够感知图层的视频生成解决方案。根据每层的文本提示，LayerFlow 可以生成透明前景、清晰背景和混合场景的视频。它还支持多种变体，例如分解混合视频或为给定的前景生成背景，反之亦然。从文本到视频的扩散变换器开始，本...

IllumiCraft: Unified Geometry and Illumination Diffusion for Controllable Video Generation Abstract 尽管扩散模型能够从文本或图像输入生成高质量、高分辨率的视频序列，但在跨帧控制场景光照和视觉外观时，扩散模型缺乏对几何线索的显式整合。为了解决这一局限性，本文提出了IllumiCraft：一个...

Q-Insight:Understanding Image Quality via Visual Reinforcement Learning Abstract 图像质量评价（IQA）关注于图像的感知视觉质量，在图像重建、压缩和生成等下游任务中发挥着关键作用。多模态大语言模型（MLLMs）的快速发展极大地拓展了IQA的研究范围，使其朝着更全面的图像质量理解方向发展，不仅包括内容分析、退化...

LCVD:High-Fidelity Relightable Monocular Portrait Animation with Lighting-Controllable Video Diffusion Model Abstract 现存的portrait animation 方法无法实现重光照，这是因为这些方法没有分离出本质特征（人物identit和appearance）和外在特征（...