AI交互助手AI媒体助手AI工作助手AI视频生成

Localrf

渐进式局部辐射场优化 我们逐步添加帧并估计它们的姿势,同时优化辐射场。局部辐射场在整个过程中动态分配。我们用红色框显示当前帧,用蓝色框显示辐射场位置。在右侧,我们在顶部...

标签:

渐进式局部辐射场优化

我们逐步添加帧并估计它们的姿势,同时优化辐射场。局部辐射场在整个过程中动态分配。我们用红色框显示当前帧,用蓝色框显示辐射场位置。在右侧,我们在顶部显示最后使用的输入帧,在底部显示最后渲染的测试视图。我们观察到,我们的方法在锐化渲染的细化阶段之前开始估计粗略的辐射场和姿势。然后,我们创建一个新的局部辐射场并处理视频的另一段。

抽象的

我们提出了一种算法,用于从单个随意捕获的视频中重建大规模场景的辐射场。这项任务提出了两个核心挑战。首先,大多数现有的辐射场重建方法依赖于来自运动结构算法的准确的预先估计的相机姿态,这在野外视频中经常失败。其次,使用具有有限表示能力的单个全局辐射场无法扩展到无界场景中的更长轨迹。为了处理未知的姿势,我们以渐进的方式联合估计相机姿势和辐射场。我们表明,渐进优化显着提高了重建的稳健性。为了处理大型无界场景,我们动态分配使用时间窗口内的帧训练的新局部辐射场。这进一步提高了鲁棒性(例如,即使在中等姿态漂移下也表现良好),并允许我们扩展到大场景。我们对 Tanks 和 Temples 数据集以及我们收集的户外数据集 Static Hikes 进行的广泛评估表明,我们的方法与最先进的方法相比毫不逊色。

稳定性对比

木头

我们的

通过平滑相机路径,我们实现了比 FuSta 等 2D 方法更平滑的稳定效果。

消融

消融。渐进优化对于姿态估计至关重要,局部辐射场赋予序列后续部分更强的鲁棒性并提高清晰度。

数据统计

相关导航