LoFTR
LoFTR copied to clipboard
zju3dv
请问用于自己的场景可以直接用预训练模型吗，
意思是只要有RGB和深度图数据就可以训练吧， 我找到个NYU Depth Dataset数据集，可以试试？ 我不是很明白训练时label是怎么产生的，用什么做的label，请问了解吗
基本都是错的
------------------ 原始邮件 ------------------ 发件人: "zju3dv/LoFTR" @.>; 发送时间: 2022年6月30日(星期四) 中午11:22 @.>; @.@.>; 主题: Re: [zju3dv/LoFTR] 请问用于自己的场景可以直接用预训练模型吗， (Issue #190)
效果应该不会太差。 刚结束不久的cvpr 2022 image matching 大赛第一名并没有自己训练权重，仅使用技巧集成了多个模型就达到了很好的效果。
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
------------------ 原始邮件 ------------------ 发件人: "Nguyen Tri @.>; 发送时间: 2022年6月30日(星期四) 中午11:34 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [zju3dv/LoFTR] 请问用于自己的场景可以直接用预训练模型吗， (Issue #190)
在使用old ckpt的时候 将 temp_bug_fix 改为False。
此外错成什么样子，我有点好奇，你能否贴一张匹配的结果图？
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
上传了，但是github显示不出来，单独邮箱传给你？
------------------ 原始邮件 ------------------ 发件人: "Nguyen Tri @.>; 发送时间: 2022年6月30日(星期四) 中午11:44 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [zju3dv/LoFTR] 请问用于自己的场景可以直接用预训练模型吗， (Issue #190)
哪有结果啊
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
那感觉要特定的数据集才能通过这种方法获得两幅图像素点的对应关系， 哎，想自己训练下自己数据集应该不行， 可以去研究下Superglue模型了，自监督
------------------ 原始邮件 ------------------ 发件人: "Nguyen Tri @.>; 发送时间: 2022年6月30日(星期四) 下午4:27 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [zju3dv/LoFTR] 请问用于自己的场景可以直接用预训练模型吗， (Issue #190)
某点的世界坐标P,经过相机外参T(又叫位姿)映射到相机坐标系，除以深度映射到归一化坐标系，经过内参K映射到像素坐标系。 简记作： [u,v] = \frac{1}{z} KTP 这个等式省略了齐次坐标到非齐次的变换。
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
但是我看sift匹配的opencv代码，知道单应性矩阵不就可以求得像素的对应关系了吗， （x,y） = H*(x1, y1) , H为单应性矩阵
------------------ 原始邮件 ------------------ 发件人: "Nguyen Tri @.>; 发送时间: 2022年6月30日(星期四) 下午4:14 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [zju3dv/LoFTR] 请问用于自己的场景可以直接用预训练模型吗， (Issue #190)
@zh7117 您好!我想向您请教下我目前数据集有匹配好的影像对和相应的单应性矩阵，我能否修改他的dataload来在自己的数据集上做迁移训练？
训练的话还需要内参和深度图像。 单应矩阵可以分解得到外参，这只是测试评估时候的指标。 训练则需要知道两张图像的像素对应关系，只从单应矩阵无法获取该信息。
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
可以下载 scannet_test_1500，这个具有深度图，改改配置可以用来训练
大佬，请教一下 如何要以这个测试集训练的话，大概要怎么改配置呢，第二个问题，您是否了解他这个深度图是怎么生成的呢
可以下载 scannet_test_1500，这个具有深度图，改改配置可以用来训练
大佬，请教一下 如何要以这个测试集训练的话，大概要怎么改配置呢，第二个问题，您是否了解他这个深度图是怎么生成的呢
就是不知道怎么生成indices
可以下载 scannet_test_1500，这个具有深度图，改改配置可以用来训练
大佬，请教一下 如何要以这个测试集训练的话，大概要怎么改配置呢，第二个问题，您是否了解他这个深度图是怎么生成的呢
就是不知道怎么生成indices
indices 在 assets里面。 megadepth的depth image是由数据提供方自己设计的神经网络估计的。 也可以使用colmap估计。
您好，再请教一下，我用那个测试集作为训练集训练了一下，发现效果比较差，所以想下载scannet训练集，训练一下，但是scannet训练集有1.2T很大，所以我下载了他提供的一个5.2G的子集scannet_frame_25k，当我想用这个数据集作为训练集去训练的时候，发现那个indices对不上，indice我是从这个git库提供的网址下载的，可能这个indice是针对整个scannet数据集的。。。 您有没有什么建议，能训练scannet数据集呢，或者其他的什么方法训练loftr
可以下载 scannet_test_1500，这个具有深度图，改改配置可以用来训练
大佬，请教一下 如何要以这个测试集训练的话，大概要怎么改配置呢，第二个问题，您是否了解他这个深度图是怎么生成的呢
就是不知道怎么生成indices
indices 在 assets里面。 megadepth的depth image是由数据提供方自己设计的神经网络估计的。 也可以使用colmap估计。
您好，再请教一下，我用那个测试集作为训练集训练了一下，发现效果比较差，所以想下载scannet训练集，训练一下，但是scannet训练集有1.2T很大，所以我下载了他提供的一个5.2G的子集scannet_frame_25k，当我想用这个数据集作为训练集去训练的时候，发现那个indices对不上，indice我是从这个git库提供的网址下载的，可能这个indice是针对整个scannet数据集的。。。 您有没有什么建议，能训练scannet数据集呢，或者其他的什么方法训练loftr
我没试过scannet，因为我倾向于室外的场景，所以我用的都是megadepth。 方法肯定有，最直接的，你可以自己解析理解一下indices的格式，然后写程序生成对应数据的indices。 此外，训练数据少了效果都不会好。我之前说可以用scannet_test_1500训练只是用于理解训练的过程，肯定是无法得到有效的的权重的。
好的，谢谢您的建议
