FAST-LIVO2 icon indicating copy to clipboard operation
FAST-LIVO2 copied to clipboard

复现效果分享&&复现问题分享(主要是内外参标定和相机驱动)

Open fff-zx opened this issue 7 months ago • 30 comments

相机是MV-CA013-A0UC 雷达是livox_horizon或者mid360 软件部分: 1.MVS客户端; 2.mvs_ros_driver; 3.Livox-SDK; 4.livox_ros_driver; 5.fast_livo2; 这里的2和4都是用的大佬开源的LIV_handhold里面的,3是Livox官方的,注意安装2之前需要先安装1(因为会用到它的库),在readme有下载链接;

!!第一个问题: 安装MVS客户端之后打开(cd /opt/MVS/bin/ && ./MVS.sh)时,终端报错: Must construct a QGuiApplication before accessing a platform theme hint. 段错误 (核心已转储) 解决方法: sudo apt install libqt5widgets5:i386 sudo apt install libqt5gui5:i386 sudo apt install libqt5xml5:i386 sudo apt install libqt5core5a:i386 打开终端输入ldd /opt/MVS/bin/MVS确保没有: libQt5Widgets.so.5 => not found libQt5Gui.so.5 => not found libQt5Xml.so.5 => not found libQt5Core.so.5 => not found 再次cd /opt/MVS/bin/ && ./MVS.sh应该就不会有问题,如果还有关于lib的报错,终端输入ldd /opt/MVS/bin/MVS看看还有哪些没有安装; ps:主要原因是因为这个安装包是32位的,从名字MVS-2.1.2_i386_20231116.deb的"i386"也可以看出来;

!!第二个问题: roslaunch mvs_ros_driver mvs_camera_trigger.launch时,终端报错: MV_CC_ConvertPixelType failed! nRet [80000006], skipping this frame MV_CC_ConvertPixelType failed! nRet [80000006], skipping this frame ........... 在终端执行export LD_LIBRARY_PATH=/opt/MVS/lib/64:$LD_LIBRARY_PATH(前提已经安装MVS客户端); 然后重新运行即可,也可写入.bashrc;

!!第三个问题: 如果你在其它终端遇到了undefined symbol: libusb_set_option这类带有libusb_set_option的报错,95%是受到了export LD_LIBRARY_PATH=/opt/MVS/lib/64:$LD_LIBRARY_PATH的影响; 主要原因是/lib/x86_64-linux-gnu/和/opt/MVS/lib/64下都有libusb,export之后/lib/x86_64-linux-gnu/的就被覆盖了,解决办法参考这个最下面

建议&&心得: 标定外参之前一定要先标定好内参,不然会有严重的影响; 1.内参标定的黑白格板建议单格0.1m(我是用ros-noetic-camera-calibration标定); 2.内参标定的时候站在3m内拍照(如果符合建议1,否则更近),标定的图片里各个角度方向,各个距离都要有; 3.外参推荐使用新开源的Fast-Calib(部署简单(catkin_make),配置简单(一个yaml),十秒钟输出标定结果); 4.我外参标定使用的是标准的1x1.4m的标定板,小了可能对相机能否识别marker和雷达能否识别circle都有影响(会在终端里有对应红字提醒); 5.horizon的外参标定建议在2-3m左右,推荐2.5 2.6米; 实测距离远了会导致相机很难识别到四个marker,近了可能horizon的点云会有较大畸变(官方手册说0.5m-3m有不同程度畸变); 6.另外一个就是yaml参数里的# Distance filter,需要设置合适的xyz,将点云分割直至只有标定板(如果限制的范围给小了可能会导致一直报错(如下图),这个时候不妨大胆一点,多一点也没关系的拉);

Image X Y Z具体坐标系参见(horizon与avia一致):FAST-LIVO2/issues/238 ps : 这里我在测试的时候,如果将filter的范围限制的很严格(我主要是对前向X严格限制),虽然这时候理论上我的板子完全在我给的范围内,但是不知道为什么就是识别不到。如下图:

7.如果外参标定出来的旋转矩阵和实际大差不差,但是平移矩阵的Z值却有上米的话(如下图),(引用郑博说的)一定是内参没有标定好导致的,建议重新标内参,然后再填入yaml;

Image

8.如果不用livox转换盒而是自己接m12航插的话,一定要注意线序啊(网上horizon的英文手册线序是错的! ! 一定要看中文的,或者看avia的接线,因为他俩的接线一模一样,我已经帮大家看过了); 9.Livox-SDK和Livox-SDK2实测可以同时安装(他们安装的库名不同); 10.注意mvs_ros_driver的yaml里有一个image_scale参数,(如果你的相机分辨率是1280 x 1024),这里设置1就是1280 x 1024,0.5就是640 x 512;特别注意这里! ! ! ! ! !这里用0.5和用1标定出来的内参是不一样的,这会影响外参标定以及fast-livo2建图(fast-livo2里也单独有一个scale参数),注意一致性;

最后记录一下哈哈 2025.04.20完成mid360复现,以下是效果图

Image

Image

Image

Image

2025.05.16完成horizon复现,以下是效果图

Image

Image

Image

Image

Image

Image

Image

Image

最后这个板子是我自己画的,插电脑上就可以,用来同步相机与雷达,已经实测过mid360和horizon都可以用,Avia也可以,如果大家需要可以免费送,我这里还有三块多的; 最后在此感谢郑博的解答与帮助,另外祝大家天天开心!!

fff-zx avatar May 16 '25 15:05 fff-zx

感谢您的无私分享,我今天刚拿到定制的fastcalib标定板,正要开始做就看到了您的分享,深感幸运。可否向您请教一些问题呢,这是我的邮箱[email protected],期待您的回复。而且我对那个板子也很感兴趣嘿嘿😄

Dora-ye avatar May 18 '25 11:05 Dora-ye

方便的话,可以送我一个谢谢!

iunknown10 avatar May 18 '25 11:05 iunknown10

感谢您的无私分享,我今天刚拿到定制的fastcalib标定板,正要开始做就看到了您的分享,深感幸运。可否向您请教一些问题呢,这是我的邮箱[email protected],期待您的回复。而且我对那个板子也很感兴趣嘿嘿😄

可以帮您解决一些我力所能及的问题

fff-zx avatar May 18 '25 11:05 fff-zx

方便的话,可以送我一个谢谢!

可以的

fff-zx avatar May 18 '25 11:05 fff-zx

@fff-zx 感谢分享!

xuankuzcr avatar May 18 '25 15:05 xuankuzcr

方便的话,可以送我一个谢谢!

可以的

[email protected] 邮件联系,非常感谢!

iunknown10 avatar May 18 '25 18:05 iunknown10

你好!我也可以得到一块板子吗? [email protected]

谢谢你!

eung-ark avatar May 19 '25 01:05 eung-ark

你好!我也可以得到一块板子吗? [email protected]

谢谢你!

好 邮箱联系

fff-zx avatar May 19 '25 01:05 fff-zx

您好想问一下后面用mid360的那个架子是3D打印的吗,可以发一下模型嘛?顺便想问问还有板子嘛哈哈,邮箱[email protected],感谢大佬

yzp1767791249 avatar May 19 '25 03:05 yzp1767791249

您好想问一下后面用mid360的那个架子是3D打印的吗,可以发一下模型嘛?顺便想问问还有板子嘛哈哈,邮箱[email protected],感谢大佬

是3D打印的

fff-zx avatar May 19 '25 03:05 fff-zx

你好,

我想咨询一点细节问题,我的邮箱是[email protected]

期待您的回应

DesWudio avatar May 21 '25 02:05 DesWudio

请问一下硬同步后时间戳对齐是如何实现的

RayRua avatar May 21 '25 05:05 RayRua

请问一下硬同步后时间戳对齐是如何实现的

设置参数,offset

fff-zx avatar May 21 '25 06:05 fff-zx

请问一下硬同步后时间戳对齐是如何实现的

设置参数,offset

请问是time_offset吗 如果时间戳同步不对齐会影响效果吗 如何判断调整是否符合预期呢 在标定时候没启动fastlivo2 如何实现对齐呢

RayRua avatar May 21 '25 06:05 RayRua

感谢分享! 我的邮箱[email protected] 请问能把最后板子的原理图分享下🏇 我想自己打两块 感激不尽

Steam-assistant avatar May 21 '25 15:05 Steam-assistant

您好,能不能分享一下板子的原理图,去实现激光点云和相机之间的同步,这是我的邮箱[email protected],感谢您!!

BaoBeili avatar May 29 '25 06:05 BaoBeili

您好,能不能分享一下板子的原理图,去实现激光点云和相机之间的同步,这是我的邮箱[email protected],感谢您!!

我加你QQ吧

fff-zx avatar May 29 '25 06:05 fff-zx

您好,能不能麻烦您分享一下板子的原理图,这是我的邮箱 [email protected] 感谢!!

thetengda avatar May 29 '25 14:05 thetengda

您好,能不能麻烦您分享一下板子的原理图,这是我的邮箱 [email protected] 感谢!!

发过去了,你看看收到啦吗

fff-zx avatar May 29 '25 14:05 fff-zx

您好,能不能麻烦您分享一下板子的原理图,这是我的邮箱 [email protected] 感谢!!

发过去了,你看看收到啦吗

收到啦 感谢您!

thetengda avatar May 29 '25 14:05 thetengda

相机是MV-CA013-A0UC 雷达是livox_horizon或者mid360 软件部分: 1.MVS客户端; 2.mvs_ros_driver; 3.Livox-SDK; 4.livox_ros_driver; 5.fast_livo2; 这里的2和4都是用的大佬开源的LIV_handhold里面的,3是Livox官方的,注意安装2之前需要先安装1(因为会用到它的库),在readme有下载链接;

!!第一个问题: 安装MVS客户端之后打开(cd /opt/MVS/bin/ && ./MVS.sh)时,终端报错: Must construct a QGuiApplication before accessing a platform theme hint. 段错误 (核心已转储) 解决方法: sudo apt install libqt5widgets5:i386 sudo apt install libqt5gui5:i386 sudo apt install libqt5xml5:i386 sudo apt install libqt5core5a:i386 打开终端输入ldd /opt/MVS/bin/MVS确保没有: libQt5Widgets.so.5 => not found libQt5Gui.so.5 => not found libQt5Xml.so.5 => not found libQt5Core.so.5 => not found 再次cd /opt/MVS/bin/ && ./MVS.sh应该就不会有问题,如果还有关于lib的报错,终端输入ldd /opt/MVS/bin/MVS看看还有哪些没有安装; ps:主要原因是因为这个安装包是32位的,从名字MVS-2.1.2_i386_20231116.deb的"i386"也可以看出来;

!!第二个问题: roslaunch mvs_ros_driver mvs_camera_trigger.launch时,终端报错: MV_CC_ConvertPixelType failed! nRet [80000006], skipping this frame MV_CC_ConvertPixelType failed! nRet [80000006], skipping this frame ........... 在终端执行export LD_LIBRARY_PATH=/opt/MVS/lib/64:$LD_LIBRARY_PATH(前提已经安装MVS客户端); 然后重新运行即可,也可写入.bashrc;

!!第三个问题: 如果你在其它终端遇到了undefined symbol: libusb_set_option这类带有libusb_set_option的报错,95%是受到了export LD_LIBRARY_PATH=/opt/MVS/lib/64:$LD_LIBRARY_PATH的影响; 主要原因是/lib/x86_64-linux-gnu/和/opt/MVS/lib/64下都有libusb,export之后/lib/x86_64-linux-gnu/的就被覆盖了,解决办法参考这个最下面

建议&&心得: 标定外参之前一定要先标定好内参,不然会有严重的影响; 1.内参标定的黑白格板建议单格0.1m(我是用ros-noetic-camera-calibration标定); 2.内参标定的时候站在3m内拍照(如果符合建议1,否则更近),标定的图片里各个角度方向,各个距离都要有; 3.外参推荐使用新开源的Fast-Calib(部署简单(catkin_make),配置简单(一个yaml),十秒钟输出标定结果); 4.我外参标定使用的是标准的1x1.4m的标定板,小了可能对相机能否识别marker和雷达能否识别circle都有影响(会在终端里有对应红字提醒); 5.horizon的外参标定建议在2-3m左右,推荐2.5 2.6米; 实测距离远了会导致相机很难识别到四个marker,近了可能horizon的点云会有较大畸变(官方手册说0.5m-3m有不同程度畸变); 6.另外一个就是yaml参数里的# Distance filter,需要设置合适的xyz,将点云分割直至只有标定板(如果限制的范围给小了可能会导致一直报错(如下图),这个时候不妨大胆一点,多一点也没关系的拉);

Image X Y Z具体坐标系参见(horizon与avia一致):FAST-LIVO2/issues/238 ps : 这里我在测试的时候,如果将filter的范围限制的很严格(我主要是对前向X严格限制),虽然这时候理论上我的板子完全在我给的范围内,但是不知道为什么就是识别不到。如下图:

7.如果外参标定出来的旋转矩阵和实际大差不差,但是平移矩阵的Z值却有上米的话(如下图),(引用郑博说的)一定是内参没有标定好导致的,建议重新标内参,然后再填入yaml;

Image

8.如果不用livox转换盒而是自己接m12航插的话,一定要注意线序啊(网上horizon的英文手册线序是错的! ! 一定要看中文的,或者看avia的接线,因为他俩的接线一模一样,我已经帮大家看过了); 9.Livox-SDK和Livox-SDK2实测可以同时安装(他们安装的库名不同); 10.注意mvs_ros_driver的yaml里有一个image_scale参数,(如果你的相机分辨率是1280 x 1024),这里设置1就是1280 x 1024,0.5就是640 x 512;特别注意这里! ! ! ! ! !这里用0.5和用1标定出来的内参是不一样的,这会影响外参标定以及fast-livo2建图(fast-livo2里也单独有一个scale参数),注意一致性;

最后记录一下哈哈 2025.04.20完成mid360复现,以下是效果图

Image

Image

Image

Image

2025.05.16完成horizon复现,以下是效果图

Image

Image

Image

Image

Image

Image

Image

Image

最后这个板子是我自己画的,插电脑上就可以,用来同步相机与雷达,已经实测过mid360和horizon都可以用,Avia也可以,如果大家需要可以免费送,我这里还有三块多的; 最后在此感谢郑博的解答与帮助,另外祝大家天天开心!!

请问Fast-Calib算法支持32线激光雷达吗?

andlbdx avatar Jun 13 '25 01:06 andlbdx

您好,我对这块板子很感兴趣,可否分享一下,这是我的邮箱:[email protected]。再次感谢

jkjkcjs avatar Jun 13 '25 12:06 jkjkcjs

您好,板子看着很小巧,可否分享一下,这是我的邮箱:[email protected],非常感谢~

Dangda avatar Jun 16 '25 08:06 Dangda

@fff-zx - awesome results! Wanted to ask, would you be able to share the resulting point cloud using MID360? I'd guess your results are close to perfect with what can be achieved with this setup/odometry - and I'm just looking for comparison with what I'm currently able to produce.

mkarklins avatar Jun 17 '25 05:06 mkarklins

楼主大爱,来晚了,希望楼主看到时候不知道是否可以分享一下,万分感谢 [email protected]

Weiwww3w123 avatar Jul 01 '25 02:07 Weiwww3w123

您好,可否分享一下板子原理图,这是我的邮箱: [email protected] 非常感谢

Yangchengshuai avatar Jul 24 '25 10:07 Yangchengshuai

您好大佬,可以分享一下mid360的那个3D打印的架子还有板子的原理图吗,感谢感谢!![email protected]

yhk-8 avatar Sep 04 '25 06:09 yhk-8

方便的话,可以送我一个谢谢!

可以的

大佬你好,我使用的相机是MV-CA013-21UC,雷达为Avia雷达,在进行建图时相机过曝

Image 但是在海康客户端中就显示正常,请问这要怎么调整

weihaoli178 avatar Sep 11 '25 01:09 weihaoli178

您好,可否分享一下板子原理图,这是我的邮箱: [email protected] 非常感谢

LittleFool1022 avatar Nov 08 '25 03:11 LittleFool1022

感谢您的无私分享,我今天刚拿到定制的fastcalib标定板,正要开始做就看到了您的分享,深感幸运。可否向您请教一些问题呢,这是我的邮箱[email protected],期待您的回复。而且我对那个板子也很感兴趣嘿嘿😄

可以帮您解决一些我力所能及的问题

大佬们能否分享一下板子原理图,有偿也行,万分感谢。 邮箱:[email protected]

admon11 avatar Nov 27 '25 13:11 admon11