result

[zhusai1234]

Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better.

[thompsoncjh]

hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image

[gitouni]

Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better.

@zhusai1234 I also can not reproduce the results in the original paper. Unfortunately, I'm not familiar with Tensorflow and my GPU is also not compatible with CUDA 8, so I did not implement the original code provided by the author. If you have some results, you can upload here and we can discuss.

hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image

@thompsoncjh I think it is impossible to met this problem, which means the extrinsics are too bad to allow any points to be projected onto the image. You can check if the extrinsics are correct and use demo.py to visualize the result.

[thompsoncjh]

one more question,the extrinsics is like this?
Rotation (deg) X:3.0023,Y:2.9971,Z:3.0498
Translation (m): X:0.0700,Y:0.0673,Z:0.0862
And the result of the test is to obtain the extrinsics?
in my opnion, the extrinsics is need to predict through the training of network.
Is there anything wrong with my understanding?
thank you very much!!

[thompsoncjh]

你好，我是一名研0的学生，研究方向也是有关三维计算机视觉方面的，是一名新手。最近在复现calibnet这篇论文，在github上看见了你的贴子，也成功复现了。但是有关最后的测试结果我有些疑问。在原文中，只提及了一些误差的大小，但有关激光雷达和相机的外参大小预测的结果是什么并没有提及，我利用了cam2_oneiter_best.pth进行训练，把测试过程中中间的外参做了提取（本身也有kitti数据集中的calib中的Tr差别很大，这是正常的吗？），但利用这个外参进行点云投影至图像上的时候，发现效果很差，完全看不到点云。 最终的这个结果应该也是和真实值的误差大小吧？ 那么通过深度学习预测的最终激光雷达和相机的外参又改如何查看呢，是应该在测试的过程中像下面一样print出来吗？ 祝您工作顺利，生活愉快，如有打扰，非常抱歉，期待您的回复

…

------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" ***@***.***>; 发送时间: 2024年6月11日(星期二) 晚上10:57 ***@***.***>; ***@***.******@***.***>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better. @zhusai1234 I also can not reproduce the results in the original paper. Unfortunately, I'm not familiar with Tensorflow and my GPU is also not compatible with CUDA 8, so I did not implement the original code provided by the author. If you have some results, you can upload here and we can discuss. hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image @thompsoncjh I think it is impossible to met this problem, which means the extrinsics are too bad to allow any points to be projected onto the image. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[gitouni]

你好，我是一名研0的学生，研究方向也是有关三维计算机视觉方面的，是一名新手。最近在复现calibnet这篇论文，在github上看见了你的贴子，也成功复现了。但是有关最后的测试结果我有些疑问。在原文中，只提及了一些误差的大小，但有关激光雷达和相机的外参大小预测的结果是什么并没有提及，我利用了cam2_oneiter_best.pth进行训练，把测试过程中中间的外参做了提取（本身也有kitti数据集中的calib中的Tr差别很大，这是正常的吗？），但利用这个外参进行点云投影至图像上的时候，发现效果很差，完全看不到点云。 最终的这个结果应该也是和真实值的误差大小吧？ 那么通过深度学习预测的最终激光雷达和相机的外参又改如何查看呢，是应该在测试的过程中像下面一样print出来吗？ 祝您工作顺利，生活愉快，如有打扰，非常抱歉，期待您的回复
…
------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" @.>; 发送时间: 2024年6月11日(星期二) 晚上10:57 @.>; @.@.>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better. @zhusai1234 I also can not reproduce the results in the original paper. Unfortunately, I'm not familiar with Tensorflow and my GPU is also not compatible with CUDA 8, so I did not implement the original code provided by the author. If you have some results, you can upload here and we can discuss. hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image @thompsoncjh I think it is impossible to met this problem, which means the extrinsics are too bad to allow any points to be projected onto the image. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

CalibNet预测的外参是uncalibrated pointcloud与image的外参，不是初始点云和image的外参，因此这个外参和KITTI提供的真值并不是一个外参。uncalibrated pointcloud是先乘真实外参再乘一个扰动矩阵得到的，因此CalibNet预测的其实是那个扰动矩阵的逆矩阵。在计算metric时类似，例如：

CalibNet_pytorch/test.py

Line 67 in a362a77

rot_dx,tsl_dx = loss_utils.gt2euler(dg.squeeze(0).cpu().detach().numpy())

计算的是CalibNet预测的扰动和真实的扰动的Euler Angle和translation的误差。
如若对该扰动不熟悉，可以查看：dataset.py

[thompsoncjh]

你好，上封邮件非常抱歉没有向您说明我的身份，我是南京航空航天大学研0学生柴家辉，对于calibnet复现也看了有一段时间了。您的回复让我恍然大悟，正如您所说，calibnet预测的是扰动矩阵的逆矩阵，这个扰动矩阵我认为可能是自动驾驶在车辆的行驶过程中由于颠簸什么导致的。那么评价最终的测试最终结果，应该就是通过计算预测的扰动矩阵和真实设置的扰动矩阵的逆矩阵之前的误差大小吧，也就是rot_dx,tsl_dx = loss_utils.gt2euler(dg.squeeze(0).cpu().detach().numpy())吧。 如果rot_dx和tsl_dx越接近于0，说明测试的效果越好吧。这也是为什么要做五千多组测试再取平均值的原因吧。 另外有关扰动矩阵以及纠正扰动矩阵的可视化方面，github代码上是没有做吗，我自己接下来打算做做这个。 最后，calibnet作为利用深度学习的方法确实没有做到预测原始点云和图像的标定，那您对于利用深度学习预测原始点云和图像的外参标定有什么建议吗 非常抱歉这么晚打扰您休息，祝您睡个好觉，工作顺利，家人身体健康，万事如意!

…

------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" ***@***.***>; 发送时间: 2024年6月12日(星期三) 下午3:49 ***@***.***>; ***@***.******@***.***>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) 你好，我是一名研0的学生，研究方向也是有关三维计算机视觉方面的，是一名新手。最近在复现calibnet这篇论文，在github上看见了你的贴子，也成功复现了。但是有关最后的测试结果我有些疑问。在原文中，只提及了一些误差的大小，但有关激光雷达和相机的外参大小预测的结果是什么并没有提及，我利用了cam2_oneiter_best.pth进行训练，把测试过程中中间的外参做了提取（本身也有kitti数据集中的calib中的Tr差别很大，这是正常的吗？），但利用这个外参进行点云投影至图像上的时候，发现效果很差，完全看不到点云。 最终的这个结果应该也是和真实值的误差大小吧？ 那么通过深度学习预测的最终激光雷达和相机的外参又改如何查看呢，是应该在测试的过程中像下面一样print出来吗？ 祝您工作顺利，生活愉快，如有打扰，非常抱歉，期待您的回复 … ------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" @.>; 发送时间: 2024年6月11日(星期二) 晚上10:57 @.>; @.@.>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better. @zhusai1234 I also can not reproduce the results in the original paper. Unfortunately, I'm not familiar with Tensorflow and my GPU is also not compatible with CUDA 8, so I did not implement the original code provided by the author. If you have some results, you can upload here and we can discuss. hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image @thompsoncjh I think it is impossible to met this problem, which means the extrinsics are too bad to allow any points to be projected onto the image. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***> CalibNet预测的外参是uncalibrated pointcloud与image的外参，不是初始点云和image的外参，因此这个外参和KITTI提供的真值并不是一个外参。uncalibrated pointcloud是先乘真实外参再乘一个扰动矩阵得到的，因此CalibNet预测的其实是那个扰动矩阵的逆矩阵。在计算metric时类似，例如： https://github.com/gitouni/CalibNet_pytorch/blob/a362a779a5951b24ded0d7196083a1249b587898/test.py#L67 计算的是CalibNet预测的扰动和真实的扰动的Euler Angle和translation的误差。 如若对该扰动不熟悉，可以查看：dataset.py — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[gitouni]

你好，上封邮件非常抱歉没有向您说明我的身份，我是南京航空航天大学研0学生柴家辉，对于calibnet复现也看了有一段时间了。您的回复让我恍然大悟，正如您所说，calibnet预测的是扰动矩阵的逆矩阵，这个扰动矩阵我认为可能是自动驾驶在车辆的行驶过程中由于颠簸什么导致的。那么评价最终的测试最终结果，应该就是通过计算预测的扰动矩阵和真实设置的扰动矩阵的逆矩阵之前的误差大小吧，也就是rot_dx,tsl_dx = loss_utils.gt2euler(dg.squeeze(0).cpu().detach().numpy())吧。 如果rot_dx和tsl_dx越接近于0，说明测试的效果越好吧。这也是为什么要做五千多组测试再取平均值的原因吧。 另外有关扰动矩阵以及纠正扰动矩阵的可视化方面，github代码上是没有做吗，我自己接下来打算做做这个。 最后，calibnet作为利用深度学习的方法确实没有做到预测原始点云和图像的标定，那您对于利用深度学习预测原始点云和图像的外参标定有什么建议吗 非常抱歉这么晚打扰您休息，祝您睡个好觉，工作顺利，家人身体健康，万事如意!
…
------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" @.>; 发送时间: 2024年6月12日(星期三) 下午3:49 @.>; @.@.>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) 你好，我是一名研0的学生，研究方向也是有关三维计算机视觉方面的，是一名新手。最近在复现calibnet这篇论文，在github上看见了你的贴子，也成功复现了。但是有关最后的测试结果我有些疑问。在原文中，只提及了一些误差的大小，但有关激光雷达和相机的外参大小预测的结果是什么并没有提及，我利用了cam2_oneiter_best.pth进行训练，把测试过程中中间的外参做了提取（本身也有kitti数据集中的calib中的Tr差别很大，这是正常的吗？），但利用这个外参进行点云投影至图像上的时候，发现效果很差，完全看不到点云。 最终的这个结果应该也是和真实值的误差大小吧？ 那么通过深度学习预测的最终激光雷达和相机的外参又改如何查看呢，是应该在测试的过程中像下面一样print出来吗？ 祝您工作顺利，生活愉快，如有打扰，非常抱歉，期待您的回复 … ------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" @.>; 发送时间: 2024年6月11日(星期二) 晚上10:57 @.>; @.@.>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better. @zhusai1234 I also can not reproduce the results in the original paper. Unfortunately, I'm not familiar with Tensorflow and my GPU is also not compatible with CUDA 8, so I did not implement the original code provided by the author. If you have some results, you can upload here and we can discuss. hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image @thompsoncjh I think it is impossible to met this problem, which means the extrinsics are too bad to allow any points to be projected onto the image. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.> CalibNet预测的外参是uncalibrated pointcloud与image的外参，不是初始点云和image的外参，因此这个外参和KITTI提供的真值并不是一个外参。uncalibrated pointcloud是先乘真实外参再乘一个扰动矩阵得到的，因此CalibNet预测的其实是那个扰动矩阵的逆矩阵。在计算metric时类似，例如：

CalibNet_pytorch/test.py

Line 67 in a362a77

rot_dx,tsl_dx = loss_utils.gt2euler(dg.squeeze(0).cpu().detach().numpy())

计算的是CalibNet预测的扰动和真实的扰动的Euler Angle和translation的误差。 如若对该扰动不熟悉，可以查看：dataset.py — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.>

1. 纠正扰动矩阵的可视化程序很好实现，只要将

   CalibNet_pytorch/demo.py

   Line 10 in a362a77

   extran = calib.T_cam2_velo # [4,4]

   中的extran替换成纠正后的矩阵即可。
2. 没有什么特殊的建议，可以先看看camera-lidar标定领域的相关文献，复现一些代码比较健全的工作。

[zhusai1234]

Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better.

@zhusai1234 I also can not reproduce the results in the original paper. Unfortunately, I'm not familiar with Tensorflow and my GPU is also not compatible with CUDA 8, so I did not implement the original code provided by the author. If you have some results, you can upload here and we can discuss.

hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image

@thompsoncjh I think it is impossible to met this problem, which means the extrinsics are too bad to allow any points to be projected onto the image. You can check if the extrinsics are correct and use demo.py to visualize the result.

好的，感谢您的回复，我也不熟悉tensorflow，所以选择复现您的代码，我想知道的是在您的代码中的最后结果角度误差达到了2点几，3点几的，为何和原论文中0点几差别很大，想知道是什么原因导致，并且在demo中，我发现在乘完预测扰动后的结果比只加真实扰动的结果还要偏移，这是不是就说明了我的预测结果很差？还是我哪里理解错误了，请指正！

[zhusai1234]

你好，我是一名研0的学生，研究方向也是有关三维计算机视觉方面的，是一名新手。最近在复现calibnet这篇论文，在github上看见了你的贴子，也成功复现了。但是有关最后的测试结果我有些疑问。在原文中，只提及了一些误差的大小，但有关激光雷达和相机的外参大小预测的结果是什么并没有提及，我利用了cam2_oneiter_best.pth进行训练，把测试过程中中间的外参做了提取（本身也有kitti数据集中的calib中的Tr差别很大，这是正常的吗？），但利用这个外参进行点云投影至图像上的时候，发现效果很差，完全看不到点云。 最终的这个结果应该也是和真实值的误差大小吧？ 那么通过深度学习预测的最终激光雷达和相机的外参又改如何查看呢，是应该在测试的过程中像下面一样print出来吗？ 祝您工作顺利，生活愉快，如有打扰，非常抱歉，期待您的回复
…
------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" @.>; 发送时间: 2024年6月11日(星期二) 晚上10:57 _@**._>; _@.@._>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better. @zhusai1234 I also can not reproduce the results in the original paper. Unfortunately, I'm not familiar with Tensorflow and my GPU is also not compatible with CUDA 8, so I did not implement the original code provided by the author. If you have some results, you can upload here and we can discuss. hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image @thompsoncjh I think it is impossible to met this problem, which means the extrinsics are too bad to allow any points to be projected onto the image. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: _@_.*>

CalibNet预测的外参是uncalibrated pointcloud与image的外参，不是初始点云和image的外参，因此这个外参和KITTI提供的真值并不是一个外参。uncalibrated pointcloud是先乘真实外参再乘一个扰动矩阵得到的，因此CalibNet预测的其实是那个扰动矩阵的逆矩阵。在计算metric时类似，例如：

CalibNet_pytorch/test.py

Line 67 in a362a77

rot_dx,tsl_dx = loss_utils.gt2euler(dg.squeeze(0).cpu().detach().numpy())

计算的是CalibNet预测的扰动和真实的扰动的Euler Angle和translation的误差。
如若对该扰动不熟悉，可以查看：dataset.py

请问下既然预测的是扰动矩阵的逆矩阵，那为何后面算的是预测的扰动矩阵的逆矩阵和真实的扰动矩阵之间的误差呢

[thompsoncjh]

既然预测的是扰动矩阵的逆矩阵，那为何后面算的是预测的扰动矩阵的逆矩阵和真实的扰动矩阵之间的误差呢? 我是这么理解的，他最后计算的dg其实是等于igt和Tcl的相乘，如果预测正确的话，理论上应该接近于一个单位矩阵。但实际上，预测出来会有一些偏差，也就是loss,代码中再将这个矩阵形式用欧拉角和平移向量表示。这个dg与原本的真实外参相乘，应该就是预测的外参。他计算这个dg应该就是用来评价，预测出来的扰动矩阵的逆矩阵能否很好的把扰动矩阵给修正为单位矩阵，从而将受扰动矩阵影响的外参修正为原本的正确的外参。 至于最后的角度误差达到了2点几，3点几的，为何和原论文中0点几差别很大，我也确实有过这样的情况出现。此外，在demo中，在乘完预测扰动矩阵的逆矩阵后的结果比只加扰动矩阵的结果还要差，我之前取了几组数据进行实验，有一些会好一点，但是有一些也会更差。我觉得更差的很大程度上应该是预测扰动矩阵的逆矩阵预测的不够准确吧，模型可能没有论文中的那么完美吧

…

------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" ***@***.***>; 发送时间: 2024年6月17日(星期一) 中午11:02 ***@***.***>; ***@***.******@***.***>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) 你好，我是一名研0的学生，研究方向也是有关三维计算机视觉方面的，是一名新手。最近在复现calibnet这篇论文，在github上看见了你的贴子，也成功复现了。但是有关最后的测试结果我有些疑问。在原文中，只提及了一些误差的大小，但有关激光雷达和相机的外参大小预测的结果是什么并没有提及，我利用了cam2_oneiter_best.pth进行训练，把测试过程中中间的外参做了提取（本身也有kitti数据集中的calib中的Tr差别很大，这是正常的吗？），但利用这个外参进行点云投影至图像上的时候，发现效果很差，完全看不到点云。 最终的这个结果应该也是和真实值的误差大小吧？ 那么通过深度学习预测的最终激光雷达和相机的外参又改如何查看呢，是应该在测试的过程中像下面一样print出来吗？ 祝您工作顺利，生活愉快，如有打扰，非常抱歉，期待您的回复 … ------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" @.>; 发送时间: 2024年6月11日(星期二) 晚上10:57 _@**._>; ***@***.***@._>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better. @zhusai1234 I also can not reproduce the results in the original paper. Unfortunately, I'm not familiar with Tensorflow and my GPU is also not compatible with CUDA 8, so I did not implement the original code provided by the author. If you have some results, you can upload here and we can discuss. hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image @thompsoncjh I think it is impossible to met this problem, which means the extrinsics are too bad to allow any points to be projected onto the image. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: _@_.*> CalibNet预测的外参是uncalibrated pointcloud与image的外参，不是初始点云和image的外参，因此这个外参和KITTI提供的真值并不是一个外参。uncalibrated pointcloud是先乘真实外参再乘一个扰动矩阵得到的，因此CalibNet预测的其实是那个扰动矩阵的逆矩阵。在计算metric时类似，例如： https://github.com/gitouni/CalibNet_pytorch/blob/a362a779a5951b24ded0d7196083a1249b587898/test.py#L67 计算的是CalibNet预测的扰动和真实的扰动的Euler Angle和translation的误差。 如若对该扰动不熟悉，可以查看：dataset.py 请问下既然预测的是扰动矩阵的逆矩阵，那为何后面算的是预测的扰动矩阵的逆矩阵和真实的扰动矩阵之间的误差呢 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[zhusai1234]

既然预测的是扰动矩阵的逆矩阵，那为何后面算的是预测的扰动矩阵的逆矩阵和真实的扰动矩阵之间的误差呢? 我是这么理解的，他最后计算的dg其实是等于igt和Tcl的相乘，如果预测正确的话，理论上应该接近于一个单位矩阵。但实际上，预测出来会有一些偏差，也就是loss,代码中再将这个矩阵形式用欧拉角和平移向量表示。这个dg与原本的真实外参相乘，应该就是预测的外参。他计算这个dg应该就是用来评价，预测出来的扰动矩阵的逆矩阵能否很好的把扰动矩阵给修正为单位矩阵，从而将受扰动矩阵影响的外参修正为原本的正确的外参。 至于最后的角度误差达到了2点几，3点几的，为何和原论文中0点几差别很大，我也确实有过这样的情况出现。此外，在demo中，在乘完预测扰动矩阵的逆矩阵后的结果比只加扰动矩阵的结果还要差，我之前取了几组数据进行实验，有一些会好一点，但是有一些也会更差。我觉得更差的很大程度上应该是预测扰动矩阵的逆矩阵预测的不够准确吧，模型可能没有论文中的那么完美吧
…
------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" @.>; 发送时间: 2024年6月17日(星期一) 中午11:02 @.>; @.@.>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) 你好，我是一名研0的学生，研究方向也是有关三维计算机视觉方面的，是一名新手。最近在复现calibnet这篇论文，在github上看见了你的贴子，也成功复现了。但是有关最后的测试结果我有些疑问。在原文中，只提及了一些误差的大小，但有关激光雷达和相机的外参大小预测的结果是什么并没有提及，我利用了cam2_oneiter_best.pth进行训练，把测试过程中中间的外参做了提取（本身也有kitti数据集中的calib中的Tr差别很大，这是正常的吗？），但利用这个外参进行点云投影至图像上的时候，发现效果很差，完全看不到点云。 最终的这个结果应该也是和真实值的误差大小吧？ 那么通过深度学习预测的最终激光雷达和相机的外参又改如何查看呢，是应该在测试的过程中像下面一样print出来吗？ 祝您工作顺利，生活愉快，如有打扰，非常抱歉，期待您的回复 … ------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" @.>; 发送时间: 2024年6月11日(星期二) 晚上10:57 @**.>; @.@._>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better. @zhusai1234 I also can not reproduce the results in the original paper. Unfortunately, I'm not familiar with Tensorflow and my GPU is also not compatible with CUDA 8, so I did not implement the original code provided by the author. If you have some results, you can upload here and we can discuss. hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image @thompsoncjh I think it is impossible to met this problem, which means the extrinsics are too bad to allow any points to be projected onto the image. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.> CalibNet预测的外参是uncalibrated pointcloud与image的外参，不是初始点云和image的外参，因此这个外参和KITTI提供的真值并不是一个外参。uncalibrated pointcloud是先乘真实外参再乘一个扰动矩阵得到的，因此CalibNet预测的其实是那个扰动矩阵的逆矩阵。在计算metric时类似，例如：

CalibNet_pytorch/test.py

Line 67 in a362a77

rot_dx,tsl_dx = loss_utils.gt2euler(dg.squeeze(0).cpu().detach().numpy())

计算的是CalibNet预测的扰动和真实的扰动的Euler Angle和translation的误差。 如若对该扰动不熟悉，可以查看：dataset.py 请问下既然预测的是扰动矩阵的逆矩阵，那为何后面算的是预测的扰动矩阵的逆矩阵和真实的扰动矩阵之间的误差呢 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.*>

感谢你的回答，上面的了解了，那么其实还要个疑问就是为什么只有旋转角度差别比较大，平移的就还好。

[thompsoncjh]

那么其实还要个疑问就是为什么只有旋转角度差别比较大，平移的就还好？ 有一个问题我想问一下，就是你test的过程中采用的预训练好的checkpoint是readme里面下载的吗，你说的只有旋转角度差别很大、平移误差不大，是从test的log中看出来的吗 你最终的结果是不是和readme的results很接近啊？

…

------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" ***@***.***>; 发送时间: 2024年6月17日(星期一) 中午11:38 ***@***.***>; ***@***.******@***.***>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) 既然预测的是扰动矩阵的逆矩阵，那为何后面算的是预测的扰动矩阵的逆矩阵和真实的扰动矩阵之间的误差呢? 我是这么理解的，他最后计算的dg其实是等于igt和Tcl的相乘，如果预测正确的话，理论上应该接近于一个单位矩阵。但实际上，预测出来会有一些偏差，也就是loss,代码中再将这个矩阵形式用欧拉角和平移向量表示。这个dg与原本的真实外参相乘，应该就是预测的外参。他计算这个dg应该就是用来评价，预测出来的扰动矩阵的逆矩阵能否很好的把扰动矩阵给修正为单位矩阵，从而将受扰动矩阵影响的外参修正为原本的正确的外参。 至于最后的角度误差达到了2点几，3点几的，为何和原论文中0点几差别很大，我也确实有过这样的情况出现。此外，在demo中，在乘完预测扰动矩阵的逆矩阵后的结果比只加扰动矩阵的结果还要差，我之前取了几组数据进行实验，有一些会好一点，但是有一些也会更差。我觉得更差的很大程度上应该是预测扰动矩阵的逆矩阵预测的不够准确吧，模型可能没有论文中的那么完美吧 … ------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" @.>; 发送时间: 2024年6月17日(星期一) 中午11:02 @.>; @.@.>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) 你好，我是一名研0的学生，研究方向也是有关三维计算机视觉方面的，是一名新手。最近在复现calibnet这篇论文，在github上看见了你的贴子，也成功复现了。但是有关最后的测试结果我有些疑问。在原文中，只提及了一些误差的大小，但有关激光雷达和相机的外参大小预测的结果是什么并没有提及，我利用了cam2_oneiter_best.pth进行训练，把测试过程中中间的外参做了提取（本身也有kitti数据集中的calib中的Tr差别很大，这是正常的吗？），但利用这个外参进行点云投影至图像上的时候，发现效果很差，完全看不到点云。 最终的这个结果应该也是和真实值的误差大小吧？ 那么通过深度学习预测的最终激光雷达和相机的外参又改如何查看呢，是应该在测试的过程中像下面一样print出来吗？ 祝您工作顺利，生活愉快，如有打扰，非常抱歉，期待您的回复 … ------------------ 原始邮件 ------------------ 发件人: "gitouni/CalibNet_pytorch" @.>; 发送时间: 2024年6月11日(星期二) 晚上10:57 @**.>; @.@._>; 主题: Re: [gitouni/CalibNet_pytorch] result (Issue #14) Excuse me, blogger, why the final result doesn't seem to be satisfactory, and why I can't use the prediction to make the point cloud and the image match better. @zhusai1234 I also can not reproduce the results in the original paper. Unfortunately, I'm not familiar with Tensorflow and my GPU is also not compatible with CUDA 8, so I did not implement the original code provided by the author. If you have some results, you can upload here and we can discuss. hello,i meet the same question ,maybe we can discuss about the result? in my result ,the point cloud can not be saw in image @thompsoncjh I think it is impossible to met this problem, which means the extrinsics are too bad to allow any points to be projected onto the image. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.> CalibNet预测的外参是uncalibrated pointcloud与image的外参，不是初始点云和image的外参，因此这个外参和KITTI提供的真值并不是一个外参。uncalibrated pointcloud是先乘真实外参再乘一个扰动矩阵得到的，因此CalibNet预测的其实是那个扰动矩阵的逆矩阵。在计算metric时类似，例如： https://github.com/gitouni/CalibNet_pytorch/blob/a362a779a5951b24ded0d7196083a1249b587898/test.py#L67 计算的是CalibNet预测的扰动和真实的扰动的Euler Angle和translation的误差。 如若对该扰动不熟悉，可以查看：dataset.py 请问下既然预测的是扰动矩阵的逆矩阵，那为何后面算的是预测的扰动矩阵的逆矩阵和真实的扰动矩阵之间的误差呢 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.*> 感谢你的回答，上面的了解了，那么其实还要个疑问就是为什么只有旋转角度差别比较大，平移的就还好。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[zhusai1234]

是的，很接近，我重新训练后（改了一点其他的参数啥的），再test结果也差不多

[gitouni]

@zhusai1234 平移其实不好，因为平移每个轴有5cm以上的差距其实是很不小的了。平移一直是深度学习方法里面较难解决的问题，除非通过一些语义先验来优化。在很多场景中，外参y方向的平移对于损失的影响非常小，因为激光雷达存在扫描界限，扫出的大部分物体上界限不完整，无法判断。

[zhusai1234]

@zhusai1234 平移其实不好，因为平移每个轴有5cm以上的差距其实是很不小的了。平移一直是深度学习方法里面较难解决的问题，除非通过一些语义先验来优化。在很多场景中，外参y方向的平移对于损失的影响非常小，因为激光雷达存在扫描界限，扫出的大部分物体上界限不完整，无法判断。

所以您觉得这种问题的出现主要是网络的问题还是方法的问题