Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

您好,我想了解位姿优化部分具体是怎么做的,谢谢。 #39

Closed
yushengjiexy opened this issue Sep 20, 2022 · 12 comments
Closed

Comments

@yushengjiexy
Copy link

之前我们讨论是借鉴nerf--来做位姿优化。但我有两个问题:
1.如何处理大场景的位姿优化,因为汽车行驶过程中,可能后期见到的画面和之前的图像没有任何形似点。
2.怎么更好地利用视频序列来做位姿优化。
谢谢您的工作!

@sjtuytc
Copy link
Owner

sjtuytc commented Sep 20, 2022

现在这块应该还是有待研究的课题,值得关注的是pixel-sfm。

@yushengjiexy
Copy link
Author

谢谢回复,我也是冰冰的粉丝!
我意思是集成在nerf网络里的"Learned Pose Refinement"部分是怎么做的,能展开说说吗?
image

@sjtuytc
Copy link
Owner

sjtuytc commented Sep 20, 2022

这块我们讨论过,感觉缺乏一些细节,所以暂时没做。

@ghost
Copy link

ghost commented Sep 20, 2022

暂时没做,还有别的任务,你可以自己完成一下,代码都开源的,不难的

@yushengjiexy
Copy link
Author

恩,多谢回复。
我尝试用SCNeRF去做,但发现它处理不了视频输入,而且无法适应大场景的pose refine,想我在开头说的。
麻烦能给一个大方向吗,是可以用NeRF--来处理吧?

@ghost
Copy link

ghost commented Sep 20, 2022

不影响啊,你为什么要纠结视频输入,而且有一个问题是,大场景本身是拆分成若干个小场景来进行重建的,你是直接把整个大场景用一个NeRF来重建?

@yushengjiexy
Copy link
Author

恩,谢谢回复!

我也打算把整个大场景拆分来重建,我只是好奇pose refine也是拆分成每个小场景来做的嘛?因为相机内参在整个大场景里可以当作是不变的吧。

1.我以为做pose refine结合图像的时序信号会更好,那我把它简单处理成多视角图像集就好。
2.我好奇是怎么拆分成一个个小场景。在一个小场景里图片之间应该有很高的相似度,不然会不会做不了pose reifne。

@ghost
Copy link

ghost commented Sep 20, 2022

看仓库里面的split_block.py

@yushengjiexy
Copy link
Author

谢谢,我去看看 @SEUleaderYang

@yushengjiexy
Copy link
Author

我发现代码里是固定距离去拆分blcok,这样能保证每个blcok里图和图之间能匹配上吗?如果我的拆分距离变长了,是不是就匹配不上了。

@sjtuytc
Copy link
Owner

sjtuytc commented Sep 20, 2022

好问题,也是我们在做的新工作要着重解决的,欢迎关注。

@ghost
Copy link

ghost commented Sep 20, 2022

那这就不是block-nerf考虑的问题了

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants