Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何自建数据集? #17

Open
463f opened this issue Feb 2, 2024 · 6 comments
Open

如何自建数据集? #17

463f opened this issue Feb 2, 2024 · 6 comments

Comments

@463f
Copy link

463f commented Feb 2, 2024

Thks for your excellent work!!!
作者您好,我想问一下:

  1. 如何把自己的数据集转换为 GPS-Gaussian 训练的格式呢?有没有文档呢?

自己数据集的格式:

|-image
    |- 00 # cam
        |- 0000.jpg # frame
        |- ...
|- extri.yaml
|- intri.yaml
  1. 如果想在自己的数据集上测试的话,格式是不是要和 real_data.zip 中的所示一致呢?real_data/parm/0001 每一帧下面都有16个相机的内外参,我理解的是相机是固定的,不是可以共用一组内外参吗?为什么还要重复呢?
@463f
Copy link
Author

463f commented Feb 2, 2024

Note: At the first training time, we do stereo rectify and determine the disparity offline, the processed data will be saved at render_data/rectified_local.
请问如果相机的部署比较随意,比如有的相机拍摄的人物横着的,会影响立体矫正的效果吗?

@rexainn
Copy link

rexainn commented Feb 2, 2024

同问。

@ShunyuanZheng
Copy link
Collaborator

Thks for your excellent work!!! 作者您好,我想问一下:

  1. 如何把自己的数据集转换为 GPS-Gaussian 训练的格式呢?有没有文档呢?

自己数据集的格式:

|-image
    |- 00 # cam
        |- 0000.jpg # frame
        |- ...
|- extri.yaml
|- intri.yaml
  1. 如果想在自己的数据集上测试的话,格式是不是要和 real_data.zip 中的所示一致呢?real_data/parm/0001 每一帧下面都有16个相机的内外参,我理解的是相机是固定的,不是可以共用一组内外参吗?为什么还要重复呢?

针对问题1,有需要的话之后我将会写一个更详细的数据说明文档。外参是w2c的,matting使用RVM或者Background Matting V2。
针对问题2,,测试场景相机内外参确实是每个视点一样的,为了和训练数据保持同样的格式,所以我每一帧复制了一份,固定相机的话修改一下dataloader就好。此外,网络的训练需要深度真值,所以建议在虚拟数据上训练,在真实数据上测试。

@ShunyuanZheng
Copy link
Collaborator

Note: At the first training time, we do stereo rectify and determine the disparity offline, the processed data will be saved at render_data/rectified_local.
请问如果相机的部署比较随意,比如有的相机拍摄的人物横着的,会影响立体矫正的效果吗?

可以看一下立体矫正之后图像的效果,如果人还在画面中就是可以的。随机的相机布置需要虚拟一些随机基线的数据进行训练来覆盖这些场景。

@DarcyFan
Copy link

Thks for your excellent work!!! 作者您好,我想问一下:

  1. 如何把自己的数据集转换为 GPS-Gaussian 训练的格式呢?有没有文档呢?

自己数据集的格式:

|-image
    |- 00 # cam
        |- 0000.jpg # frame
        |- ...
|- extri.yaml
|- intri.yaml
  1. 如果想在自己的数据集上测试的话,格式是不是要和 real_data.zip 中的所示一致呢?real_data/parm/0001 每一帧下面都有16个相机的内外参,我理解的是相机是固定的,不是可以共用一组内外参吗?为什么还要重复呢?

针对问题1,有需要的话之后我将会写一个更详细的数据说明文档。外参是w2c的,matting使用RVM或者Background Matting V2。 针对问题2,,测试场景相机内外参确实是每个视点一样的,为了和训练数据保持同样的格式,所以我每一帧复制了一份,固定相机的话修改一下dataloader就好。此外,网络的训练需要深度真值,所以建议在虚拟数据上训练,在真实数据上测试。

请问有没有更详细的数据说明文档呢?最近也想训练自己的数据集

@ShunyuanZheng
Copy link
Collaborator

Thks for your excellent work!!! 作者您好,我想问一下:

  1. 如何把自己的数据集转换为 GPS-Gaussian 训练的格式呢?有没有文档呢?

自己数据集的格式:

|-image
    |- 00 # cam
        |- 0000.jpg # frame
        |- ...
|- extri.yaml
|- intri.yaml
  1. 如果想在自己的数据集上测试的话,格式是不是要和 real_data.zip 中的所示一致呢?real_data/parm/0001 每一帧下面都有16个相机的内外参,我理解的是相机是固定的,不是可以共用一组内外参吗?为什么还要重复呢?

针对问题1,有需要的话之后我将会写一个更详细的数据说明文档。外参是w2c的,matting使用RVM或者Background Matting V2。 针对问题2,,测试场景相机内外参确实是每个视点一样的,为了和训练数据保持同样的格式,所以我每一帧复制了一份,固定相机的话修改一下dataloader就好。此外,网络的训练需要深度真值,所以建议在虚拟数据上训练,在真实数据上测试。

请问有没有更详细的数据说明文档呢?最近也想训练自己的数据集

抱歉,最近其他事有点多,可能需要再过段时间。训自己的数据有问题加我微信私聊吧,这样高效一些。微信号:Tau97_Zheng

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants