Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

xtreme1 very close to the system I want to design and implement #50

Closed
munhou opened this issue Oct 19, 2022 · 2 comments
Closed

xtreme1 very close to the system I want to design and implement #50

munhou opened this issue Oct 19, 2022 · 2 comments
Assignees

Comments

@munhou
Copy link

munhou commented Oct 19, 2022

Sorry for not being able to use English, I have a lot of ideas and translating them will take up a lot of my time

此issue的目的只是为了表达我激动愉悦的心情!!

在我的实际项目中,误识别数据和新数据的不断加入是我提高模型准确率和召回率的重要方式,而没有一个类似的系统,依靠人工不断地搬移数据,运行脚本等工作让人厌烦。我希望通过web界面去实现这些枯燥且重复的工作。

我设计并实现了一个系统

  • 基础的用户管理,包括标注人员以及训练管理人员

  • 灵活的数据标注管理及版本控制系统,(我试图移植嵌入一个现成的web标注软件比如CVAT,但是这些软件存在一些限制,他们API为了方便管理使用了task类似的单元去管理数据,并且不支持动态的增加删除数据,只能增加新的task。而我希望一切以数据集为单元展开,新的数据能够很方便的集成进我的数据集,于是我在fastapi上实现了一套以git为为支撑的后端,实现了数据灵活的改动,又不会使数据的管理混乱),而由于我不熟悉前端知识,我使用了低代码工具appsimth作为web的实现

  • 并且我的模型基于指定版本的git提交进行训练,数据和模型变得很好回溯和重现

  • 在训练完模型后,有一个简单的精度评估和统计,以及可视化测试

  • 一键部署功能将模型打包成onnx文件上传到gitlab的package中供实际项目使用

  • 我暂时只集成了yolov5到我的系统中,我考虑过使用openmmlab作为我的模型训练后端mmdeploy作为推理转换后端,但是因为mmdeploy目前基本没有实现dynamic的tensorrt转换,所以我展示搁置了。因为我的项目中使用triton作为推理引擎,所以我需要模型最后能够被转换到triton(需要dynamic batch提高吞吐量)上运行,yolov5能够实现这一点。但是实现openmmlab作为训练后端是一件很酷的事情,我只需要关注数据本身,以极小的代价就能享受很多先进模型的能力,并且openmmlab的社区非常活跃,mmdeploy也在慢慢成熟,我打算实际项目中实现一个以mmdeploy sdk为基础的推理服务,然后再尝试集成openmmlab,这非常酷

  • 提供一些界面
    image
    image
    image

  • xtreme1目前实现的功能非常酷,我觉得实现预期的功能后,能够很大的帮助到模型落地应用,或者科研的工作者们,让程序员们不再需要对着枯燥的终端开发,我觉的能把openmmlab的配置文件通过web界面修改并且运行是一件很酷的事情,再集成数据的管理,感觉很让人期待,并且由于openmmlab的规范化设计,这些似乎并不是一件特别困难的事情

  • 我知道还有一些类似平台 NVIDIA TAO paddlepaddle也有类似的桌面软件好像

  • 我很希望能够帮助到你们完善这个项目,但是我的coding能力和时间,还不太能支持,但希望我得经验也能给你们提供一点帮助

  • 如果我说了一堆废话,希望你们可以只把这些看成我对这个项目的期待!!

  • 可以关闭这个issue在任何时候

@nicozhan
Copy link
Contributor

感谢文好的Issue!我们非常开心地看到有AI开发者对我们的xtreme1感兴趣~这里面很多内容都可以细化,并转换成一个具体的功能。
我们当然欢迎贡献代码,但是能听到来自AI从业者的需求对我们同样有价值!

请联系我,加你到社区中,也欢迎关注我们之后的动态!
(Tel&Wechat:13051105869)

@cccober
Copy link

cccober commented Jan 18, 2023

我们同样实现了yolov5集成到cvat的工程,现在也看好xtreme1

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

3 participants