Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

🏅️飞桨套件快乐开源常规赛 #10223

Closed
shiyutang opened this issue Jun 21, 2023 · 88 comments
Closed

🏅️飞桨套件快乐开源常规赛 #10223

shiyutang opened this issue Jun 21, 2023 · 88 comments
Assignees
@shiyutang
Labels
good first issue Good for newcomers status/close

Comments

@shiyutang
Copy link
Collaborator

shiyutang commented Jun 21, 2023 •
edited

活动说明

飞桨套件快乐开源常规赛活动旨在让众多开发者能参与到各大CV/NLP套件的建设工作中（也是我们原有Issue攻关活动的升级版本），包括不限于新增基础功能、论文复现、Issue回复等，任何有利于社区意见流动和问题解决的行为都热切希望大家的参与。让我们共同成长为成为飞桨CV/NLP套件的重要contributors。🎉🎉

在套件快乐开源常规赛活动中，我们会结合技术研讨和任务发布两种活动形式互相促进。任何愿意参与社区贡献（新增代码、Issue解答等），对增长在分割、OCR方向（后续我们会持续开放包括图像检测、部署、图像分类、3D、自然语言处理等方向）知识感兴趣的开发者都可以加入😊。在这个过程中，让大家保持对各大视觉方向知识的持续积累是我们的不变的主旨🔥。

技术研讨会

为了帮助大家循序渐进地了解、建议、开发飞桨模型方向的开源项目，我们搭建了技术研讨会，参与活动的开发者每周可以参与到飞桨RD分享的技术研讨会中，研讨内容包括不限于：

  1. 套件代码结构剖析，read the code。
  2. OCR、Segmentation方向算法综述分享。
  3. OCR、Segmentation方向前沿论文解读。
  4. 讨论新增需求的重要程度，让你的发言推动飞桨套件的发展。

活动价值

研讨会学习的知识可以帮助大家参与我们的各项代码和Issue解答任务，任务完成排行榜将在下方每天更新，期待大家的参与。完成任务的贡献者可以获得：

  1. 技术提升：学习行业内的新动态新方向，让自己的技术实力得以提升；
  2. 荣誉奖励：
    a. 成为极具影响力的视觉套件的重要contributor。
    b. 获得开源贡献证书、社区曝光度、奖状徽章等；
    c. 快乐开源共享奖品，包括PS5，airpods等。
  3. 优秀的开源贡献者可以获得实习内推机会，成为飞桨模型套件方向实习生；

任务攻克排行榜（Issue解答、代码开发）

开发者github id issue解答数量 解答issue 产生的PR数量 （🌟） 完成命题任务的数量 （:dart:）
冲呀呀呀-livingbody 41 🌟 🎯 🎯
ToddBear 11 🎯 🎯
强盛大队-MINGtoMING 🎯 🎯
曲项向天歌-Asthestarsfalll 69 🌟 🌟 🌟 🌟 🌟 🌟 🎯
德布罗意波-marshall-dteach 3 🎯
flytocc 🎯
Liyulingyue 2 🌟 🌟
冲锋小队-Gmgge 7 🌟
风清扬-WilliamQf-AI 6 🌟
GreatX-GreatV 4 🌟
kerneltravel 1 🌟
xu-peng-7 1 🌟
明月心-raoyutian 8
bltcn 1

任务列表

1. 命题任务（持续更新中）：

命题任务是我们经过在 #10334 进行需求征集、在技术研讨会上经过大家讨论确定重要的需求。欢迎对这些需求也感兴趣的开发者参与到这些任务的开发✌️✌️。在开发过程中，你能进行包括任务分解、代码撰写等工作，还会有飞桨的研发全程和你一起解决可能遇到的问题。还等什么，快来参与吧。🎉🎉

  • 做任务流程：

    1. 在本条Issue页面进行报名。
    2. 加一下飞桨套件研发的微信：transy-k，加入到CV套件建设总群，在完成任务中有任何问题都可以进行反馈，会有模型套件方向的RD进行解答。
    3. 完成任务后，在任务对应跟踪Issue页面进行回复完成，RD验收通过后即视作完成，并在当天更新在issue排行榜。

  • 任务达成标准：完成尽可能多的任务，完成情况每天都会更新到任务攻克总榜（Issue解答、代码开发），完成命题任务的数量由:dart:认证

  • 任务列表

23年Q4任务

任务名称
（需求提出者）		 任务描述 tracking issue mentor 报名
MedicalSeg增加滑窗推理功能（@tangshiyu） 3D医疗图像中缺少滑窗推理推理功能，滑窗推理可以进一步增强任意模型的精度 PaddleSeg#3536 @shiyutang
新增early stop功能 （@tangshiyu） ~~early stop作为一种正则化的工具，可以用于模型开发的优化过程中，作为新增功能增加paddleseg中 PaddleSeg#3537~~ @shiyutang @ooooo-create (已完成)
增加类激活图 （@tangshiyu） 激活图可视化能够可以帮助理解深度学习模型任务中的决策过程。通过观察模型关注的区域，可以了解模型是如何根据不同区域的特征来进行分类决策的，是一项十分有意义且重要的功能 PaddleSeg#3538 @shiyutang
增加训练图像、推理图像、标签图像可视化（@Wst-sd） 飞桨支持强大的训练可视化工具VisualDL，用于记录和监控训练过程，可以在每次模型保存过程中，增加训练图像、推理图像、标签图像可视化，更直观地感受训练效果 PaddleSeg#3545 @shiyutang
CAT-Seg (CVPR'2023)模型复现（@tangshiyu） CAT-Seg是open-vocabulary semantic segmentation的前沿模型，其提出了一种cost aggregation方法将CLIP表征应用于像素级分割任务，在多个数据集上达到了开放集分割的SOTA PaddleSeg#3535 @shiyutang
VPD模型+下游任务（视觉感知、图像分割、深度估计）（@tangshiyu） VPD是结合Diffusion Models的图文预训练模型，可以广泛的应用于下游任务，如视觉感知、图像分割、深度估计等等，且均取得了不错的效果。可以将VPD接入PaddleSeg中，并应用于下游任务中 PaddleSeg#3540 @shiyutang
新增图文对话模型X-GPT （@tangshiyu） X-Decoder 集成了图像理解的多类任务，结合GPT和SD相关生成模型就可以实现All-in-One的图文对话式agnet PaddleSeg#3541 @shiyutang
验证并提升SAM+Clip在语义分割场景下的zero-shot分割精度 （@tangshiyu） 以语义分割为代表的视觉任务存在泛化性差的问题，即每次在新数据上都需要重新训练。大模型的发展利用图文链接的形式大大提升了模型的泛化性，但是前沿论文对于zero-shot的研究表明，完全的zero-shot的分割精度依旧较低。因此我们借用clip中对zero-shot的定义，即在未见过的图片而非是未见过的类别上，查看CLIP+SAM模型的分割效果（这一定义也十分有实用意义），并借用前沿论文的思想对baseline进一步优化。这一举动将验证并优化语义分割模型在未见过的数据上的泛化性 PaddleSeg#3542 @shiyutang
【Bug Fix】humanseg显存泄漏（@enemy1205） 使用PaddleSeg进行人像分割时，对大批量数据进行人像分割推理时，内存释放不充分，出现内存堆积问题，触发Linux OOM机制导致程序被kill。 PaddleSeg#3543 @shiyutang
【Bug Fix】modnet推理问题（@munibkhanali） 使用modnet进行image matting，在将其转换为 paddlelite 兼容模型时，出现报错，具体参考（#3477） PaddleSeg#3544 @shiyutang
补充Satrn识别模型文档（@tangshiyu） 新增的Satrn识别模型缺少说明文档，适合开源贡献经历较少的同学了解提交PR过程并熟悉OCR文档 PaddleOCR#11131 @shiyutang @wkml
补充Satrn识别模型TIPC（@tangshiyu） 新增的Satrn模型缺少TIPC，完成tipc有利于上手训推全流程自动化脚本验证过程 PaddleOCR#11133 @shiyutang
增加多卡评估（@flytocc） 目前PaddleDetection仅支持单卡评估，希望支持多卡评估 PaddleDet#8682 @shiyutang @MINGtoMING
为PaddleOCR增加训练时周期性验证的开关（@tangshiyu） 为PaddleOCR增加训练时周期性验证的开关；为PaddleOCR增加eval_epoch_step参数。与PaddleCV的其它基础套件PaddleSeg、PaddleDetection、PaddleClas、Paddle3D等不同，PaddleOCR不支持上述功能，这导致包括但不限于如下问题：用户有时只想要将模型训练一定的迭代轮数，并不希望在训练时进行精度评估（这可能带来额外的时间开销），而目前PaddleOCR无法优雅地满足这个需求，只能通过设定一个较大的eval_batch_step数值来实现。更换数据集后，由于数据集大小发生改变，用户往往也需要修改eval_batch_step配置，以使得eval频率合适。PaddleOCR中实现的是epoch-based trainer，在配置文件中设置的也是epoch_num而不是num_iters，但eval_batch_step却是iters粒度的控制，存在风格不契合的问题。 PaddleOCR#11132 @shiyutang

23年Q3任务

任务名称
（需求提出者）		 任务描述 tracking issue mentor 报名
文字识别返回单字识别坐标（@EasyIsAllYouNeed @WilliamQf-AI，已完成） 在文本识别之后，增加对单字位置坐标的返回，可以用于文档比对、合同篡改等大量场景中。 PaddleOCR#10377 @shiyutang @ToddBear #10515
套件一致性计划 任务有更新为两个子任务（@Bobholamovic ） 各大CV套件目前在依赖库、模型保存路径等问题上存在很多不一致性，导致没有办法达到环境统一，使用知识迁移等效果，体验效果变差。此任务致力解决这个问题，同时解决难度不高，是一个非常适合上手的任务 PaddleOCR#10380 @shiyutang @Bobholamovic @livingbody
【论文复现】Segment Anything 加速版 MobileSAM（@qiaoyu1002 （已完成） 根据原作者提出的issue https://github.com/PaddlePaddle/PaddleSeg/issues/3346， 复现论文MobileSAM。该模型为火爆的SAM模型的加速版本，大大提升了SAM的使用体验，该模型目前已经有2.9k star，模型、代码已经开源，只需进行前向对齐即可 PaddleOCR#10451 @shiyutang @Asthestarsfalll PaddleSeg#3349
【论文复现】OCR识别模型Parseq（@printfxs）（已完成） 该模型将视觉和语义信息结合，实现精度和速度的双重提升，对比前沿模型SVTR有进一步优势 PaddleOCR#10452 @shiyutang @ToddBear
【论文复现】检测模型策略--基于PPDET Deformable DETR复现SQR增强策略(@lyuwenyu ) 为Paddledet增加前沿策略SQR，可以应用在多个模型中 PaddleDetection#8498 @shiyutang @juncaipeng @flytocc
【论文复现】分类模型--多标签分类任务ML-Decoder (@cuicheng01 @zhangyubo0722)（已完成） 该论文提出的可扩展通用分类头在多标签分类、zero-sho以及单标签分类任务上表现出很好的效果。本任务的完成可以扩充PaddleClas多标签分类相关视觉任务，并有众多应用场景。作者团队基于不同数据集验证不同任务的性能，充分证明ML-Decoder分类头的性能以及泛用性。 PaddleClas#2896 @cuicheng01 @shiyutang @MINGtoMING
【模型压缩推全计划】为六大套件新增模型压缩功能（@shiyutang） 目前各套件的模型压缩能力参差不齐，而模型压缩作为部署之前的一步，可以在不损害或者少量损害模型精度的情况下，对模型的能耗，速度、大小都有显著的改善。因此为了对各套件的模型压缩进行推全，我们提出了基于PaddleSlim的ACT为各大套件新增模型压缩功能的计划。 PaddleOCR#10657 @shiyutang 在issue页面报名
为PaddleSeg添加多标签语义分割的功能（@Wulx2050） 多标签分割是分割中的一个分支，常用于医疗分割中，通过修改分割头和损失函数即可实现。 PaddleSeg#3456 @shiyutang @MINGtoMING

2. Good first issue

  • 任务说明：通常是一些对于文档不熟悉、代码运行报错、bug 的修复等，你可以通过完成这个 ISSUE/PR 来踏出贡献代码的第一步。

  • 做任务流程：

    1. 在本条Issue页面进行报名。
    2. 加一下飞桨套件研发的微信：transy-k 加入到CV套件建设总群，在完成任务中有任何问题都可以进行反馈，会有模型套件方向的RD进行解答。
    3. 回复issue，认为回答正确后本页面进行回复完成，RD验收通过后即完成一条，并在当天更新在任务完成排行榜。

  • 任务达成标准：完成尽可能多的issue，完成情况每天都会更新到任务攻克总榜（Issue解答、代码开发），如果在此基础上额外提出了PR并合入的进行额外加星🌟。

  • 任务列表：

    1. PaddleOCR Repo： good first issue
    2. PaddleSeg Repo：good first issue

报名模版

队伍名：XXX
队伍成员微信昵称：XX
功能描述：（可选）描述想要实现的功能
【提交时补充】issue/PR地址：Github链接

💡 欢迎提出你的想法

  • 欢迎向套件方向的建设提出你的想法，无论是对各大套件想提出新的需求，还是对我们建设方向的建议，都欢迎踊跃提出你的意见。关于新增需求或问题可以在issue中提出。你的需求和建议也可能成为我们后续发布的任务，大家可以群策群力一起实现。
@shiyutang shiyutang assigned shiyutang and unassigned huangjun12 Jun 21, 2023
@shiyutang shiyutang added the good first issue Good for newcomers label Jun 21, 2023
@tink2123 tink2123 pinned this issue Jun 21, 2023
@shiyutang shiyutang mentioned this issue Jun 28, 2023
Closed
1 task
@Gmgge
Copy link
Contributor

Gmgge commented Jun 29, 2023 •
edited

队伍名：冲锋小队
队伍成员微信昵称：浮云
功能描述：OCR，推理部署
1.#10115 onnx推理问题，由于当前onnx模型已经支持动态shape，尝试获取固定的输入shape从而进一步处理的操作不再需要 （验证通过）
2.#10244 论文与数据集相关问题（验证通过）
3.#10233 旋转文本检测意见 （验证通过）
4.#10301 PaddleLabel修改自动标注使用的模型（验证通过）
5.#10327 图像resize预处理问题 （验证通过）
6.#10578 pyqt中float隐式转int问题（验证通过）
7.#10748 图像通道数不匹配问题（验证通过）
8.#11166 paddlelabel启动时，调用到环境中的paddleocr而非本地的代码问题

This was referenced Jun 29, 2023
Closed
Closed
Closed
Closed
Merged
Merged
@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#10232 （需要继续跟进）
#10258 （已经由shiyutang回答）
#10248 （验证通过）
#10247 （需要继续跟进）
#10231 （验证通过）
#10273 （验证通过）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#10205 （需要继续跟进）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#10202 （验证通过）

This was referenced Jun 30, 2023
Closed
Closed
Closed
Closed
@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#10200 （需要继续跟进）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#10204 （验证通过）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#10188 （验证通过）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#10062 （需要进一步跟进）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#10103 （验证通过）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#10022 （验证通过）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#10021 （验证通过）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#9854 （验证通过）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#9830 （需要继续跟进）

@livingbody
Copy link
Contributor

livingbody commented Jun 30, 2023 •
edited by shiyutang

队伍名：冲呀呀呀
队伍成员微信昵称：livingbody
功能描述：OCR

#9821 （需要进一步跟进）

This was referenced Aug 7, 2023
Closed
Closed
Closed
Closed
Closed
@raoyutian
Copy link
Contributor

raoyutian commented Aug 9, 2023 •
edited by shiyutang

队伍名：明月心
队伍成员微信昵称：raoyutian
功能描述：使用保存识别结果+V4发布时间咨询

#10547 （验证通过）
#10533 （继续跟进）

@shiyutang shiyutang mentioned this issue Aug 10, 2023
Merged
@WilliamQf-AI
Copy link
Contributor

WilliamQf-AI commented Aug 10, 2023 •
edited by shiyutang

队伍名：风清扬
队伍成员微信昵称：WilliamQf-AI
功能描述：ocr
#10313 （验证通过）
#10533 （继续跟进）

This was referenced Aug 14, 2023
Closed
Closed
Closed
Closed
@WilliamQf-AI
Copy link
Contributor

WilliamQf-AI commented Aug 14, 2023 •
edited by shiyutang

队伍名：风清扬
队伍成员微信昵称：WilliamQf-AI
功能描述：是否可以根据语言加载模型
#9736 (验证通过)

@Asthestarsfalll Asthestarsfalll mentioned this issue Aug 16, 2023
Closed
@WilliamQf-AI
Copy link
Contributor

WilliamQf-AI commented Aug 17, 2023 •
edited by shiyutang

队伍名：风清扬
队伍成员微信昵称：WilliamQf-AI
功能描述：ocr_v4怎样使用
https://github.com/PaddlePaddle/PaddleOCR/issues/10636（验证通过）

@ToddBear
Copy link
Collaborator

ToddBear commented Aug 23, 2023 •
edited

队伍名：飞桨小队
队伍成员微信昵称：zejia_su
功能描述：Issue解答记录

#10201 (验证通过)
#9617 (继续跟进)
#9617 (继续跟进)
#9711 (继续跟进)
#10360 (继续跟进)
#10389 (验证通过)
#10414 (验证通过)
#10442 (验证通过)
#10459 (验证通过)
#10466 (继续跟进)
#10475 (验证通过)
#10471 (验证通过)
#10484 (验证通过)
#10520 (验证通过)
#10532 (验证通过)
#10500 (验证通过)
#10534 (继续跟进)
#10815 (验证通过)

@WilliamQf-AI
Copy link
Contributor

队伍名：风清扬
队伍成员微信昵称：WilliamQf-AI
功能描述：ocr
#9776

@Ligoml Ligoml mentioned this issue Aug 27, 2023
Closed
@MINGtoMING
Copy link
Collaborator

MINGtoMING commented Aug 28, 2023 •
edited by shiyutang

队伍名：强盛大队
队伍成员微信昵称：MINGtoMING
功能描述：【论文复现】分类模型--多标签分类任务ML-Decoder (@cuicheng01 @zhangyubo0722)
PR链接：https://github.com/PaddlePaddle/PaddleClas/pull/2957（已合入）

@shiyutang shiyutang mentioned this issue Aug 28, 2023
Closed
@vax521
Copy link

vax521 commented Aug 30, 2023

队伍名：晓飞的团队
队伍成员微信昵称：晓飞
功能描述：报名【论文复现】Visual ChatGPT

@MINGtoMING
Copy link
Collaborator

队伍名：强盛大队
队伍成员微信昵称：MINGtoMING
功能描述：为PaddleSeg添加多标签语义分割的功能（@Wulx2050）
PR链接：https://github.com/PaddlePaddle/PaddleSeg/pull/3479（已合入）

@ooooo-create
Copy link

ooooo-create commented Nov 1, 2023 •
edited

队伍名：摸鱼鱼的o
队伍成员微信昵称：ooooo
功能描述：【报名】新增early stop功能
PR链接：https://github.com/PaddlePaddle/PaddleSeg/pull/3558（已合入）

@Ligoml Ligoml closed this as completed Jan 15, 2024
@Wst-sd
Copy link

Wst-sd commented Jan 15, 2024 via email

@wkml
Copy link
Contributor

wkml commented Jan 15, 2024 via email

@Ligoml Ligoml unpinned this issue Feb 28, 2024
@charliedream1 charliedream1 mentioned this issue Apr 7, 2024
Closed
@cnszmike cnszmike mentioned this issue Apr 26, 2024
Closed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@shiyutang shiyutang

Labels
good first issue Good for newcomers status/close
Projects
Call for Contributions
Status: Done
PaddleOCR/release 2.7
Status: Done
Milestone
No milestone
Development

No branches or pull requests