IPCC : Intelligent Perception and Cooperative Computing Platform on Constellation Network

项目主页

 

简介

本项目是基于多个 NVIDIA Jetson Orin NX 边缘计算设备所搭建的🌏 分布式遥感图像智能解译平台 🌏。

其中各个🌟 后端模型 🌟基于 mmsegmentation、mmpretrain、mmdetection 等开源项目进行开发，并基于 mmdeploy 进行模型的部署和推理工作。

本项目的后端模型目前支持的版本为Python 3.8 、 PyTorch 1.11 、 mmcv 2.0.1 、 mmdet 3.3.0 、 mmsegmentation 1.2.2 、 mmpretrain 1.2.0 , 在NVIDIA Jetson Orin NX 上采用JetPack 5.1.1 ,其余具体环境配置请参考📜 IPCC终端环境配置指南、补丁包更新说明 📜。

本项目所应用到的🚀 后端模型及其处理脚本 🚀可以直接从 这个云盘 获取。

主要特性

✨ 多场景智能感知

提供不同数据集场景下的 多种后端模型 ，涵盖遥感场景分类、遥感地物分割、遥感目标检测等不同任务，并且 支持fp16与int8量化 ，便于轻松部署和推理

✨ 多星通信组网

基于底层socket，封装了文件层面的传输，并可进行命令式交互，极大简化了传输的流程

✨ 分布式协同计算

灵感源于pytorch的分布式训练中的通信原语，实现了文件层面的通信原语操作，如broadcast、scatter、gather等。

✨ 半实物仿真与可视化前端 （暂未更新）

实现半实物的仿真系统以及流量负载可视化前端

更新日志

🎉 2024.2.1 正式发布IPCC项目，更新了基本的模型推理脚本以及90余个不同的mmseg模型后端。

🎉 2024.2.6 更新了后端模型补丁更新脚本、后端检查脚本，修复了模型推理脚本多张图片存储不一致的问题，新增支持mmseg模型后端，总共包含162个不同的后端。

🎉 2024.2.26 更新了通信组网代码，可通过极简单的命令式交互轻松进行图片或者文件的传输；将图片推理脚本融合进通信组网的命令式交互当中；新增更新25个遥感场景分类后端，但暂未更新推理脚本。

模型库

目前已经提供的TensorRT后端如下：

框架	模型	主干	量化方式
			no	fp16	int8
mmsegmentation	DeepLabV3+	ResNet18	512✅/1024✅	512✅/1024✅	512✅/1024✅
		ResNet50	512✅/1024✅	512✅/1024✅	512✅/1024✅
		ResNet101	512✅/1024✅	512✅/1024✅	512✅/1024✅
	PSPNet	ResNet18	512✅/1024✅	512✅/1024✅	512✅/1024✅
		ResNet50	512✅/1024✅	512✅/1024✅	512✅/1024✅
		ResNet101	512✅/1024✅	512✅/1024✅	512✅/1024✅
	FCN	ResNet18	512✅/1024✅	512✅/1024✅	512✅/1024✅
		ResNet50	512✅/1024✅	512✅/1024✅	512✅/1024✅
		ResNet101	512✅/1024✅	512✅/1024✅	512✅/1024✅
mmpretrain	ResNet	ResNet18	224✅	224✅	224✅
		ResNet50	224✅	224✅	224✅
		ResNet101	224✅	224✅	224✅
	EfficientNet	B0	224✅	224✅	224✅
		B1	224✅	224✅	224✅
		B2	224✅	224✅	224✅
		B3	224✅	224✅	224✅
		B4	224✅	224✅	224✅

教程文档

环境配置

• 云服务器开发环境配置
• NVIDIA Jetson 环境配置

模型部署和推理

• 模型推理
• 补丁更新

通信组网相关

• 命令式交互通信

致谢

本项目是基于 mmsegmentation、mmpretrain、mmdetection 等项目进行开发、基于 mmdeploy 进行落地部署的，诚挚感谢相关的开发者们！

开源许可证

该项目采用 Apache 2.0 开源许可证。

欢迎联系和交流

如果您有任何想交流的问题或者建议，可以通过以下邮箱联系我们😁。

shadowwalk370@hotmail.com