Popular repositories Loading

1. resnet50_onnx_project resnet50_onnx_project Public

   •用 ONNX Runtime 优化ResNet50 图像分类服务，对比原生 PyTorch 的推理速度和显存占用

   Python

2. resnet50_api resnet50_api Public

   使用 FastAPI 写一个 ResNet50 图像分类服务，支持单张和批量图片上传

   Python

3. resnet50_api_docker resnet50_api_docker Public

   用 Docker 打包ResNet50 图像分类服务，编写 docker-compose.yml 文件，实现一键部署

   Python

4. internvl2_deploy internvl2_deploy Public

   基于 vLLM 部署 InternVL2-8B 多模态大模型,提供 curl/OpenAI SDK/requests 三种调用示例

   Python

5. internvl2_quant_awq internvl2_quant_awq Public

   对 InternVL2-8B 多模态大模型进行 AWQ 4bit 量化，对比量化前后的显存占用、推理延迟和吞吐量。

   Python