AI_v2_pipeline_test_for_vision

상위 문서로 이동 : AI Wiki

v2 pipeline

• Load Models → Load Image → Grounding dino → (Make Prompt) → SDXL Inpainting → Image Upscaling → Labeling

• 이번 Test에서는 Make Prompt 부분은 생략하고 아래와 같이 대체

  • recommend = ["potted plant", "ambient lamp", "LED light", "coffee mug", "desk clock"]
  • prompt = "A cozy, add a stylish potted plant, an ambient lamp, soft LED lighting, a ceramic coffee mug, and a small modern desk clock to the existing desk setup."

• pipeline colab 파일은 따로 공유

Result

• {'ambient lamp light': [(929, 422)]}

• Labeling 되지 않음

• {'ambient lamp led light': [(438, 166)], 'desk clock': [(267, 289)]}

• Labeling 되지 않음

• {'ambient lamp led light': [(554, 343)]}

Issue

• Label이 제대로 되지 않는 문제
• Model Load시 VRAM이 약 8.4GB 사용이지만 5장을 돌리고 난 후 VRAM이 약 8.5GB으로 소폭 상승, 어디선가 메모리 누수중