[연동 방식] 프레임 업로드 유지 vs 영상 스트림 전환

[owonye]

배경

현재는 프론트엔드가 카메라 화면을 프레임 단위로 캡처해서 백엔드 /api/interaction/detect로 전송하고 있습니다.

이 방식은 구현이 단순하다는 장점이 있지만, 손끝이 조금만 흔들려도 결과가 튀거나 객체 매칭이 불안정해질 수 있습니다.

논의하고 싶은 내용

실시간 인식 안정성을 높이기 위해 현재 프레임 업로드 방식을 유지하면서 안정화 로직을 넣을지, 아니면 영상 스트림 기반 처리로 전환할지 의견을 모으고 싶습니다.

선택지

1. 프레임 업로드 방식 유지 + 안정화

예시:

• 최근 3~5프레임 결과를 기준으로 확정
• 같은 결과가 연속으로 나올 때만 문구/음성 갱신
• 손끝-객체 매칭 기준 보정

장점:

• 현재 구조를 크게 바꾸지 않아도 됨
• 구현 부담이 비교적 적음
• 발표 전 일정에 맞추기 쉬움

단점:

• 순간적인 흔들림이나 프레임 손실 영향이 남을 수 있음
• 진짜 스트림 처리만큼 부드럽지는 않을 수 있음

2. 영상 스트림 기반 처리로 전환

예시:

• FE -> BE 또는 FE -> AI 를 WebSocket / 스트림 방식으로 전송
• 연속 프레임 기준으로 손끝/객체 추적
• 실시간으로 결과 push

장점:

• 인식 안정성과 추적 자연스러움이 더 좋아질 가능성이 큼
• 손끝-객체 매칭이 덜 튐

단점:

• 구현 난이도와 수정 범위가 큼
• FE / BE / AI 모두 구조 변경이 필요함
• 일정 리스크가 있음

현재 제안

제 생각에는 당장 발표 전 안정성을 우선하면 프레임 업로드 방식을 유지하되 안정화 로직을 추가하는 방향이 더 현실적입니다.

다만 이후 계속 발전시킬 계획이라면 영상 스트림 방식도 장기적으로는 검토할 가치가 있습니다.

의견 부탁

• 이번 일정 기준으로 1안 / 2안 중 어떤 방향이 더 적절한지
• 영상 스트림으로 간다면 FE / BE / AI 중 어디서 처리 책임을 많이 가져가는 게 좋을지
• 우선 MVP는 프레임 방식으로 두고, 추후 스트림 전환으로 나누는 게 맞는지