[연동 방식] 프레임 업로드 유지 vs 영상 스트림 전환

[owonye]

배경

현재는 프론트엔드가 카메라 화면을 프레임 단위로 캡처해서 백엔드 /api/interaction/detect로 전송하고 있습니다.

이 방식은 구현이 단순하다는 장점이 있지만, 손끝이 조금만 흔들려도 결과가 튀거나 객체 매칭이 불안정해질 수 있습니다.

논의하고 싶은 내용

실시간 인식 안정성을 높이기 위해 현재 프레임 업로드 방식을 유지하면서 안정화 로직을 넣을지, 아니면 영상 스트림 기반 처리로 전환할지 의견을 모으고 싶습니다.

선택지

1. 프레임 업로드 방식 유지 + 안정화

예시:

• 최근 3~5프레임 결과를 기준으로 확정
• 같은 결과가 연속으로 나올 때만 문구/음성 갱신
• 손끝-객체 매칭 기준 보정

장점:

• 현재 구조를 크게 바꾸지 않아도 됨
• 구현 부담이 비교적 적음
• 발표 전 일정에 맞추기 쉬움

단점:

• 순간적인 흔들림이나 프레임 손실 영향이 남을 수 있음
• 진짜 스트림 처리만큼 부드럽지는 않을 수 있음

2. 영상 스트림 기반 처리로 전환

예시:

• FE -> BE 또는 FE -> AI 를 WebSocket / 스트림 방식으로 전송
• 연속 프레임 기준으로 손끝/객체 추적
• 실시간으로 결과 push

장점:

• 인식 안정성과 추적 자연스러움이 더 좋아질 가능성이 큼
• 손끝-객체 매칭이 덜 튐

단점:

• 구현 난이도와 수정 범위가 큼
• FE / BE / AI 모두 구조 변경이 필요함
• 일정 리스크가 있음

현재 제안

당장 발표 전 안정성을 우선하면 프레임 업로드 방식을 유지하되 안정화 로직을 추가하는 방향이 더 현실적이라고 생각합니다.

다만 이후 계속 발전시킬 계획이라면 영상 스트림 방식도 장기적으로는 검토할 가치가 있습니다.

의견 부탁

• 이번 일정 기준으로 1안 / 2안 중 어떤 방향이 더 적절한지
• 영상 스트림으로 간다면 FE / BE / AI 중 어디서 처리 책임을 많이 가져가는 게 좋을지
• 우선 MVP는 프레임 방식으로 두고, 추후 스트림 전환으로 나누는 게 맞는지

[yeverycode]

저는 이번 일정 기준으로는 1안(프레임 업로드 방식 유지 + 안정화 로직 추가) 이 더 적절하다고 생각합니다.

현재 서비스는 발표 및 시연 안정성이 가장 중요한 시점이기 때문에, FE/BE/AI 구조를 크게 변경해야 하는 영상 스트림 방식은 일정 리스크가 다소 크다고 생각합니다.

우선은 현재 구조를 유지하면서 다음과 같은 방식으로 안정화를 적용하면 충분히 개선 효과를 볼 수 있을 것 같습니다.

• 최근 N프레임 결과 기반으로 객체 확정
• 동일 객체가 연속 검출될 때만 음성/문구 갱신
• 손끝 좌표 smoothing 적용
• 손끝-객체 매칭 임계값 보정

영상 스트림(WebSocket 등) 기반 처리는 추후 서비스 고도화 단계에서 검토하면 좋을 것 같습니다. 장기적으로는 객체 추적과 손끝 추적의 자연스러운 연결을 위해 스트림 방식이 유리하지만, 현재 MVP 단계에서는 구현 복잡도 대비 얻을 수 있는 이점이 크지 않을 수 있다고 생각합니다.

따라서 이번 프로젝트는 프레임 방식 + 안정화 로직으로 마무리하고, 이후 확장 시 스트림 기반 구조를 검토하는 방향에 찬성합니다.