You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
온디바이스 AI 문법 교정 기능 추가, 메모리 사용량 최적화, LLM 요약 병렬처리를 우선순위 큐로 변경, Live Activity 추가
배경/동기
왜 이게 필요한지 (선택)
문법 교정 후 바로 LLM을 메모리에서 해제 한다면 요약을 실행 전 모델을 load해야 하기에 매우 느려질 수 밖에 없다.
그렇기에 clearCache만 하고 container를 살려두고 요약이 끝난 시점에 메모리에서 해제합니다.
( 현재 테스트 평균 : 10초 , 메모리 사용량: 2.7GB )
현재 ai요약 방식은 병렬 처리로 다수의 음성노트를 요약할 수 있지만 메모리 사용량 또한 배로 증가 하여 프로세스 종료가 될 수 밖에
없습니다. 그렇기에 병렬을 제거하고 큐에 넣는 방식을 채택
문법 교정 기능을 전사 완료 후 호출되도록 추가합니다.
Live Activity: 녹음을 백그라운드에서 진행 가능하지만 현재 녹음 중임을 사용자에게 정확히 전달하기 어려움.
제안하는 동작
구체적으로 어떻게 동작하면 좋을지
( 전사 -> 문법 교정 -> ai 요약 ) 을 하나의 Process로 두고 병렬 처리를 하지만 대기열 큐에 넣어 순차적으로 처리되도록 합니다.
요청 내용
배경/동기
문법 교정 후 바로 LLM을 메모리에서 해제 한다면 요약을 실행 전 모델을 load해야 하기에 매우 느려질 수 밖에 없다.
그렇기에 clearCache만 하고 container를 살려두고 요약이 끝난 시점에 메모리에서 해제합니다.
( 현재 테스트 평균 : 10초 , 메모리 사용량: 2.7GB )
현재 ai요약 방식은 병렬 처리로 다수의 음성노트를 요약할 수 있지만 메모리 사용량 또한 배로 증가 하여 프로세스 종료가 될 수 밖에
없습니다. 그렇기에 병렬을 제거하고 큐에 넣는 방식을 채택
문법 교정 기능을 전사 완료 후 호출되도록 추가합니다.
Live Activity: 녹음을 백그라운드에서 진행 가능하지만 현재 녹음 중임을 사용자에게 정확히 전달하기 어려움.
제안하는 동작
대안
참고