2026-08-03 마스킹 — 이 본문은 처음에 시연 DB 의 실사용자 기록을 그대로 인용했다. 구조와 판정만 남기고 가렸다. 원자료는 S15P11A705-255 리포트에 있다.
증상
본문 [합성어 3자] 로 시작하는 40자 기록
질의 [합성어 3자] → 나온다
질의 [앞부분 2자] → 안 나온다
같은 기록인데 뒤 한 글자를 떼면 못 찾습니다.
2026-08-03 운영에서 관측했습니다. 이미지 갱신 이후 상태입니다.
왜 별도 이슈인가
같은 날 나온 다른 두 증상과 원인이 다를 수 있습니다.
| 이슈 |
질의 |
본문과의 관계 |
| #86 |
2자 단어 |
완전 일치 |
| 이것 |
합성어 앞 2자 |
부분 문자열 — 본문은 3자 합성어 |
| #88 |
약어 2자 |
축약형 — 본문은 4자 확장형 |
가설 — 확인 전입니다
BPE 토크나이저가 합성어를 한 덩어리로 묶으면 앞부분과 벡터가 멀어집니다. 임베딩은 문자열 포함을 모르므로, 토큰이 갈리면 두 표현이 서로 무관해집니다.
합성어가 되는 이유 질의 토큰과 본문 토큰이 같다
앞부분이 안 되는 이유 토큰이 다르면 의미상 가까워도 벡터가 멀 수 있다
다만 짧은 질의 자체가 불안정한 것일 수도 있어 단정하지 않습니다. #86(완전 일치인데도 안 됨)이 그 가능성을 시사합니다.
이 증상은 임베딩만으로 못 풀 수 있습니다
부분 문자열 매칭은 의미 유사도의 문제가 아닙니다. 임베딩 모델을 바꿔도 보장되지 않고, pg_trgm·tsvector 같은 키워드 검색을 함께 쓰는 쪽이 원리에 맞습니다.
다만 측정이 먼저입니다 — 컷이 자른 것이라면 설정 하나로 끝납니다.
추적
S15P11A705-255 — 합성어와 앞부분의 유사도·순위를 재고, 길이가 다른 비교군을 함께 넣어 짧아서인지 부분어라서인지 가릅니다.
증상
같은 기록인데 뒤 한 글자를 떼면 못 찾습니다.
2026-08-03 운영에서 관측했습니다. 이미지 갱신 이후 상태입니다.
왜 별도 이슈인가
같은 날 나온 다른 두 증상과 원인이 다를 수 있습니다.
가설 — 확인 전입니다
BPE 토크나이저가 합성어를 한 덩어리로 묶으면 앞부분과 벡터가 멀어집니다. 임베딩은 문자열 포함을 모르므로, 토큰이 갈리면 두 표현이 서로 무관해집니다.
다만 짧은 질의 자체가 불안정한 것일 수도 있어 단정하지 않습니다.
#86(완전 일치인데도 안 됨)이 그 가능성을 시사합니다.이 증상은 임베딩만으로 못 풀 수 있습니다
부분 문자열 매칭은 의미 유사도의 문제가 아닙니다. 임베딩 모델을 바꿔도 보장되지 않고,
pg_trgm·tsvector같은 키워드 검색을 함께 쓰는 쪽이 원리에 맞습니다.다만 측정이 먼저입니다 — 컷이 자른 것이라면 설정 하나로 끝납니다.
추적
S15P11A705-255— 합성어와 앞부분의 유사도·순위를 재고, 길이가 다른 비교군을 함께 넣어 짧아서인지 부분어라서인지 가릅니다.