Repository navigation
ELOG 014 envoyfilter vhost silent nomatch
| 항목 | 내용 |
|---|---|
| 분류 | 🔧 트러블슈팅 |
| 날짜 | 2026-08-31 |
| 영역 | Infra |
| 관련 이슈/PR | #1248, #1237, #456 |
| 상태 | 해결 |
api.orino.dev에 rate limit이 걸려 있다고 믿고 있었다. ratelimit-be EnvoyFilter가 배포돼 있고, 게이트웨이 config_dump에도 필터가 보였다.
한 번도 걸린 적이 없었다. 30일간 429 응답 0건.
#1237에서 s.orino.dev에 같은 필터를 붙이려다, 기존 필터가 어디에도 적용돼 있지 않다는 것을 발견했다.
매치 조건이 존재하지 않는 vhost를 가리키고 있었다.
routeConfiguration:
vhost:
name: api.orino.dev:80 # ← 이런 vhost가 없다vhost 이름은 <host>:<Gateway 서버 포트>다. orino-gateway는 #456에서 Cloudflare를 걷어내고 공유기가 443만 포워딩하게 된 뒤로 443 서버 하나뿐이라, 실제 이름은 api.orino.dev:443이다.
이 실패가 조용한 이유가 핵심이다. EnvoyFilter는 매치되지 않는 패치를 경고 없이 넘어간다. 게다가 이 필터는 패치가 둘이었다:
| 패치 | vhost 이름을 보는가 | 결과 |
|---|---|---|
HTTP_FILTER (필터를 체인에 넣음) |
아니오 | 정상 적용 |
HTTP_ROUTE (토큰 버킷을 얹음) |
예 | 조용히 누락 |
그래서 config_dump에 envoy.filters.http.local_ratelimit은 보인다. 토큰 버킷을 든 per-route 설정만 없다.
listener 0.0.0.0_443 http_filters : [envoy.filters.http.local_ratelimit, envoy.filters.http.router] ← 있다
vhost api.orino.dev:443 per_filter: [] ← 없다
필터의 존재를 보고 「적용됐다」고 판단한 것이 오진의 경로였다.
:80 → :443 한 줄. 다만 한 번도 걸린 적 없는 제한을 처음 켜는 것이라, 값을 그대로 두면 정상 사용이 막힐 수 있어 실측부터 했다.
| 응답 코드 | 건수 | 비율 |
|---|---|---|
| 401 | 5,512 | 77.9% |
| 200 | 1,527 | 21.6% |
| 그 외 | 39 | 0.5% |
| 429 | 0 | — |
istio_requests_total만 보면 분당 최대가 398이었다. 그 값에 맞춰 버킷을 키웠다면 잘못 키웠을 것이다 — 피크 시각의 응답 코드를 보니 전부 401이었고, Loki에서 경로를 뽑으니 정체가 드러났다.
91 GET /wordpress/wp/v2/posts/999999
56 GET /wp/wp/v2/posts/999999
56 GET /blog/wp/v2/posts/999999
42 POST /wp/
29 POST /index.php
28 POST /blog/wp-json/batch/v1
WordPress 취약점 스캐너다. 제한이 막아야 할 트래픽이지, 맞춰 줘야 할 트래픽이 아니다.
| 지표 | 값 |
|---|---|
| 분당 최대 | 246 |
| 100 req/min을 넘은 분 | 43,200분 중 2분 |
| 200 req/min을 넘은 분 | 1분 |
| p99 | 0 |
기존 값 100은 정상 사용에서 429를 냈을 값이다. 실측 꼭대기의 2.4배인 600으로 잡았다 — 평소에는 절대 걸리지 않고 폭주만 막는 자리다.
머지 → ArgoCD 동기화(fef7d89) 후 두 게이트웨이 파드 모두에서 확인했다.
[https.443.https.orino-gateway.istio-ingress] vhost api.orino.dev:443
vhost per_filter : []
route per_filter : ['envoy.filters.http.cors',
'envoy.filters.http.local_ratelimit'] ← 토큰 600
- 제한값이 근거를 가진 수가 되었다(실측 246 → 600). 파일 안에 그 숫자를 주석으로 남겨, 다음에 조정할 때 다시 재지 않아도 되게 했다
- 게이트웨이 파드가 2개라 버킷도 2개다
vhost의 per_filter만 보고 「여전히 비어 있다, 안 붙었다」고 오진할 뻔했다. 실제로는 비어 있는 것이 정상이다.
applyTo |
설정이 붙는 자리 |
|---|---|
VIRTUAL_HOST |
virtual_hosts[].typed_per_filter_config |
HTTP_ROUTE (이 필터가 쓰는 것) |
virtual_hosts[].routes[].typed_per_filter_config |
Envoy는 route 레벨 설정도 그대로 적용하므로 동작에는 차이가 없다. 하지만 확인할 때 보는 자리가 다르다 — 원인 분석에서 인용한 config_dump가 vhost ... per_filter: []와 route ... per_filter: [cors]를 나란히 보여준 것이 바로 이 구분이었고, 고친 뒤에는 그 route 줄에 local_ratelimit이 더해진다.
그래서 확인 명령은 vhost가 아니라 route까지 내려가야 한다.
kubectl exec -n istio-ingress <gateway-pod> -c istio-proxy -- \
curl -s "localhost:15000/config_dump?resource=dynamic_route_configs" \
| jq '.configs[].route_config.virtual_hosts[]
| select(.name | startswith("api.orino.dev"))
| .routes[].typed_per_filter_config | keys's.orino.dev는 route가 4개라 300짜리 버킷이 4개 붙어 있다(api.orino.dev는 route가 1개라 600 하나다). ratelimit-shortlink의 주석은 「vhost 전체가 나눠 쓰는 버킷」이라고 적고 있는데, route가 여럿인 vhost에서는 사실과 다르다. 동작상 위험은 없지만(제한이 느슨해지는 방향) 주석은 고쳐야 한다.
「필터가 보인다」와 「필터가 적용됐다」는 다른 말이다. EnvoyFilter는 매치 실패를 알려주지 않으므로, 확인은 렌더링(helm template)이 아니라 적용 결과(config_dump의 per_filter)로 해야 한다. 렌더링은 vhost 이름이 틀렸는지 알려주지 못한다.
피크값만 보고 임계를 정하면 공격 트래픽에 맞춰 제한을 푸는 일이 생긴다. 분당 최대 398은 스캐너였고, 사람이 쓴 양은 246이었다. 임계를 정할 땐 응답 코드로 갈라 보고, 필요하면 로그에서 경로까지 확인한다.
「적용 결과를 보라」는 말은 「어느 자리를 볼지 알아야 한다」까지 포함한다. 이 건에서만 두 번 속을 뻔했다 — 처음엔 필터의 존재를 적용으로 착각했고, 확인할 때는 vhost 레벨의 빈 per_filter를 미적용으로 착각했다. applyTo가 무엇이냐에 따라 붙는 자리가 다르다.
#1301에서 IP별 제한을 켠 뒤 정말 걸리는지 확인하려고 클러스터 안에서 한 파드에 700건을 몰아쳤다. 결과는 401 475건 · 429 66건 — 제한이 확실히 걸렸다.
그런데 같은 시각 Prometheus는 이렇게 답했다.
sum by (response_code) (increase(istio_requests_total{response_code="429"}[20m]))
→ 시리즈 0개
local_ratelimit의 429는 istio_requests_total에 한 줄도 남지 않는다. 라우팅 전에 로컬 응답으로 끊기므로, 업스트림 요청 경로에 붙은 Istio 텔레메트리가 그 요청을 보지 못한다.
이것이 왜 중요한가 — 이 문서 §1의 「30일간 429 0건」은 필터가 안 걸렸다는 증거가 아니었다. 걸렸어도 똑같이 0으로 보였을 것이다. 그때 진짜 증거는 config_dump였고, 다행히 그걸로 판단했다.
그래서 「사용자가 제한에 걸리고 있는가」를 지금 지표로는 알 수 없다. — 해결됐다(#1305).
게이트웨이 파드에 sidecar.istio.io/statsInclusionPrefixes: http_local_rate_limiter를 붙여 Envoy 카운터를 열었고, SLO 대시보드에 패널 셋을 뒀다. 통계 이름은 추측하지 않고 Envoy 1.37로 확인한 뒤 열었다 — 접두사를 잘못 열면 열어 놓고도 아무것도 안 나와서, 이 문서가 말하는 조용한 실패를 한 번 더 반복하게 된다.
http_local_rate_limiter.http_local_rate_limit.{enabled,enforced,ok,rate_limited}
→ envoy_http_local_rate_limiter_http_local_rate_limit_* (Prometheus)
패널에 「통과 건수」를 함께 뒀다. 제한 건수만 보면 0이 여전히 두 뜻을 갖는다 — 통과 건수가 0이 아니어야 「필터가 경로에 있다」가 확인된다.
알림은 걸지 않았다. 버킷이 IP별이라 스캐너가 제 몫을 다 쓰는 것은 정상 동작이고, 그걸로 알림을 걸면 정상 동작에 매번 울린다. 「정상 사용자가 막혔는가」만 골라낼 방법은 없다 — 이 지표에 IP 라벨을 붙이지 않기 때문이고, 그건 의도한 제약이다.
이 rate limit은 vhost 전체가 나눠 쓰는 버킷이다 — 해결됐다(#1301).
externalTrafficPolicy: Local로 클라이언트 IP를 살리고 remote_address descriptor로 IP마다 버킷을 줬다. 가는 길에 걸린 것들:
-
Cluster에서는 Envoy가 보는 「클라이언트」가 대표 노드의 Calico IPIP 터널 주소였다. 노드 IP도 아니었다 - 내 맥에서 재면 공유기 헤어핀 NAT에 걸려
192.168.0.1이 나온다. 판정에 못 쓴다 — 진짜 외부 트래픽으로 재야 한다 - 값 없는 descriptor가 IP마다 버킷을 만드는지는 문서에 없다. Envoy 1.37로 직접 재서(한도 3, IP 셋) 확인한 뒤에 넣었다
-
always_consume_default_token_bucket: false가 없으면 공유 버킷이 먼저 바닥나 나눈 의미가 사라진다
IP 로테이션에는 이 방식도 답이 아니다. 목표를 「막는다」가 아니라 **「한 대가 전체를 먹지 못하게 한다」**로 잡은 이유다.
- 이 게이트웨이 설정은 ArgoCD가 동기화한다. 수동
kubectl apply금지 -
#1237에서 추가한
ratelimit-shortlink는 처음부터:443으로 들어갔다 — 같은 방법으로 확인한다