Skip to content

ELOG 014 envoyfilter vhost silent nomatch

wcorn edited this page Aug 31, 2026 · 4 revisions

ELOG-014: 적용된 것처럼 보였지만 매치되지 않은 EnvoyFilter

항목 내용
분류 🔧 트러블슈팅
날짜 2026-08-31
영역 Infra
관련 이슈/PR #1248, #1237, #456
상태 해결

1. 상황 (Before)

api.orino.dev에 rate limit이 걸려 있다고 믿고 있었다. ratelimit-be EnvoyFilter가 배포돼 있고, 게이트웨이 config_dump에도 필터가 보였다.

한 번도 걸린 적이 없었다. 30일간 429 응답 0건.

#1237에서 s.orino.dev에 같은 필터를 붙이려다, 기존 필터가 어디에도 적용돼 있지 않다는 것을 발견했다.

2. 원인 분석

매치 조건이 존재하지 않는 vhost를 가리키고 있었다.

routeConfiguration:
  vhost:
    name: api.orino.dev:80     # ← 이런 vhost가 없다

vhost 이름은 <host>:<Gateway 서버 포트>다. orino-gateway는 #456에서 Cloudflare를 걷어내고 공유기가 443만 포워딩하게 된 뒤로 443 서버 하나뿐이라, 실제 이름은 api.orino.dev:443이다.

이 실패가 조용한 이유가 핵심이다. EnvoyFilter는 매치되지 않는 패치를 경고 없이 넘어간다. 게다가 이 필터는 패치가 둘이었다:

패치 vhost 이름을 보는가 결과
HTTP_FILTER (필터를 체인에 넣음) 아니오 정상 적용
HTTP_ROUTE (토큰 버킷을 얹음) 예 조용히 누락

그래서 config_dump에 envoy.filters.http.local_ratelimit은 보인다. 토큰 버킷을 든 per-route 설정만 없다.

listener 0.0.0.0_443  http_filters : [envoy.filters.http.local_ratelimit, envoy.filters.http.router]   ← 있다
vhost api.orino.dev:443   per_filter: []                                                              ← 없다

필터의 존재를 보고 「적용됐다」고 판단한 것이 오진의 경로였다.

3. 조치

:80 → :443 한 줄. 다만 한 번도 걸린 적 없는 제한을 처음 켜는 것이라, 값을 그대로 두면 정상 사용이 막힐 수 있어 실측부터 했다.

실측 (Prometheus, 30일)

응답 코드 건수 비율
401 5,512 77.9%
200 1,527 21.6%
그 외 39 0.5%
429 0 —

istio_requests_total만 보면 분당 최대가 398이었다. 그 값에 맞춰 버킷을 키웠다면 잘못 키웠을 것이다 — 피크 시각의 응답 코드를 보니 전부 401이었고, Loki에서 경로를 뽑으니 정체가 드러났다.

91  GET  /wordpress/wp/v2/posts/999999
56  GET  /wp/wp/v2/posts/999999
56  GET  /blog/wp/v2/posts/999999
42  POST /wp/
29  POST /index.php
28  POST /blog/wp-json/batch/v1

WordPress 취약점 스캐너다. 제한이 막아야 할 트래픽이지, 맞춰 줘야 할 트래픽이 아니다.

사람이 실제로 쓴 양 (2xx만)

지표 값
분당 최대 246
100 req/min을 넘은 분 43,200분 중 2분
200 req/min을 넘은 분 1분
p99 0

기존 값 100은 정상 사용에서 429를 냈을 값이다. 실측 꼭대기의 2.4배인 600으로 잡았다 — 평소에는 절대 걸리지 않고 폭주만 막는 자리다.

4. 결과 (After)

머지 → ArgoCD 동기화(fef7d89) 후 두 게이트웨이 파드 모두에서 확인했다.

[https.443.https.orino-gateway.istio-ingress] vhost api.orino.dev:443
   vhost per_filter : []
   route per_filter : ['envoy.filters.http.cors',
                       'envoy.filters.http.local_ratelimit']  ← 토큰 600
  • 제한값이 근거를 가진 수가 되었다(실측 246 → 600). 파일 안에 그 숫자를 주석으로 남겨, 다음에 조정할 때 다시 재지 않아도 되게 했다
  • 게이트웨이 파드가 2개라 버킷도 2개다

확인하다가 두 번째로 속을 뻔했다 — vhost가 아니라 route에 붙는다

vhost의 per_filter만 보고 「여전히 비어 있다, 안 붙었다」고 오진할 뻔했다. 실제로는 비어 있는 것이 정상이다.

applyTo 설정이 붙는 자리
VIRTUAL_HOST virtual_hosts[].typed_per_filter_config
HTTP_ROUTE (이 필터가 쓰는 것) virtual_hosts[].routes[].typed_per_filter_config

Envoy는 route 레벨 설정도 그대로 적용하므로 동작에는 차이가 없다. 하지만 확인할 때 보는 자리가 다르다 — 원인 분석에서 인용한 config_dump가 vhost ... per_filter: []와 route ... per_filter: [cors]를 나란히 보여준 것이 바로 이 구분이었고, 고친 뒤에는 그 route 줄에 local_ratelimit이 더해진다.

그래서 확인 명령은 vhost가 아니라 route까지 내려가야 한다.

kubectl exec -n istio-ingress <gateway-pod> -c istio-proxy -- \
  curl -s "localhost:15000/config_dump?resource=dynamic_route_configs" \
  | jq '.configs[].route_config.virtual_hosts[]
        | select(.name | startswith("api.orino.dev"))
        | .routes[].typed_per_filter_config | keys'

덤으로 드러난 것 — 버킷은 route마다다

s.orino.dev는 route가 4개라 300짜리 버킷이 4개 붙어 있다(api.orino.dev는 route가 1개라 600 하나다). ratelimit-shortlink의 주석은 「vhost 전체가 나눠 쓰는 버킷」이라고 적고 있는데, route가 여럿인 vhost에서는 사실과 다르다. 동작상 위험은 없지만(제한이 느슨해지는 방향) 주석은 고쳐야 한다.

5. 교훈 / 후속

「필터가 보인다」와 「필터가 적용됐다」는 다른 말이다. EnvoyFilter는 매치 실패를 알려주지 않으므로, 확인은 렌더링(helm template)이 아니라 적용 결과(config_dump의 per_filter)로 해야 한다. 렌더링은 vhost 이름이 틀렸는지 알려주지 못한다.

피크값만 보고 임계를 정하면 공격 트래픽에 맞춰 제한을 푸는 일이 생긴다. 분당 최대 398은 스캐너였고, 사람이 쓴 양은 246이었다. 임계를 정할 땐 응답 코드로 갈라 보고, 필요하면 로그에서 경로까지 확인한다.

「적용 결과를 보라」는 말은 「어느 자리를 볼지 알아야 한다」까지 포함한다. 이 건에서만 두 번 속을 뻔했다 — 처음엔 필터의 존재를 적용으로 착각했고, 확인할 때는 vhost 레벨의 빈 per_filter를 미적용으로 착각했다. applyTo가 무엇이냐에 따라 붙는 자리가 다르다.

세 번째로 속을 뻔한 것 — 429는 istio_requests_total에 안 잡힌다

#1301에서 IP별 제한을 켠 뒤 정말 걸리는지 확인하려고 클러스터 안에서 한 파드에 700건을 몰아쳤다. 결과는 401 475건 · 429 66건 — 제한이 확실히 걸렸다.

그런데 같은 시각 Prometheus는 이렇게 답했다.

sum by (response_code) (increase(istio_requests_total{response_code="429"}[20m]))
→ 시리즈 0개

local_ratelimit의 429는 istio_requests_total에 한 줄도 남지 않는다. 라우팅 전에 로컬 응답으로 끊기므로, 업스트림 요청 경로에 붙은 Istio 텔레메트리가 그 요청을 보지 못한다.

이것이 왜 중요한가 — 이 문서 §1의 「30일간 429 0건」은 필터가 안 걸렸다는 증거가 아니었다. 걸렸어도 똑같이 0으로 보였을 것이다. 그때 진짜 증거는 config_dump였고, 다행히 그걸로 판단했다.

그래서 「사용자가 제한에 걸리고 있는가」를 지금 지표로는 알 수 없다. — 해결됐다(#1305).

게이트웨이 파드에 sidecar.istio.io/statsInclusionPrefixes: http_local_rate_limiter를 붙여 Envoy 카운터를 열었고, SLO 대시보드에 패널 셋을 뒀다. 통계 이름은 추측하지 않고 Envoy 1.37로 확인한 뒤 열었다 — 접두사를 잘못 열면 열어 놓고도 아무것도 안 나와서, 이 문서가 말하는 조용한 실패를 한 번 더 반복하게 된다.

http_local_rate_limiter.http_local_rate_limit.{enabled,enforced,ok,rate_limited}
→ envoy_http_local_rate_limiter_http_local_rate_limit_*   (Prometheus)

패널에 「통과 건수」를 함께 뒀다. 제한 건수만 보면 0이 여전히 두 뜻을 갖는다 — 통과 건수가 0이 아니어야 「필터가 경로에 있다」가 확인된다.

알림은 걸지 않았다. 버킷이 IP별이라 스캐너가 제 몫을 다 쓰는 것은 정상 동작이고, 그걸로 알림을 걸면 정상 동작에 매번 울린다. 「정상 사용자가 막혔는가」만 골라낼 방법은 없다 — 이 지표에 IP 라벨을 붙이지 않기 때문이고, 그건 의도한 제약이다.

남은 과제

이 rate limit은 vhost 전체가 나눠 쓰는 버킷이다 — 해결됐다(#1301).

externalTrafficPolicy: Local로 클라이언트 IP를 살리고 remote_address descriptor로 IP마다 버킷을 줬다. 가는 길에 걸린 것들:

  • Cluster에서는 Envoy가 보는 「클라이언트」가 대표 노드의 Calico IPIP 터널 주소였다. 노드 IP도 아니었다
  • 내 맥에서 재면 공유기 헤어핀 NAT에 걸려 192.168.0.1이 나온다. 판정에 못 쓴다 — 진짜 외부 트래픽으로 재야 한다
  • 값 없는 descriptor가 IP마다 버킷을 만드는지는 문서에 없다. Envoy 1.37로 직접 재서(한도 3, IP 셋) 확인한 뒤에 넣었다
  • always_consume_default_token_bucket: false가 없으면 공유 버킷이 먼저 바닥나 나눈 의미가 사라진다

IP 로테이션에는 이 방식도 답이 아니다. 목표를 「막는다」가 아니라 **「한 대가 전체를 먹지 못하게 한다」**로 잡은 이유다.

참고

  • 이 게이트웨이 설정은 ArgoCD가 동기화한다. 수동 kubectl apply 금지
  • #1237에서 추가한 ratelimit-shortlink는 처음부터 :443으로 들어갔다 — 같은 방법으로 확인한다

Clone this wiki locally