프로젝트

Sub-second Metric Pipeline의 시간축 분리와 정합성 조정

Timing Dissection and Normalization for Sub-Second Metric Ingestion

초단위 미만 수집에서 발생한 sampling noise, 전달 지연, timestamp validation, browser scheduling을 서로 다른 시간축으로 분리해 조사하고 파이프라인 설정을 조정했습니다.

핵심 변경

수집, 전송, timestamp 검증과 화면 갱신을 서로 다른 시간축으로 나눠 조사했습니다. 아래 수치와 설정은 상세 복원 자료에 남은 기록이며, 원시 로그를 다시 실행하거나 전체 서비스 지연을 측정한 결과는 아닙니다.

서로 다른 시간축 문제

기존 지표 수집 방식의 실시간성과 신뢰성 저하를 배경으로, 자체 수집·가공·조회 파이프라인(Telegraf 수집 → HTTP 전송 → 후처리/배치 가공 → Valkey 조회 테이블 → 최종 승인/조회)을 구성하는 작업이 진행되었습니다.

이 과정에서 200ms 단위까지 수집 주기를 단축하려 했을 때, 모니터링 화면에 데이터가 불규칙하게 표시되거나 타임스탬프 검증에서 지표가 탈락하는 현상이 나타났습니다. 겉보기에는 단순한 “전송 지연”처럼 보였으나, 실제로는 샘플링 노이즈, 프로세스 기동 비용, 네트워크 및 배치 처리 시간차, 브라우저 스케줄러 등 서로 다른 시간축이 복합적으로 얽혀 있었습니다.

조사 과정

현상을 하나의 원인으로 단정하지 않고, 파이프라인의 각 구간별 시간 특성을 분리하여 조사했습니다.

  • 초고빈도 샘플링 노이즈: 200ms 단위의 순간 CPU 샘플값은 일시적 스파이크에 민감하게 반응하여 지표가 크게 튀었으므로, 일정 기간의 이동 평균 윈도우(averaging window) 필요성을 검토했습니다.
  • 파이프라인 전달 및 처리 시차: 수신(Receive) 단계부터 배치 가공(Post/Batch)을 거쳐 저장되기까지 약 900ms의 시간차가 관찰되었습니다. 이로 인해 1초 미만 주기 수집 시 수신 서버의 타임스탬프 유효성 검증과 충돌하는 양상이 나타났습니다.
  • 브라우저 탭 스케줄링 간섭: 관제 웹 브라우저가 백그라운드로 전환될 때 타이머가 스로틀링되어 주기적 폴링 주기가 왜곡되고 차트 형상이 깨지는 문제를 분리하여 확인했습니다.

선택한 tuning

관찰된 문제 요소를 단계별로 완충하기 위해 다음과 같은 튜닝과 조정을 적용했습니다.

  • Python 전송 프로세스 상시화: 매 수집 주기마다 Python 인터프리터를 새로 띄우는 오버헤드를 제거하기 위해 장기 실행 데몬(daemon) 방식으로 전환했습니다.
  • Telegraf 출력 주기 조정: 메트릭 수집 주기와 별개로 동작하던 Telegraf의 output flush 주기를 약 50ms 수준으로 단축하고, 주기 맞춤 대기를 방지하기 위해 round_interval=false 설정을 적용했습니다.
  • 타임스탬프 허용 오차 조정: 처리 및 네트워크 지연을 반영하여 타임스탬프 유효성 허용 오차(tolerance)를 ±300ms 수준으로 보정했습니다.
  • 백그라운드 조회 부하 완화: 브라우저 백그라운드 상태에서는 과도한 24시간 이력 재조회 대신 현재 시점 API 조회를 활용하도록 흐름을 정리했습니다.

측정 결과의 범위

상세 복원 자료에는 당시 댓글의 측정값이 P50 28ms, P95 51ms, P99 53ms로 기록돼 있습니다. 측정 시작·종료 지점, 표본 수와 기간을 독립적으로 확인할 원시 로그는 현재 없습니다.

이 값은 전체 서비스 end-to-end latency나 장기 production SLO를 의미하지 않습니다. 약 900ms의 파이프라인 시차가 53ms로 개선됐다는 전후 비교로도 사용할 수 없습니다.

남은 불확실성

  • 협업 범위: 본인의 조사 댓글, 현재 시점 API 조회 선택, timing tolerance 관련 변경은 복원 자료에 남아 있습니다. 데몬과 수집기, 후처리·배치 모듈 전체의 구현 분담과 배포 담당자는 확정할 수 없습니다.
  • 장기 운영 비용 미확정: flush 주기를 50ms 수준으로 단축함에 따른 장기적인 CPU/네트워크 I/O 부하 증가량과, 실제 운영 환경에서의 패킷 드랍율 감소 수치는 확보된 자료만으로 확정할 수 없습니다.