기술 글
200ms 수집과 화면의 지연은 다른 문제다: 메트릭 파이프라인의 시간축 분리
수집·출력·수신·저장·화면 갱신의 시간을 구분해 메트릭 누락과 지연을 조사한 기록입니다. daemon과 flush 조정, timestamp 검증을 다루고 측정값의 적용 범위도 명시합니다.
200ms로 수집해도 화면에는 점이 없을 수 있다
운영 포털에서 서버 부하를 실시간에 가깝게 보여주기 위해, 필요할 때 메트릭 수집 주기를 200ms 수준까지 낮출 수 있는 경로가 필요했습니다. 그러나 짧은 수집 주기만으로 화면의 데이터 밀도가 보장되지는 않았습니다. 회고 메모에는 어떤 초에는 점이 하나뿐이고 어떤 초에는 값이 없는 현상이 기록돼 있습니다. 빈 구간을 앞뒤 점으로 연결한 그래프는 실제로 관측되지 않은 구간을 연속적인 값처럼 보이게 했습니다.
여기서 확인해야 할 것은 설정 파일의 숫자가 아니라 메트릭의 생애주기입니다. 수집이 늦은 것인지, 전송을 기다린 것인지, 수신 후 검증에서 탈락한 것인지, 화면 요청이 늦어진 것인지에 따라 해결 위치가 달라집니다.
이 글은 당시 회고 메모와 이후 작성된 상세 복원 자료를 함께 사용합니다. 원시 로그, 전체 설정 이력과 원본 저장소를 이번 작업에서 직접 검증한 것은 아닙니다. 따라서 남아 있는 관찰과 설정 기록, 일반적인 동작 원리, 추가로 필요한 계측을 구분합니다.
시간을 하나의 latency로 합치기 전에 경계를 나눈다
팀의 파이프라인 설계 기록에는 수집, HTTP 전달, 후처리·배치, 조회용 저장소, 최종 조회가 구분돼 있습니다. 회고 메모에서는 Python 계층이 메트릭을 묶고 필드를 가공하는 역할을 했다고 설명합니다. 아래 그림은 시간 관계를 설명하기 위한 개념도이며 실제 모듈 전체의 구성도는 아닙니다.
각 경계의 timestamp와 동일 메트릭을 연결할 식별자를 확보해야 지연과 탈락 위치를 구분할 수 있습니다.
| 구분 | 질문 | 필요한 관찰 |
|---|---|---|
| 수집 주기 | 값이 얼마나 자주 만들어지는가? | 생성 timestamp와 실제 간격 |
| output 대기 | 수집 후 언제 출력 경로로 전달되는가? | 출력 직전 timestamp와 flush 설정 |
| 전달 지연 | 수신 API에 언제 도착하는가? | sender·receiver 시각, clock 차이 |
| 저장 지연 | 도착한 값이 언제 조회 가능해지는가? | 검증 결과와 저장·후처리 시각 |
| 화면 지연 | 조회 가능한 값이 언제 그려지는가? | API 요청 시각과 표시 시각 |
설명용 시간 관계는 다음과 같습니다.
수신 시각 - 생성 시각 = 수집 이후 output·sender·network 경로의 시간차
저장 시각 - 생성 시각 = 위 시간차 + 검증·저장·후처리 시간차
화면 시각 - 생성 시각 = 위 시간차 + 조회·브라우저 갱신 시간차
서로 다른 머신의 timestamp를 빼는 경우에는 clock offset이 섞일 수 있습니다. 한 프로세스의 경과시간은 monotonic clock으로 측정하고, 머신 간 시차는 시각 동기화 상태와 함께 해석하는 편이 좋습니다. 당시 clock offset을 정량 측정한 기록은 없어 이 관계식을 곧바로 네트워크 latency의 증거로 사용할 수는 없습니다.
저장되지 않은 값은 timestamp 검증에서 드러났다
회고 메모에는 메트릭 timestamp와 수신 시각을 비교하는 validation 실패가 반복됐다는 내용이 있습니다. 데이터가 API까지 도착해도 허용 범위를 벗어나면 저장되지 않을 수 있으므로, 화면 누락을 전송 실패와 동일하게 취급해서는 안 됩니다.
상세 복원 자료에는 sub-second 수집에서 약 900ms의 처리·전달 시차와 timestamp 유효성 문제가 기록돼 있습니다. 다만 이 숫자가 어떤 시작·종료 지점을 사용했는지 원시 로그로 다시 확인할 수는 없습니다. 회고 메모의 네트워크 조사도 그 사실만으로 원인의 비중을 정량적으로 확정하지 않습니다.
계측을 다시 구성한다면 정상 저장만 세지 않고 수신과 거절을 함께 관찰해야 합니다.
// 운영 코드를 복원한 것이 아닌, 필요한 관찰 항목을 보여주는 예시입니다.
const ageMs = receiveTimestampMs - metricTimestampMs;
observe('metric_age_at_receive_ms', ageMs);
if (!isTimestampAccepted(metricTimestampMs, receiveTimestampMs)) {
count('metric_rejected', { reason: 'timestamp' });
} else {
count('metric_accepted');
}
실제 조건이 대칭 범위인지, 예정 수집 시각을 기준으로 하는지, 미래 timestamp를 어떻게 처리하는지는 validation 코드가 필요합니다. 단순한 ageMs > limit 예제만으로 당시 검증 규칙을 복원하지 않습니다.
반복적인 Python 시작 비용과 장기 실행의 비용
회고 메모에는 매 수집 주기마다 Python interpreter와 프로세스를 시작하던 경로를 daemon으로 바꿨다는 기록이 있습니다. 짧은 주기에서는 데이터 변환 연산뿐 아니라 초기화도 반복 비용이 될 수 있습니다.
장기 실행 sender는 프로세스 초기화 비용을 반복하지 않습니다. 대신 생명주기 관리가 필요합니다. 시작 실패, 비정상 종료, 재기동 중 데이터 유실과 backlog를 별도로 다뤄야 합니다. 당시 서비스 관리 도구와 장기 메모리 사용량은 확인되지 않았으므로 특정 systemd 설정이나 무중단 운영 결과를 제시하지 않습니다.
| 방식 | 시간 경로의 차이 | 별도로 확인할 비용 |
|---|---|---|
| 요청마다 프로세스 시작 | 초기화가 반복될 수 있음 | 시작 비용과 실패 처리 |
| 장기 실행 sender | 초기화를 반복하지 않음 | 재기동, queue, 메모리와 처리량 |
회고에는 daemon 이후에도 긴 지연이 남았다는 내용이 있습니다. 단계별 정확한 p50·p95·p99는 확인 대상으로 표시돼 있어 전후 수치 표를 새로 만들 수 없습니다. 이 기록에서 재사용할 수 있는 판단은 초기화 비용을 줄인 뒤에도 남는 대기 구간을 계속 확인했다는 점입니다.
collection interval과 flush interval은 서로 다른 설정이다
Telegraf 공식 문서는 interval을 수집 주기로, flush_interval을 output flush 주기로 구분합니다. round_interval은 수집 시각의 정렬과 관련되며 flush 주기를 뜻하지 않습니다. Telegraf configuration
따라서 수집 주기를 200ms로 바꾸었다고 수집 즉시 API까지 도착하는 것은 아닙니다. output을 기다리는 구간이 남아 있을 수 있습니다. 복원 자료에는 Python daemon, 약 50ms flush, round_interval=false가 최종 조정 항목으로 남아 있습니다. 다음 설정은 그 차이를 보여주는 일부 항목이며 실제 운영 설정 전체가 아닙니다.
# 설명용 설정 일부. output 플러그인·buffer·jitter 설정은 별도 확인이 필요합니다.
[agent]
interval = "200ms"
flush_interval = "50ms"
round_interval = false
flush를 자주 실행하면 전송 대기를 줄일 가능성이 있지만 호출 빈도와 처리 비용도 바뀝니다. 플러그인의 동작, batch 크기, jitter와 buffer 상태에 따라 실제 결과가 달라집니다. 특정 설정만으로 목표 지연을 보장하는 공식처럼 사용할 수는 없습니다.
수집값의 의미와 브라우저 갱신도 따로 확인했다
전달 시간이 짧아도 순간 CPU 값이 크게 튀면 부하 판단의 의미가 달라질 수 있습니다. 복원 자료에는 200ms 샘플의 평균 window 필요성을 검토한 기록이 있습니다. 실제 window 길이와 평균 구현을 확정할 자료는 없어 특정 이동 평균 알고리즘을 당시 적용한 것으로 설명하지 않습니다.
브라우저 백그라운드 상태에서 요청 주기가 달라지는 문제와 24시간 history API의 반복 처리 비용도 별도로 조사됐습니다. 기록에는 background 상태에서 history 재조회 대신 current API 요청을 선택한 내용이 남아 있습니다. 이 선택은 서버의 수집 주기와 브라우저의 polling 주기를 구분해 설명해야 합니다. 현재 시점 API를 사용했다는 사실만으로 백그라운드 타이머 제한이 사라졌다고 말할 수는 없습니다.
기록된 수치를 어디까지 사용할 수 있는가
| 자료에 남은 항목 | 사용할 수 있는 설명 | 추가 확인이 필요한 것 |
|---|---|---|
| 약 900ms의 처리·전달 시차 | timestamp 검증과 시간 관계를 조사했다는 기록 | 시작·종료 지점, clock 동기화 |
| 약 50ms의 flush 조정 | output 대기를 줄이기 위한 설정 기록 | 전체 설정, 적용 환경과 이력 |
| ±300ms tolerance | 유효 범위를 조정했다는 복원 기록 | 기준 시각, 상·하한, 산정 근거 |
| P50 28ms / P95 51ms / P99 53ms | 당시 댓글에 남았다고 복원된 timing 측정값 | 구간, 표본 수, 기간, 부하 |
마지막 percentile을 전체 수집→화면 latency나 서비스 SLO로 확장하지 않습니다. 약 900ms와 P99 53ms를 같은 지표의 전후 값으로 비교할 근거도 없습니다. 50ms flush가 어느 percentile을 얼마나 개선했는지 독립적으로 검증하려면 원시 데이터가 필요합니다.
다시 검증한다면 무엇을 남길 것인가
첫째, 생성·출력·수신·저장·표시 timestamp와 식별자를 연결합니다. 둘째, latency 분포와 함께 validation reject, 저장 point 수, 누락 구간을 비교합니다. 셋째, flush 조정 전후의 CPU·네트워크 사용량과 batch 크기를 같이 기록합니다. 각 변경은 같은 측정 구간과 부하 조건에서 비교해야 합니다.
이 사례에서 재사용할 수 있는 접근은 설정값을 성과로 치환하지 않고 메트릭의 각 시간 경계를 구분하는 것입니다. 그 경계를 따라 조사한 기록은 남아 있지만, 전체 파이프라인의 개인 구현 소유와 장기 운영 효과는 확인된 자료의 범위 밖에 있습니다.