Fluentd

01무엇이고, 어떤 일을 하나

• 서로 다른 로그 소스를 하나의 처리 경로로 연결한다.
• Tag와 필터로 이벤트를 분류·변환한다.
• 출력 버퍼와 재시도로 목적지 장애를 완충한다.

02어떤 순서로 동작하나

1. 입력 수신

   파일·네트워크 등 input plugin에서 이벤트를 얻고 시각·Tag·Record를 구성한다. 원본 형식과 파싱 오류 처리도 정한다.

2. 필드 처리

   filter plugin으로 필요한 필드를 추가·변환·선별한다. 민감한 값은 후단 전송 전에 수집 목적과 공개 범위를 확인한다.

3. 출력 경로 선택

   Tag와 라우팅 조건에 맞는 output plugin으로 보낸다. 잘못된 매칭은 입력은 있으나 목적지에 자료가 없는 상황을 만든다.

4. 버퍼·복구 관찰

   출력 장애 때 대기량·재시도·디스크 용량을 확인하고 복구 후 실제 적재를 대조한다. 버퍼가 가득 찼을 때의 동작은 설정과 플러그인에 따라 달라진다.

03먼저 알아둘 용어와 구성요소

Tag

이벤트를 어떤 처리 경로로 보낼지 구분하는 이름.

Record

이벤트의 필드·값을 담는 자료 구조.

Filter plugin

전달 중 이벤트를 변환·추가·선별하는 기능.

Output buffer

출력 대기 자료를 보관하고 묶음 전송·재시도를 관리하는 구성.

04예제로 따라가기

• 같은 웹 로그라도 서비스별 Tag를 붙이면 서로 다른 저장소나 인덱스로 분기할 수 있다.
• 날짜 파싱 실패로 수집 시각을 사용하면 사건의 실제 순서와 검색 시간축이 달라질 수 있다.
• 목적지 오류가 복구된 뒤 대기열이 줄어드는 것과 원본 이벤트가 검색 가능해지는 것을 함께 확인한다.

05혼동하기 쉬운 점과 확인 기준

• Fluentd와 Fluent Bit는 관련 생태계의 별도 프로젝트이므로 플러그인·설정을 자동 호환으로 취급하지 않는다.
• 출력 재시도는 응답 유실 조건에서 중복을 만들 수 있으므로 원본 식별과 저장소의 중복 정책을 함께 설계한다.

06상세 노트 · 실습 자료

헤더 구조, 설정 예시, 수치 계산과 수업 캡처는 아래 노트에서 이어집니다.