Syslog·rsyslog: 발생부터 중앙 수집까지

01개념과 구성 요소

• 역할발생기는 사건을 기록하고 중계기는 전달하며 수집기는 여러 발신자의 메시지를 저장한다.
• 메시지PRI·시각·호스트·프로그램·본문 등은 형식과 파서에 따라 분리되는 필드다.
• 신뢰성전송 방식·큐·저장 완료·원본 보존은 서로 다른 보장 범위다.

02rsyslog가 원격 메시지를 저장하는 순서

1. 메시지 생성애플리케이션 또는 장비가 facility·severity와 본문을 포함한 메시지를 만든다.
2. 입력 모듈 수신imtcp 같은 모듈이 지정된 포트에서 메시지를 받아 연결된 ruleset으로 넘긴다.
3. 규칙·템플릿 처리ruleset이 조건과 action을 평가하고 template이 저장 경로나 출력 표현을 결정한다.
4. 큐와 전달원격 전송 action은 큐에서 대기·재시도할 수 있다. 큐 한도와 영속성에 따라 장애 시 지연·손실이 달라진다.
5. 최종 저장 확인수집 파일과 파싱·검색 결과에서 같은 시험 식별자를 확인한다. 연결 성공이나 송신 성공만으로 최종 적재를 대신하지 않는다.

03로그 발생기·중계기·수집기의 역할

• 프로그램·rsyslog애플리케이션이 사건을 문자열로 남기는 것과 그 기록이 관제 화면에 나타나는 것은 여러 단계를 거친다. 로컬 소켓이나 파일, journald에서 rsyslog 입력 모듈이 메시지를 받고, 규칙이 필드를 해석하고 조건을 평가한 뒤 파일 저장 또는 원격 전송 같은 action을 실행한다.
• 수집기 내부 경로중앙 수집기도 다시 입력·규칙·출력 단계를 가진다.
• 중앙 수집 사례원본 실습의 목적은 여러 서버의 기록을 중앙 서버에 모으는 것이다. 이때 응용 프로그램의 사건 시각, 송신 호스트의 시계, 중계기가 받은 시각, SIEM에 적재한 시각을 섞으면 사건 순서가 뒤집혀 보일 수 있다.
• 시각·원본표준 시각 동기화와 시간대 표기, 원문 보존이 검색보다 먼저 필요하다.
• 중앙화의 한계중앙에 모았다는 이유만으로 기록을 신뢰할 수 있는 것은 아니다. 송신자가 로그를 조작하거나 중계에서 누락할 수 있고, 파서가 일부 메시지를 버릴 수도 있다.
• 단계별 증거발생→전송→수신→저장→검색의 각 경계에서 무엇을 확인했는지 남겨야 한다.

04메시지 구조와 PRI를 실제 숫자로 읽기

• RFC 5424RFC 5424 형식은 PRI, VERSION, TIMESTAMP, HOSTNAME, APP-NAME, PROCID, MSGID, STRUCTURED-DATA와 선택적인 MSG를 구분한다. 모든 필드가 자유로운 본문 문자열은 아니다.
• 미지정 필드값을 모르는 헤더 필드에는 NILVALUE인 -가 사용될 수 있으며 STRUCTURED-DATA는 구조화된 이름·값을 담는다.
• PRI 계산PRI는 facility × 8 + severity이다. 아래의 134는 facility 16(local0)과 severity 6(informational)의 결합이다.
• Severity 순서severity는 0이 가장 긴급하고 7이 debug이므로 숫자가 클수록 심각하다고 정렬하면 반대로 해석하게 된다. facility는 발생 범주이며 앱 이름이나 정확한 소스 파일 경로가 아니다.
• 다른 메시지 형식모든 송신 장비가 같은 Syslog 형식을 사용하는 것은 아니다. 전통적인 RFC 3164 계열 메시지, 장비 고유 포맷, journald 필드와 변환 결과가 섞일 수 있다.
• 시간 추정연도·시간대가 빠진 기록은 수신 시점과 장비 시계가 해석에 영향을 준다.

<134>1 2026-02-03T09:00:00+09:00 app01 demo 1234 CHECK - local test marker
134 = 16 × 8 + 6

형식과 PRI 계산을 설명하기 위해 새로 만든 예시이며 실제 수업 로그가 아니다.

05UDP·TCP·TLS·RELP가 보장하는 범위

• UDP·TCPUDP 수신은 메시지 단위가 단순하고 송신 부담이 작지만 손실·중복·순서 변경을 복구하지 않는다. TCP는 연결 안에서 순서 있는 바이트 전달과 재전송을 제공한다.
• 수신과 저장하지만 상대 TCP가 데이터를 받았다는 사실은 상대 디스크에 영속 저장되거나 SIEM 인덱스에 반영되었다는 확인이 아니다.
• TCP FramingTCP의 바이트 스트림에는 별도 메시지 경계 규칙이 필요하다. 줄바꿈 기반 framing은 메시지 내부 줄바꿈과 충돌할 수 있으며 octet-counting은 바이트 길이로 경계를 지정한다.
• 상호 설정양쪽 입력·출력 설정이 일치해야 긴 로그와 여러 줄 로그가 섞이지 않는다.
• TLSTLS는 전송 구간의 기밀성·무결성과 설정에 따른 상대 인증을 제공한다. port="6514", protocol="tcp"만 설정하는 것으로 TLS가 활성화되지는 않는다.
• RELP인증서·CA·peer 이름 검증과 stream driver를 양끝에 구성해야 한다. RELP는 응용 계층 확인 응답을 추가하지만 송신 큐와 수신 저장 경계, 후속 SIEM 처리까지 설계해야 전체 전달 수준을 설명할 수 있다.

09수신 모듈을 별도 ruleset에 연결하기

• 입력 모듈imudp와 imtcp는 네트워크 입력 모듈이다. remote_ingest ruleset은 원격 로그를 로컬 운영 로그와 구분해 저장하며 stop으로 이 ruleset의 뒤쪽 규칙 처리를 끝낸다.
• Ruleset·Stopstop을 잘못 앞에 배치하면 필요한 다른 출력도 실행되지 않는다.
• HOSTNAME 신뢰%HOSTNAME%은 메시지에서 주장하는 값이므로 원문 그대로 파일 경로에 넣으면 경로 오염이나 호스트 오분류의 원인이 된다. %fromhost-ip%는 관측한 네트워크 송신 주소이지만 UDP에서는 위조 가능하고 NAT·중계기를 거치면 원래 서버 주소가 아니다.
• 발신자 식별인증된 TLS 신원이나 관리 자산 목록과 연결해 해석한다.
• 템플릿 예아래 예는 내부 실습망의 TCP 수신 구조를 설명한다. 방화벽 허용 범위, 접근 정책, 디렉터리 권한, SELinux 정책은 별도이며 외부 공개 TLS 수집 서버의 완성 설정이 아니다.
• 날짜별 파일날짜가 들어간 파일명은 메시지 저장 시점의 시스템 시간 기준이므로 늦게 도착한 사건의 사건 날짜와 다를 수 있다.

module(load="imtcp")
template(name="RemotePath" type="string"
 string="/var/log/remote/%fromhost-ip%/%$YEAR%-%$MONTH%-%$DAY%.log")
ruleset(name="remote_ingest") {
 action(type="omfile" dynaFile="RemotePath"
        dirCreateMode="0750" fileCreateMode="0640")
 stop
}
input(type="imtcp" port="514" ruleset="remote_ingest")

원문의 수집 구조를 재구성한 설정 조각. 기존 모듈 로딩과 중복하지 않도록 합쳐야 한다.

10송신 큐가 장애를 완충하는 과정

• Action Queue전송 대상이 멈추면 action queue가 메시지를 보관하고 재시도할 수 있다. LinkedList는 메모리 큐 유형이며 queue.filename을 지정한 디스크 보조 구성은 일정 조건에서 디스크로 넘긴다.
• 큐 영속성디스크 보조 큐를 설정했다는 사실만으로 모든 최근 메시지가 즉시 디스크에 동기 기록되는 것은 아니다.
• 큐 상태queue.saveOnShutdown은 정상 종료 때 남은 큐를 저장하는 데 도움이 되지만 갑작스러운 전원 장애와 강제 종료에서 메모리의 미기록 메시지를 모두 구하는 약속은 아니다. action.resumeRetryCount=-1은 재시도를 계속한다는 뜻이지 메모리·디스크가 무한하다는 뜻이 아니다.
• 발생·처리 속도발생량이 초당 1,000건이고 장애가 한 시간이라면 360만 건이 쌓인다. 평균 500바이트만 가정해도 본문만 약 1.8GB이며 큐 구조·파일 부가 비용이 더 필요하다.
• 재연결·중복큐 한도, 디스크 여유, 버림 정책과 복구 뒤 배출 속도를 함께 계산한다. 송신량보다 배출량이 작으면 연결이 복구되어도 적체는 줄지 않는다.

action(type="omfwd" target="192.0.2.10" port="514" protocol="tcp"
 queue.type="LinkedList" queue.filename="remote_forward"
 queue.maxDiskSpace="10g" queue.saveOnShutdown="on"
 action.resumeRetryCount="-1")

문서용 주소를 쓴 평문 TCP 큐 예제. 기존 workDirectory의 쓰기 권한과 충분한 공간을 전제로 하며 TLS 예제가 아니다.

11원본 보관·회전·접근 권한의 경계

• 수집과 파싱수집 파일에는 계정명, 내부 주소, 요청 경로 등 민감한 운영 정보가 들어갈 수 있다. 읽기 권한과 보관 기간은 분석 목적에 맞추고 원본 파일과 파싱한 이벤트의 연결을 유지한다.
• 재처리 근거파서 수정 뒤 다시 처리할 수 있도록 원문과 수신 시각을 보존하는 설계가 유용하다.
• 파일 분할날짜별 파일을 만들면 파일명 자체가 일 단위 분할을 수행한다. 같은 활성 파일을 다시 매일 이름 변경하는 회전을 무조건 겹치지 않는다.
• 삭제·압축닫힌 날짜 파일의 압축·보관 만료와 현재 열린 파일의 핸들을 별개로 다룬다. 디스크가 가득 차면 큐까지 같은 디스크에 있을 때 수신과 재시도 보관이 함께 실패할 수 있다.
• 저장 권한TLS로 전달한 뒤 평문 파일로 저장하는 것은 전송 보호와 저장 보호가 다른 문제임을 보여 준다. 파일 무결성, 백업과 권한 감사는 전송 설정으로 대체되지 않는다.

12검증: 설정 문법에서 최종 검색까지

• 문법 검사rsyslogd -N1은 설정 문법과 일부 구성 오류를 검사한다. 수신 소켓 개방, 네트워크 통과, 실제 파일 쓰기, 검색 반영 성공을 대신하지 않는다.
• 실행·수신 확인service 상태와 저널 오류를 확인한 뒤 송신 노드에서 구별 가능한 시험 표식을 한 번 보내 수신 파일과 SIEM에서 같은 표식을 추적한다.
• 시험 메시지테스트 때 송신 건수, 수신 원문 건수, 파싱 성공·실패 건수, 최종 적재 건수를 나눠 기록한다. 반복 재전송은 중복을 만들 수 있으므로 건수가 같다고 내용까지 같다고 단정하지 않는다.
• 건수 대조장비 재시작, 수집 서버 정지, 디스크 여유 감소를 시험할 때에도 격리된 실습 환경에서 각 큐와 손실 경계를 관찰한다.

rsyslogd -N1
systemctl status rsyslog
journalctl -u rsyslog --since "10 minutes ago"
ss -lntup
# 송신 측의 로컬 rsyslog 전송 규칙이 설정된 실습에서만
logger -p local0.info -t course-check "course-log-check-001"

점검 명령의 의미를 설명하는 예제다. logger는 로컬 로그를 실제 생성하며 전송 규칙이 없으면 원격으로 보내지지 않는다.