Splunk의 수집·인덱스·SPL 검색

01개념과 구성 요소

• 수집·저장·검색Forwarder, Indexer, Search Head가 입력 전달·색인·검색을 나누어 맡는다.
• 이벤트 문맥host·source·sourcetype·index와 _raw·_time이 출처·형식·시간을 연결한다.
• SPL파이프 뒤의 명령이 앞 단계의 결과 집합을 바꾸며 집계 뒤에는 원래 모든 필드가 남지 않을 수 있다.

0210분 구간의 인증 실패를 SPL로 집계하는 순서

1. 입력 집합 선택index·sourcetype·action 조건과 검색 시간으로 대상 이벤트를 고른다. 필드가 실제로 추출되어 있어야 한다.
2. 시간 구간 배치bin _time span=10m으로 각 이벤트를 고정된 10분 구간에 넣는다.
3. 그룹별 집계stats가 시간·host·user 조합별 실패 수와 출발지 집합을 만든다. 이벤트 행은 요약 행으로 바뀐다.
4. 임계값 적용where가 failures>=5인 그룹만 남긴다. 경계 양쪽에 나뉜 네 번씩의 실패는 같은 그룹이 아니다.
5. 원본·중복 검토요약에 기여한 이벤트와 반복 실행의 중복 경보를 확인한다. 고정 구간 집계를 sliding window로 해석하지 않는다.

03Forwarder·Indexer·Search Head의 책임

• 세 구성요소Forwarder는 데이터를 수집·전달하고 Indexer는 이벤트를 저장·색인하며 Search Head는 검색을 분배하고 결과를 취합한다. 세 역할은 한 서버에 합쳐질 수도 분리될 수도 있다.
• 전달과 저장Forwarder가 연결되었다는 사실과 이벤트가 올바른 시각·형식으로 저장되었다는 사실은 다르다.
• UF·파싱 위치Universal Forwarder는 경량 수집 역할이고 복잡한 변환이 필요한 구성에서는 처리 위치를 별도로 정한다. 필드 추출을 검색 시점에 수행할 수 있지만 이벤트 경계·timestamp·기본 메타데이터 등은 색인 전에 처리하는 부분도 있다.

04host·source·sourcetype·index

• 메타데이터host는 이벤트 발생 자산, source는 파일 경로나 입력 출처, sourcetype은 이벤트 형식과 처리 규칙, index는 저장 구역을 나타낸다. 파일명이 같아도 호스트가 다를 수 있고 같은 호스트의 auth 로그와 웹 로그는 다른 sourcetype을 사용한다.
• Sourcetype 영향잘못된 sourcetype은 시간 추출·줄 결합·필드 해석에 영향을 준다.
• 입력 예아래 입력은 가상 교육 파일을 lab index로 보내는 부분 예다. source의 실제 위치와 read 권한이 먼저 맞아야 하며, 이 설정만으로 수신 서버·TLS·인가가 모두 구성되지는 않는다.
• 중복 수집입력 경로를 두 번 설정하거나 같은 로그를 다른 경로로 동시에 받으면 중복 이벤트가 검색 결과를 부풀릴 수 있다.

[monitor:///var/log/training/auth.log]
disabled = 0
index = lab
sourcetype = training_auth

원리를 설명하는 가상 학습 예시입니다.

05시간 기반 Bucket과 TSIDX

• Bucket·TSIDX이벤트는 시간 범위를 가진 bucket에 저장되고 raw data와 검색용 색인 구조가 함께 관리된다. TSIDX는 검색 term과 위치 정보 등을 이용해 모든 원문을 매번 순차 탐색하는 비용을 줄인다.
• 역인덱스 예admin→Event1,Event3은 토큰에서 관련 이벤트로 이동하는 역인덱스 관계의 예다.
• Hot·Warm·Cold·FrozenHot bucket은 쓰기가 진행되는 상태이고 warm·cold는 정책에 따라 이전된 상태이다. frozen은 일반 검색에서 빠지는 단계이며 설정에 따라 삭제되거나 archive 처리될 수 있어 영구 보관을 자동 보증하지 않는다.
• 복구 자료보관 자료를 다시 검색하려면 지원되는 복구 절차와 필요한 파일이 있어야 한다.

06_raw·_time과 필드 추출

• Raw·Time_raw는 원본 이벤트 내용, _time은 사건 시각으로 해석된 검색 시간이다. 메시지에 timezone이나 연도가 없으면 입력 설정과 수집 문맥이 시간 해석에 영향을 준다.
• 색인과 사건 시각색인 시각과 사건 시각이 다를 수 있으므로 지연 수집된 파일의 이벤트가 지금 시간창에 없다고 누락으로 확정할 수 없다.
• 필드 추출검색 시 추출한 user·src·action을 탐지 조건에 쓰려면 해당 sourcetype의 실제 추출 결과를 읽어야 한다. Add-on마다 src_ip 또는 src 등 이름이 달라질 수 있다.
• 없는 필드존재하지 않는 필드를 기준으로 집계하면 의도한 결과가 조용히 사라질 수 있다.

07SPL 파이프는 앞 단계 결과를 바꾼다

• 파이프 변환기본 검색이 이벤트 집합을 고르면 파이프 뒤 명령이 그 집합을 변환한다. stats는 그룹별 요약 결과로 바꾸므로 그 뒤에서 원래 모든 이벤트 필드가 자동으로 남아 있다고 가정하면 안 된다.
• Count·Distinct Countcount는 이벤트 수이고 dc(user)는 고유 사용자 수로 질문이 다르다.
• 10분 집계다음은 필드가 이미 정규화된 교육 데이터의 10분 구간별 실패 집계다. bin은 시간을 고정 폭 구간에 배치하고 stats는 그 시간·호스트·사용자 조합별로 세며 where는 집계 결과를 제한한다.
• Valuesvalues(src)는 중복을 제거한 출발지 값 집합이므로 사건의 발생 순서를 보여 주지 않는다.

index=lab sourcetype=training_auth action=failure
| bin _time span=10m
| stats count AS failures values(src) AS sources BY _time host user
| where failures >= 5

원리를 설명하는 가상 학습 예시입니다.

11고정 구간과 Sliding Window는 다르다

• 구간 경계10:09에 네 번, 10:11에 네 번 실패했다면 실제 2분 안에 여덟 번이지만 10분 고정 구간별로는 네 번씩 나뉜다. bin의 고정 구간은 임의 시점부터의 최근 10분을 뜻하는 sliding window와 다르다.
• 창 선택경계에 걸친 이벤트를 어떻게 처리할지는 탐지 질문에 따라 별도 설계한다.
• 반복 경보검색을 매분 실행하면 서로 겹치는 검색 범위의 같은 사건이 반복 경보로 올라올 수도 있다. 이벤트 ID·집계 키·경보 억제 정책을 정의해야 원시 사건 수와 알림 건수를 분리할 수 있다.
• 지연·누락시간 지연·누락·중복을 반영하지 않은 임계값은 도구가 정상 작동해도 의미가 달라진다.

12Event Index와 Metric Index

• Event·Metric IndexEvent index는 원문 로그와 검색 필드를 다루는 일반적인 자료 구조이고 metric index는 시간·측정값·dimension 중심의 수치 분석에 적합하다. CPU 사용률을 문자 로그로 저장할 수도 있지만 metric 형태로 다루면 측정값의 단위와 시계열 집계 목적이 명확해진다.
• 검색 방식두 형태는 검색 명령과 활용 방식이 다르므로 index라는 이름만 같다고 동일 쿼리를 복사하지 않는다. 누적 카운터와 순간 gauge도 다르게 집계한다.
• 저장 비용데이터 종류·카디널리티·보존 기간·검색 방식이 저장 및 비용에 영향을 준다.

13Elastic과 같은 질문을 비교하는 실습

• 100건 대조같은 가상 인증 이벤트 100건을 두 플랫폼에 넣고 전체 건수·호스트 수·실패 사용자 집계를 비교할 수 있다. 이것은 제품 이름보다 파싱과 필드 의미가 결과를 결정한다는 사실을 보여 준다.
• 파싱 조건같은 100건이어도 시간대·누락 필드·중복 처리 방식이 다르면 결과가 달라진다.
• 단계별 예상값원본 메시지→필드→집계→경보의 각 단계에 작은 예상값을 두면 어느 부분의 차이인지 좁힐 수 있다. 화면이 동일하게 보이는 것보다 어떤 입력이 어떤 집계 행에 기여했는지 역추적할 수 있는지가 중요한 기준이다.
• 성능 시험 구분동일 자료의 집계 비교와 처리 성능의 우열 평가는 다른 시험이다.