시험·결과 보고서

01무엇이고, 어떤 일을 하나

• 변경 전후를 같은 조건에서 비교하여 원인을 좁힌다.
• 성공뿐 아니라 실패·경계 조건과 남은 불확실성을 기록한다.
• 탐지율과 오탐률처럼 목적에 맞는 지표로 결과를 평가한다.

02어떤 순서로 동작하나

1. 정상 기준 확정

   환경·입력·기대 결과·판정 기준을 정한다.

2. 증상 기록

   발생 시각·대상·재현 조건·출력과 서비스 영향을 남긴다.

3. 가설 분리

   가능한 원인을 나열하고 각 가설이 맞을 때 달라질 관찰값을 정한다.

4. 통제된 검사

   가능하면 한 번에 한 조건을 바꾸고 로그·패킷·설정을 비교한다.

5. 조치와 회귀 확인

   원인에 맞는 조치를 적용한 뒤 같은 시험과 정상 기능 시험을 반복한다.

6. 보고와 후속 관리

   사실·추론·남은 불확실성을 구분하고 결론, 근거, 담당자와 후속 기한을 기록한다.

03먼저 알아둘 용어와 구성요소

가설

관찰된 현상을 설명하기 위해 세운 검증 가능한 추정이다.

기대 결과

시험 전에 정한 정상 동작이나 통과 조건이다.

실제 결과

시험 수행 중 관측한 응답·상태·로그·수치이다.

재시험

조치 후 동일한 조건이나 합의한 조건으로 문제 해결 여부를 다시 확인하는 것이다.

04예제로 따라가기

• 가상 정답 자료: 교육용 이벤트 1,000건의 정답을 악성 20건·정상 980건으로 미리 확인했다고 가정한다. 경보 자체를 정답 라벨로 사용하지 않는다.
• 네 결과로 분류: 악성 중 탐지 18건(TP), 미탐 2건(FN), 정상 중 경보 12건(FP), 정상 무경보 968건(TN)으로 나눈다.
• 정확도 계산: (TP+TN)/전체 = (18+968)/1,000 = 98.6%다. 정상 사건이 많은 자료에서는 이 값만 높아도 오탐·미탐이 남을 수 있다.
• 경보 정밀도: TP/(TP+FP)=18/30=60%다. 경보 30건 중 12건이 정상이라는 사실은 분석자의 검토 부담과 연결된다.
• 악성 재현율: TP/(TP+FN)=18/20=90%다. 정상 사건의 수가 많다고 놓친 악성 2건의 영향이 사라지는 것은 아니다.
• 평가 조건 보고: 자료 선정·정답 판정·관측 기간·임계값·실패 사건의 종류를 함께 제시한다. 이 자료에 맞춰 조정한 규칙은 별도의 자료로 다시 확인한다.

05혼동하기 쉬운 점과 확인 기준

• 동시 변경의 혼입: 네트워크·설정·버전을 한꺼번에 바꿔 성공했다면 어느 변경이 원인이었는지 불명확하다. 변경을 분리하거나 확인 가능한 수준의 결론만 기록한다.
• 시간 오차: 장비 시각·시간대·로그 정밀도가 다르면 사건 순서가 뒤집혀 보일 수 있다. 보정 근거와 남는 오차를 기록한다.
• 분모 누락: 수집되지 않은 사건을 제외하고 정확도를 계산하면 실제 입력의 실패를 숨길 수 있다. 원천 건수·수집 건수·파싱 성공·판정 가능 건수를 함께 집계한다.
• 평균의 한계: 평균 응답시간만으로 극단적으로 느린 요청과 장애 구간을 설명하지 않는다. 표본 수·분포·관측 시간과 필요한 상위 백분위수를 함께 확인한다.
• 시험 도구의 영향: 패킷 캡처·상세 로그·부하 도구가 시스템의 자원 사용을 바꿀 수 있다. 측정 기능을 켠 환경과 운영 환경의 차이를 기록한다.
• 부록의 재현 가능성: 실행 순서·입력·기대 결과·설정 버전·자료 위치가 없으면 화면만으로 재현하기 어렵다. 다른 사람이 보고 같은 시험을 수행할 수 있는지 검토한다.

06상세 노트 · 실습 자료

헤더 구조, 설정 예시, 수치 계산과 수업 캡처는 아래 노트에서 이어집니다.