IPsec·AH/ESP·IKE 협상과 수업 VPN 설정 해석

01IPsec의 기능과 AH·ESP 구분

• AH·ESPIPsec은 IP 통신을 보호하는 규격군이다. AH(Authentication Header)는 선택한 인증 방식에 따른 무결성과 출처 인증, 재전송 방지 기능을 제공하며 데이터를 암호화하지 않는다.

  • ESP(Encapsulating Security Payload)는 선택한 변환에 따라 기밀성과 무결성·인증·재전송 방지 기능을 제공한다.
  • AH와 ESP는 제공하는 보호 기능과 헤더 보호 범위가 다르다.
• 무결성·암호화AH는 IP의 변경되지 않거나 예측 가능한 필드와 상위 데이터를 인증 계산에 포함하고, 이동 중 바뀌는 필드는 규칙에 따라 처리한다. ESP는 바깥 IP 헤더 자체를 암호화·인증하는 방식이 아니다.

  • 라우터가 다음 홉을 정할 외부 목적지 주소는 보인다.
  • 따라서 IPsec을 “누가 누구에게 보내는지 전혀 보이지 않는 익명화”로 설명하지 않는다.

02Transport·Tunnel: 무엇을 안쪽에 넣는가

• Transport·TunnelTransport mode에서는 원래 IP 헤더를 밖에 두고 상위 계층 데이터를 보호한다. Tunnel mode에서는 원래 IP 패킷 전체를 안쪽에 넣고 새 외부 IP 헤더를 붙인다.

  • site-to-site에서는 내부 호스트 주소와 VPN 게이트웨이의 외부 주소가 다르다는 점을 이를 통해 설명한다.
• 변경되는 IP 필드AH/ESP 두 프로토콜과 transport/tunnel 두 모드는 서로 다른 선택 축이다. 이를 “IPsec 프로토콜이 네 종류”로만 외우지 않고 실제 포맷과 보호 서비스의 조합으로 읽는다.

  • GRE를 이미 사용한다고 IPsec이 자동으로 transport가 되는 것도 아니다.
  • 구형 실습의 mode 생략 결과와 현재 장비 지원은 각각 확인해야 한다.

03SPI·Sequence·SA·보호 정책

• 단방향 SA·SPIIPsec SA(Security Association)는 알고리즘·키·SPI·수명·방향 등 데이터 보호에 필요한 상태다. 데이터 SA는 단방향이므로 양방향 통신에는 대응하는 SA가 필요하다.

  • 수신자는 SPI 등으로 사용할 SA를 찾고, 그 SA의 키·정책으로 인증과 복호화를 수행한다.
  • SPI는 공개 식별자이며 비밀키 값이 아니다.
• Anti-replayESP의 Sequence Number와 수신 윈도우는 중복·오래된 패킷을 제한하는 anti-replay 처리와 연결된다. 높은 번호가 보인다고 장비가 모든 낮은 번호를 무조건 버리는 단순 방식은 아니며, 허용 윈도우·순서 뒤바뀜·검증 성공을 고려한다.

  • 암호문 무결성을 검증할 수 있는 조합과 올바른 nonce·키 관리가 중요하다.
• 보호 정책정책은 어떤 트래픽을 보호할지, 그대로 보낼지, 버릴지를 결정한다. IKE로 키가 생겨도 실제 패킷이 해당 selector에 맞지 않으면 기대한 SA를 사용하지 않는다.

  • “VPN이 up”과 “이번 흐름이 암호화된다”를 별도 질문으로 두어야 한다.

06IKEv1: Main Mode와 Quick Mode

• IKEv1 Main Mode2월 2일 실습 예제에서는 crypto isakmp policy, Main Mode, Quick Mode를 사용하므로 IKEv1 계열 실습이다.

  • 일반적인 Main Mode 6메시지는 제안 선택, DH 값·nonce 교환, 피어 신원 인증을 거쳐 이후 협상을 보호할 IKE/ISAKMP SA를 만든다.
  • DH는 공유 비밀을 도출하는 과정이며, 단독으로 상대 신원까지 증명하지 않는다.
• Quick ModeQuick Mode는 이미 보호된 IKE SA를 사용해 데이터 IPsec SA의 변환·selector·키 재료 등을 합의한다. 사용자 패킷을 Quick Mode 메시지로 계속 전송하는 것이 아니다.

  • Main Mode 후반의 인증 교환은 도출한 키로 보호된다.
• 레거시 알고리즘실습의 3DES·DH group 2·MD5 및 짧은 수명은 당시 구형 이미지의 학습 설정으로만 남긴다. 운영 권장 조합처럼 복사하지 않는다.

  • IKE 정책의 hash와 데이터 Transform Set의 HMAC은 다른 계층의 설정이므로 서로 다른 알고리즘 이름이 있다는 사실만으로 불일치를 단정할 수 없다.

수업 원본 자료

수업에서 구분한 IKE 제어와 IPsec 데이터 보호

원본 크기로 보기 ↗

이 자료에서 읽어낼 것

1. 위·아래 터널은 물리적으로 두 개의 선을 설치한다는 뜻이 아니라 협상 메시지 보호와 사용자 데이터 보호의 역할을 구분한 것이다.
2. IKEv1의 Main/Quick Mode 설명에 사용하는 그림이다. IKEv2의 IKE_SA_INIT/IKE_AUTH 이름과 메시지 수를 이 Phase 1/2 도식에 그대로 끼워 넣지 않는다.
3. UDP 4500에서는 NAT-T에 따라 IKE와 UDP에 감싼 ESP를 구분해서 처리한다. ESP 자체는 원래 IP 프로토콜 50이고 TCP/UDP 포트 50이 아니다.
4. 그림의 Phase 2 협상 자체는 IKE 제어 교환이다. ESP가 협상 메시지를 대신하는 것이 아니라 협상으로 만든 IPsec SA를 사용해 데이터를 보호한다.

07IKEv2 초기 협상과 SA의 생애

• 두 종류의 SAIKE SA는 협상 메시지를, CHILD_SA는 실제 데이터 통신을 보호한다. 수명·재키잉·삭제가 같지 않아 데이터 SA만 잠시 남을 수도 있다.
• 교환 수의 조건EAP 등 인증 방법에 따라 교환 수가 늘어날 수 있다. 모든 초기 협상이 항상 네 패킷으로 끝나는 것은 아니다.

1. IKE_SA_INIT암호 제안·DH 교환값·nonce 등을 교환해 키 재료를 도출한다.
2. IKE_AUTH보호된 교환으로 피어 신원을 인증한다. 일반적인 초기 구성에서는 첫 CHILD_SA와 traffic selector도 합의한다.
3. 데이터 보호합의한 CHILD_SA와 selector에 맞는 트래픽을 보호한다. IKE 협상 메시지와 사용자 데이터의 보호 관계를 나눈다.
4. 추가·재키잉·삭제필요할 때 CREATE_CHILD_SA로 추가 SA 또는 재키잉을 수행한다. INFORMATIONAL은 상태·삭제 등의 관리 교환에 사용한다.

08GRE 실습의 Crypto ACL을 해석하는 순서

• GRE 보호 대상원본은 내부 패킷을 GRE로 감싼 다음 그 GRE 패킷을 IPsec이 선택하도록 구성했다. 따라서 ACL의 protocol은 gre(47)이고 source/destination은 GRE의 WAN 종단이다.

  • 내부 LAN 대역을 그대로 적는 site-to-site 정책과 혼동하지 않는다.
  • 예제의 WAN /24 범위가 실제 종단 주소를 포함하면 매칭될 수 있지만, 한 쌍만 보호할 때 host로 범위를 명확히 할 수 있다.
• Crypto ACLCrypto ACL에서 permit은 그 흐름을 보호 대상으로 선택한다는 의미다. 일반 인터페이스 ACL의 통과 허가와 역할이 다르다.

  • 반대편에서는 로컬·원격 selector를 서로 대응시키고, NAT가 먼저 주소를 바꾸는지와 실제 장비 처리 순서도 확인한다.
  • NAT 예외와 NAT-T는 서로 다른 문제를 해결한다.

! 문서용 GRE WAN 종단 한 쌍을 선택하는 예제
access-list 110 permit gre host 192.0.2.1 host 198.51.100.2

! 반대편
access-list 110 permit gre host 198.51.100.2 host 192.0.2.1

필기의 대역형 selector를 의미가 분명한 host형으로 재구성했다. TCP/UDP 포트 47이 아니라 IP 프로토콜 47을 선택한다.

09Transform Set·Crypto Map·Profile의 연결

• Transform·MapTransform Set은 ESP/AH의 데이터 보호 조합과 모드를 정의한다. Crypto Map은 peer, Transform Set, Crypto ACL을 묶고 실제 WAN 인터페이스에 적용한다.

  • IKE policy 번호·Crypto Map sequence·ACL 번호는 다른 객체의 식별자이며 번호가 같다고 자동 연결되는 것이 아니다.
  • 참조 이름과 각 설정의 의미를 따라가야 한다.
• Profile 방식IKEv2 Profile과 IPsec Profile을 준비하고 Tunnel에 tunnel protection ipsec profile을 연결할 수도 있다. 이것은 구성 방식의 선택지이며 기존 Crypto Map과 같은 흐름에 무조건 중첩하는 단계가 아니다.

  • 장비와 버전이 지원하는 방식에 따라 선택한다.

! 참조 관계를 읽기 위한 구성 골격: 객체는 먼저 정의되어야 함
crypto map LAB-MAP 10 ipsec-isakmp
 set peer 198.51.100.2
 set transform-set LAB-TRANSFORM
 match address 110
interface <WAN_INTERFACE>
 crypto map LAB-MAP

완성된 VPN 설정이 아니다. 키·IKE 정책·실제 인터페이스·장비 지원에 의존하는 관계를 보여 주며, 원문의 취약한 비밀이나 구형 암호 조합을 운영 예제로 재배포하지 않는다.

10NAT-T와 패킷 크기

• NAT-T일반 IKE는 UDP 500을 사용하며 NAT가 감지된 구성에서는 UDP 4500의 NAT-T로 IKE와 ESP 운반을 처리할 수 있다. ESP 자체는 IP 프로토콜 50이고 AH는 51이다.

  • NAT가 ESP 포트 번호를 바꾼다는 식으로 설명하지 않는다.
  • ESP를 UDP로 감싸면 포트 기반 NAT가 흐름을 다룰 수 있는 형태가 된다.
• AH·MTUAH는 주소 등 인증에 포함된 정보가 NAT로 달라지는 상황과 충돌한다. ESP에서도 NAT 여부·selector·종단 인증 식별자는 올바르게 설계해야 한다.

  • 외부 IP·UDP·ESP·IV/nonce·태그·패딩·GRE가 더해지면 실제 overhead는 알고리즘과 모드에 따라 달라져 MTU/PMTUD 확인이 필요하다.
  • 고정된 한 숫자로 모든 IPsec 오버헤드를 설명하지 않는다.

11원본 UP-NO-IKE와 암복호화 카운터 읽기

• UP-NO-IKE실습 출력에는 Session status: UP-NO-IKE와 Active SAs: 2가 함께 기록되어 있다. 이는 해당 관찰 시점에 데이터 IPsec SA는 있으나 활성 IKE SA가 없는 상태를 나타내는 출력으로 읽고, 즉시 “모두 실패” 또는 “계속 정상”으로 단정하지 않는다.

  • 재키잉할 때 인증·협상이 다시 성공하는지도 별도로 확인해야 한다.
• 암복호화 카운터같은 기록에서 R2의 Encrypt 15 / Decrypt 19와 R4의 Encrypt 19 / Decrypt 15가 대응한다. 송신 암호화와 반대편 복호화 수가 연관됨을 읽을 수 있지만, 기록 시점·흐름·누적 범위가 같지 않으면 항상 정확히 같아야 하는 것은 아니다.

  • 이 출력은 특정 패킷 처리의 단서이며 사용자 애플리케이션 전체의 성공을 증명하지 않는다.

show crypto session detail
show crypto isakmp sa
show crypto ikev2 sa
show crypto ipsec sa
show crypto engine connections active
show access-lists 110

isakmp/ikev2 조회는 실제 사용하는 버전에 맞춰 고른다. selector·SPI·수명·encaps/decaps·인증 실패/재전송 방지 오류와 양끝을 함께 비교한다.

12한 방향만 될 때와 재키잉 시 실패할 때

• 단방향 실패IKE SA가 없으면 WAN 도달성, UDP 정책, 인증 ID·PSK/인증서, 제안 호환성을 먼저 확인한다. IKE는 있지만 데이터 SA가 없으면 traffic selector와 변환·모드를 확인한다.

  • SA는 있으나 카운터가 0이면 실제 패킷이 그 경로·selector를 지나가는지 확인한다.
  • encaps만 증가하고 반대편 decaps가 늘지 않으면 전송 중 손실·NAT·정책·반대편 SA를 함께 본다.
• 재키잉·기록복호화 뒤 응답이 안 돌아오면 내부 경로·서버 방화벽·반환 경로를 확인한다. 일정 시간 후 끊기면 수명·재키잉·DPD·키 교체·인증서 조건을 시간축으로 대조한다.

  • 초기 한 번 ping 성공만으로 장기 세션과 큰 패킷이 모두 정상이라고 결론내리지 않는다.
  • 정상·장애·재키잉 전후의 근거를 분리하여 남긴다.