침입탐지시스템에 대한 이해(1)

다른 블로그에 올리기를 시도하다가 귀찮아 포기했는데....

다시 과거의 글들을 올려 본다.

이 번엔 성공할려나...

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

2002년

침입탐지시스템에 대한 이해

 

넷시큐어테크놀러지㈜

연구소 연구기획팀

방세중 부장

 

 

0. 서론

정보화가 진전되고 정보통신망의 발전과 더불어 이에 대한 의존도가 높아짐에 따라 국내의 많은 기업들이 이제 보안에 대한 중요성을 충분히 인식하고 나름대로 기업에서 정보보호를 적용하고 실행할 수 있는 방안들을 모색하고 있다. 이에 따라 취약성을 분석하거나, 모의 해킹을 받아보거나, 침입차단시스템(Firewall) 등의 보안시스템을 구축하기도 한다. 특히, 네트워크의 보안이 중요한 문제로 대두되면서 보안시스템 중 근래 부각되고 있는 침입탐지시스템(Intrusion Detection System: IDS)을 비롯한 보호대상에 따라 적합한 정보보호 솔루션에 대한 관심이 높아지고 있다. 침입탐지시스템/침입방지시스템은 침입차단시스템과 함께 네트워크의 보안에 신뢰성을 높이는 주요 네트워크 보안 솔루션으로 과거 수입제품에 의존하던 국내 침입탐지시스템 시장이 침입탐지시스템의 정보보호시스템 평가제도를 통해 국내인증 받은 솔루션이 2001년 하반기부터 나오기 시작하여 여러 가지 솔루션으로 분화를 거듭하여 2007년 현재 침입탐지시스템에 능동적 대응 개념을 포함한 침입방지시스템(Intrusion Prevention System: IPS)으로 시장에서 판매되고 있다. 시스템 및 네트워크 정보보호제품 분야의 2006년 매출액은 2005년도 매출액 5,834억 원에 7.2% 성장한 6,252억 원이고 이 중 침입방지시스템은 11.43% 비중인 715억 원으로 집계되었다[1].

이러한 배경 하에 침입탐지시스템을 도입하고자 하는 보안관리자 또는 정책관리자의 솔루션 선택 및 관련 솔루션을 포함한 보안정책 수립에 도움이 되고자 본 글에서는 침입탐지시스템의 기술적인 분류와 그에 따른 특징을 살피고 이 보안 솔루션의 효과적인 운영방안을 제시할 것이다. 그리고 마지막으로 향후 침입탐지 시스템의 기술개발 동향에 대해 알아볼 예정이다. 그리고 본 글들은 깊이 있는 전문적인 지식을 제시하는 기술 레포트가 아닌, 자유로운 컬럼 형식을 취할 것이다.

 

1. 침입탐지시스템의 필요성

현재 네트워크 보안 솔루션으로 널리 사용되고 있는 침입차단시스템은 기술적인 면을 접어 두더라도 다음과 같은 보안적으로 취약한 상황이 일어날 수 있으며 또한 이 상황은 일반적이다. 예를 들면 어떤 사이트가 웹 서비스를 제공하고 있다면 특정 포트를 서비스를 위해서 외부에 공개할 것이고 동시에 이 포트는 불법침입과 공격에 노출이 된다. 이런 침입을 막기 위해서 관리자는 항상 사용하고 있는 시스템 및 응용프로그램에 대한 취약성 정보를 수집하고 대응을 게을리하지 말아야 한다. 그러나 이런 일련의 작업들은 많은 노력을 필요로 하는 일이며 잠시라도 게을리한다면 해당 시스템이나 응용프로그램은 침입차단시스템이 있더라도 취약성에 노출되며 동시에 불법침입의 대상이 된다.

위에서 언급한 것처럼 침입차단시스템에서 허용된 포트를 이용한 침입이 발생되거나 직접 침입차단시스템이 해킹 당한 경우에도 피해를 최소화하고 네트워크 관리자 부재시에도 시스템 자체적으로 불법침입 등에 대응할 수 있는 보안 솔루션에 대한 요구가 증대되고 이를 만족하기 위한 방안으로 침입탐지시스템이 침입차단시스템에 이은 보안 솔루션으로 부각되고 있는 것이다.

 

2. 침입탐지시스템의 분류

그렇다면 침입이란 무엇인가? 일반적으로 침입이란 비인가된 사용자가 자원의 무결성(integrity), 기밀성(confidentiality), 가용성(availability)을 저해하는 일련의 행동들과 보안 정책을 위반하는 행위를 말한다. 또한 침입탐지시스템은 이러한 침입을 가능한 실시간으로 탐지하는 시스템으로 정의할 수 있다. 여기서 사용된 용어 중, 무결성이란 권한이 있는 사람만이 자원의 내용을 수정할 수 있어야 한다는 것을 의미하고 기밀성이란 오직 권한이 있는 사람만이 보호되고 있는 데이터를 볼 수 있어야 하고, 가용성이란 권한을 가진 사람들이 자원을 쉽게 이용할 수 있어야 한다는 것이다. 그런데 앞의 정의에 따르면 침입탐지시스템은 외부침입자뿐만 아니라 내부 사용자의 불법적인 사용, 남용, 오용행위를 탐지하는데 목적을 두고 있는 시스템이고 <표 1>과 같이 침입탐지시스템을 침입탐지를 수행할 ‘데이터 소스’를 기반으로 분류하거나 ‘침입탐지 방법’에 기반을 기준으로 분류할 수 있다.

 

데이터 소스 기반	단일 호스트 기반의 침입탐지시스템(Single-Host Based IDS)
	다중 호스트 기반의 침입탐지시스템(Multi-Host Based IDS)
	네트워크 기반의 침입탐지시스템(Network Based IDS)
침입탐지 모델 기반	비정상 침입탐지 기법(Anomaly Detection)
	오용 침입탐지 방법(Misuse Detection)

<표 1> 미국 COAST(Computer Operations, Audit and Security Technology)의 분류에 의한 침입탐지시스템 분류

 

그리고 이와 다른 분류 방법이 있는데 <표 2>와 같은 분류는 침입탐지시스템을 기능적 특성과 비기능적 특성으로 크게 분류하고 각각 세부적으로 분류하는 것이다.

 

기능적 특성	침입탐지방법	Behavior Based
		Knowledge Based
	침입탐지시 대응행동	Passive
		Active
	감사데이터의 수집 위치	Hosting Files
		Network Packets
비기능적 특성	모니터링 수행 빈도	Continuous Monitoring
		Periodic Analysis

<표 2> IBM Zurich Research Lab.의 분류에 의한 침입탐지시스템 분류

 

현재 국내 출시된 침입탐지시스템을 분류하는 방법으로는 미국 COAST의 분류 방법을 많이 따르고 있다. 대표적으로 한국정보보호진흥원에 침입탐지시스템에 대한 정보보호 평가완료 또는 평가진행 중인 제품들은 <표 3>과 같이 호스트 기반 또는 네트워크 기반으로 크게 둘로 나누어 분류할 수 있다.

 

	평가완료 제품 개수	평가진행 제품 개수
호스트 기반의 침입탐지시스템	1	2
네트워크 기반의 침입탐지시스템	5	8

<표 3> 한국정보보호진흥원에 제출된 정보보호 평가완료 또는 평가진행 중인

침입탐지시스템 분류

 

3. 침입탐지시스템의 구성

 지금까지 우리는 침입탐지시스템의 정의와 그에 따른 분류 방법에 대해 살펴보았다. 이제부터는 침입탐지시스템의 메커니즘을 살펴보겠다. 침입탐지시스템은 <그림 1>과 같이 호스트 또는 네트워크로부터 데이터를 수집하고 이를 침입탐지에 적합하도록 가공 및 축약을 한 후 이 정보를 갖고 분석단계를 거쳐 침입이라고 판단이 되는 경우 사전에 설정되어진 정책에 따라 보고와 해당 대응행동을 하는 구조로 되어 있다.

 

<그림 1> 감사대상 데이터에 대한 침입탐지시스템의 처리 순서

 

이를 다시 네트워크 기반의 침입탐지시스템에 경우를 들어 ‘분석 및 침입탐지’ 부분을 자세히 살펴보면 <그림 2>와 같이 비정상행위 탐지(Anomaly Detection)와 오용 탐지(Misuse Detection)를 볼 수 있는데 <표 1>에서 언급되었던 침입탐지 기반의 분류이기도 하다. 실질적으로 현재 상용화 되어 있는 침입탐지 시스템은 침입탐지 부분은 ‘알려진 공격패턴’에 대한 분석을 주로 하고 엄격하게 얘기해서 ‘정상행위 프로파일’에 대한 분석은 이루어지지 않고 있다고 말할 수 있다.

 

<그림 2> 일반적인 네트워크기반 침입탐지시스템의 동작개요

 

4. 침입탐지시스템의 침입탐지 및 대응 방법

그렇다면 침입탐지시스템에서 사용되고 있는 두 가지 침입탐지 방법은 무엇일까?

 

4-1 침입탐지 방법

먼저 특정공격에 관한 기존의 축적된 지식을 바탕으로 패턴을 설정하고 이 패턴과 축약 가공된 데이터를 비교하여 일치하는 경우 불법침입으로 간주하는 방법이다. 이런 지식기반의 침입탐지 방식을 오용탐지(Misuse Detection)라고 한다. 이러한 방법의 침입탐지시스템은 새로운 공격을 탐지하기 위해서는 지속적으로 새로운 공격패턴을 갱신할 필요가 있다. 현재 시장에 나와 있는 대부분의 침입탐지시스템이 이러한 방법으로 침입탐지 기능을 수행하고 있다. 그리고 또 다른 하나의 방법은 사용자의 행동패턴을 분석한 후, 현재 사용패턴과 비교하여 침입을 탐지하는 행위기반 침입탐지 방법을 비정상행위 탐지(Anomaly Detection)라고 한다. 이런 방법은 오용탐지 방법에 대해 탐지율이 낮을 수 있으나 새로운 공격패턴 없이도 공격을 탐지할 수 있는 장점이 있다.

 

4-2 침입대응 방법

이렇게 침입이 탐지되면 침입탐지시스템은 향후 역추적하거나 통계자료 및 레포트 작성에 사용하기 위한 보안감사기록을 남기면서 동시에 미리 설정된 정책 중 다음과 같은 대응행동을 자동적으로 수행을 한다.

-          통지

침입탐지 사실을 콘솔에 표시하거나 관리자에게 SMS, E-Mail 등으로 알린다.

-          세션차단

보다 적극적인 방법으로 침입이 이루어 지고 있는 해단 연결 세션을 차단시킨다.

-          라우터 및 침입차단시스템 연동

세션차단보다 더 적극적인 방법으로 라우터나 침입차단시스템과 연동하여 접근 자체를 봉쇄하는 것이다.

 

5. 침입탐지시스템의 구현 기술 및 설치

지금까지 살펴본 구조를 갖고 있는 침입탐지시스템은 실질적으로 사후 감사추적에 의한 분석기술(Post-envent Audit Trail), 실시간 패킷 분석기술(Real-time Packet Analysis), 실시간 행위감시 및 분석(Real-time Activity Monitoring) 등의 기술로 구현할 수 있다. 그러나 실시간 네트워크 침입탐지가 불가능처럼 여겨지던 과거와는 다르게 실시간 탐지 기술의 발전으로 실시간 패킷 분석기술을 이용한 제품이 현재 시장에 주종을 이루고 있다(<표 3> 참조). 실시간 침입탐지 기술의 핵심은 네트워크 세그먼트에 흐르는 패킷을 가로채는 것이다.

대체적으로 Ethernet 환경에서 네트워크 시스템을 ‘Promiscuous mode’로 설정하면 같은 네트워크 세그먼트에 흘러 다니는 패킷의 내용과 헤더정보를 분석할 수가 있다. 이렇게 함으로써 침입탐지시스템은 침입탐지 패턴에 의한 침입탐지와 함께 IP Spoofing, Sync Flooding 등과 같은 특별한 유형의 네트워크 공격을 찾을 수가 있다. <그림 3>은 침입탐지시스템이 위치할 수 있는 곳을 나타낸 개념도로 이런 유형의 침입탐지 시스템의 장점은 네트워크를 통한 공격에 대해 효과적으로 대처할 수 있다는 것과 네트워크에 산재해 있는 여러 호스트에 모두 설치할 필요가 없다는 것이다.

 

 <그림 3> 네트워크 기반 침입탐지시스템의 설치위치

 이렇게 개괄적으로 침입탐지시스템에 대해 정의하고 기술적인 분류와 그에 따른 특징을 상용화 되어 있는 솔루션 위주로 살펴 봤다. 다음 회에서는 이 보안 솔루션의 운영상 유의사항과 효과적인 운영방안을 제시하고자 한다.