[Datadog] AWS integration부터 로그 수집까지

Cloud/AWS

Omoknooni 2023. 4. 27. 21:28

클라우드 상에 운영중인 외부 서비스의 로그 모니터링을 진행하고자 했다. 모니터링 할 대상은 WAF 로그, ALB 로그, DNS Query 로그가 있었고, 추가로 해외 IP 접근 이력, 관리자 페이지에 접근한 IP 등을 모니터링 해줄 것을 요청 받았다.

사실 Cloudwatch를 통해 모니터링이 가능하지만, 더 깔끔한 UI/UX와 모니터링 방법을 원하셨고, Splunk나 ELK의 구축에는 시간도 오래걸리고, 결정적으로 사내에 모니터링 인프라를 구축할 pc가 없었다.

이에 따라 로그모니터링을 위한 외부 서비스를 추천해주셨고, 그것이 바로 DataDog였다.

DataDog는 on-premise환경부터 클라우드 환경의 서버까지 통합된 모니터링(로그,이벤트)을 할 수 있는 서비스로, 깔끔한 UI와 다양한 서비스들의 모니터링을 지원해준다는 큰 특징이 있다.

AWS의 모든 서비스의 로그를 확인하기 위해 integration(통합)해야하는데, AWS의 Cloudformation을 통해 자동으로 작업을 진행 가능하다

Getting Started with AWS

Datadog, the leading service for cloud-scale monitoring.

docs.datadoghq.com

Datadog에 로그인 후, 좌측 메뉴에서 Integrations에서 Amazon Web Services > Install

Add New AWS Account에서 Automatically using Cloudformation으로 과정에 따라 진행해준다.

- Automatically using Cloudformation : AWS의 Cloudformation을 통해 Datadog과 연동할 IAM role, lambda 함수 등을 생성해주는 템플릿을 실행해줌

- Manually : AWS console에서 직접 IAM 계정을 생성해주는 방식으로, 제공되는 External ID를 추가해 생성해준다.

비교적 간단한 Cloudformation 방식을 이용하도록한다. 각 항목 내용은 아래와 같다.

Select AWS Region : Cloudformation Stack이 실행될 리전을 선택, 주로 사용하는 리전을 설정해줘도 무방하다.
Add Datadog API Key : Datadog API key를 추가해주는 부분으로, 생성한 API key를 설정해준다.
(API key 생성/관리는 Organization Settings > Access > API Keys에서)
Send AWS Logs to Datadog : AWS 서비스의 로그들을 Datadog으로 전송해주는 Datadog Forwarder Lambda 함수를 생성할 것인지를 설정하는 구간, 로그 모니터링을 할 것이므로 Yes

이후 우측 하단의 Launch Cloudformation Template로 AWS의 Cloudformation 설정 메뉴로 넘어오게 된다.
파라미터값들은 이미 값이 채워진 상태로 넘어와서 따로 손 댈 구간이 없다.
하단의 체크박스 체크 후 stack을 생성하면 datadog에서 제공한 템플릿에 맞춰 자동으로 stack이 생성된다.