[GCP]Stackdriver 대시보드, Metric 과 알람

안녕하세요 이정운 입니다.

지난번에 Stackdriver 와 관련되어 간단하게 살펴보면서 가급적 시간나는데로 시리즈로 작성해보겠다고 했는데 이제 Stackdriver 그 두 번째 시간 입니다. 지난번 까지 Google cloud 의 모니터링/로깅관련 컴포넌트인 Stackdriver 에 대한 아주 기본적인 이야기와 어떤 기능이 있는지 살펴 보았다면 이번에는 모니터링 정보를 좀 더 편하고 원하는 입맛대로 보기 위한 대시보드 기능과 실시간 로그 데이터를 분석하여 이슈가 발생시 바로 확인을 하기 위한 측정항목(Metric) 이라는 개념과 이를 통한 알람에 관련된 기능을 살펴보는 시간을 가지도록 하겠습니다.

다시 말하자면 다양한 정보를 좀 더 내가 원하는 입맛에 맞게 대시보드를 그려서 모니터링을 수행하고 모니터링 하고 있는 정보 중에 필요한 부분을 Metric 으로 가지고 오거나 커스텀 Metric 으로 작성하여 내부적으로 카운트 하다가 지정된 임계치가 넘으면 자동으로 이메일이나 slack 등으로 알람을 보내는 것을 Stackdriver 만을 이용해서 수행해 보도록 하겠습니다. 이와 같은 모니터링/알람과 같은 작업은 일반적으로 회사에서 시스템을 제어하기 위해서 많이 사용되며 별도의 추가 솔루션 없이도 Stackdriver 가 해당 기능을 풍성하게 제공하므로 이를 통해서 GCP 환경만이 아니라 AWS, on-prem 환경에 대해서도 통합적으로 모니터링 및 관리나 제어가 가능합니다.

이번 이야기는 하단의 링크를 참고해서 작성하였습니다.

Building Charts
https://cloud.google.com/monitoring/charts/

Using Custom Metrics
https://cloud.google.com/monitoring/custom-metrics/

Introduction to Alerting
https://cloud.google.com/monitoring/alerts/

---

#1) Stackdriver Monitoring 의 대시보드 작성

Stackdriver Monitoring 은 기본적으로 다양한 모니터링 화면을 제공할 뿐만 아니라 왼쪽 메뉴의 Resources 를 선택하여 각 자원 별로 상세 모니터링 화면도 확인이 가능합니다.

그런데 이런 경우에는 자세하긴 하지만 각 자원별로 확인하기 때문에 좀 더 통합적인 대시보드를 만들어서 보고 싶다는 요구가 있을 수 있습니다. 이때 사용할 수 있는 기능이 대시보드 기능이며 왼쪽 메뉴에서 ‘Dashboards > create Dashboards’ 를 선택하면 대시보드를 만들수 있는 빈 화면이 나옵니다. 이런 빈 화면에다가 ‘Add Chart’ 를 클릭하여 원하는 형태의 차트를 추가하여 원하는 대시보드를 구성할 수 있습니다. 예를 들어 ‘METRIC’ 에 먼저 자원과 관련되어 ‘GCE VM instance’ 를 선택하면 이와 관련되어 모니터링 할 수 있는 다양한 Metric 정보가 나타납니다. (친절하게 각 Metric 설명도 같이 나옵니다.)

참고로 하단의 링크에서 확인이 가능하지만 GCP 는 기본적으로 아주 다양한 Metric 을 이미 만들어서 제공하고 있습니다.

Metrics List
https://cloud.google.com/monitoring/api/metrics

여기서 보고자 하는 Metric 정보를 확인하면 바로 해당 자원과 Metric 에 대한 그래프를 확인할 수 있습니다. (필요하다면 Filter, Group, Aggregation 과 같은 추가 제어도 가능합니다.)

이런 식으로 ‘Add Chart’ 를 클릭하여 원하는 형태의 자원과 Metric 을 선택하기만 하면 손쉽게 하단과 같이 내가 보고자 하는 대시보드를 구성할 수 있습니다.

---

#2) Stackdriver Logging 의 커스텀 Metric 및 알람(Alert)

이전 파트에서 모니터링을 위하여 Stackdriver 를 통해 쉽게 차트나 대시보드를 만드는 것을 확인해봤습니다. 그런데 미리 지정된 Metric 이 아니라 우리 회사나 나만을 위한 측정항목(Metric) 을 만들어 이를 모니터링 하거나 알람을 만들고 싶을 때도 있을 것 입니다. Stackdriver 는 이러한 작업도 아주 쉽게 할 수 있는 방안을 제공합니다.

내가 보고자 하는 커스텀 Metric 을 만들기 위해서는 우선 Stackdriver 로그 뷰어에서 그 항목들을 확인할 수 있어야 합니다.

로그 중에서 보고자 하는 부분에 마우스를 가져다 대면 ‘일치하는 항목 표시’ 라는 메뉴가 나오는데 이를 클릭하면 자동으로 해당 항목만 표시할 수 있는 ‘고급 필터’ 가 만들어지고 이를 적절하게 수정하여 내가 보고자 하는 정보들만 확인하는 방법을 찾습니다.

이렇게 한 후에 바로 로그 뷰어 항목 위에 있는 ‘측정항목 만들기’ 를 클릭하면 하단과 같이 해당 정보를 커스텀 Metric 으로 만들수 있습니다. 예를 들어 지금 위와 같은 경우에는 ‘404’ 가 발생했을 경우에 1씩 증가하는 ‘error_404’ 라는 커스텀 Metric 을 작성한 것입니다.

이렇게 작성된 Metric 은 ‘로그 기반 측정항목’ 에서 하단과 같이 확인이 가능합니다. 여기서 더 중요한 점은 바로 이를 모니터링으로 확인해보는 것 뿐만 아니라 알람을 바로 만들 수 있다는 점입니다. ‘측정항목에서 알람 발생’ 을 선택합니다.

그러면 모니터링 화면에서 알람 작성 메뉴로 자동으로 이동하여 기본 정보가 다 채워진 하단과 같은 화면을 확인 가능합니다. 여기서 원하는대로 알람이 수행되는 정보를 변경할 수 있으며(예: instance 대상 범위나 기간, 조건의 Threshold 등) 원하는 형태로 조건을 저장할 수 있습니다.

이렇게 저장하면 알람 정책 마법사의 조건이 자동으로 완성 되며 알람을 사용하기 위해서 필요한 나머지 정보만 추가 입력하면 됩니다. 예를 들어 알람을 어떤 방법으로 보내줄 것인지(예: 메일이나 slack 등), 어떤 메세지 포멧으로 보내줄 것인지 등에 대한 정보를 넣어 주면 됩니다.

이렇게 하면 Stackdriver Monitoring 화면의 Alerting 메뉴에서 하단과 같이 작성한 알람이 추가된 것을 확인할 수 있습니다.

이후 테스트를 위해서 해당 알람이 발생할 조건을 임의로 만들어 봅니다. (지금은 404 error 가 나게 만든 것입니다.)

이렇게 하면 모니터링 화면에서 하단과 같이 알람 생성 조건의 Threshold 가 넘었다는 메세지를 확인할 수 있으며 이를 클릭하여 해당 시점의 자세한 모니터링 내용을 추가 확인 가능합니다.

뿐만 아니라 미리 설정한 정보대로 이전에 등록했던 email 주소로 하단과 같이 경고 메일이 와있는 것을 확인 가능합니다.

짧지만 간단하게 Stackdriver 를 이용하여 모니터링을 좀 더 자유롭게 하기위한 대시보드를 그려보거나 내가 원하는 커스텀 Mtric 을 만들어서 이를 바로 모니터링하거나 조건을 생성해서 이를 위반할 시 알람을 보내는 작업을 수행해봤습니다. 그럼 이번 이야기는 여기서 마무리하고 다음 이야기에서 뵙겠습니다.