지금 주목해야 할 옵저버빌리티 트렌드 5가지

Technical Writer

2024년 6월 5일 · 약 27분

이 글은 올해 아직 주목해야 할 옵저버빌리티(Observability) 트렌드 5가지를 정리했습니다. 옵저버빌리티는 ‘시스템 외부 출력의 결괏값에서 시스템 내부 상태를 얼마나 잘 추론하는지 나타내는 척도’죠. 이는 메트릭, 이벤트, 로그, 트레이스를 수집해 시각화하고 분석하는데요. 이로써 내부 동작 배경 정보를 풍부하게 제공하고, 심층적인 시스템 문제를 해결합니다.

글로벌 IT 업계 전문가, 기업, 전문 매체는 옵저버빌리티를 2024년 DevOps 트렌드로 선정하기도 했고요. Grafana Labs, Splunk, Dynatrace, Chronosphere 등 옵저버빌리티 기업과 Dimensional Research 등 시장조사기관은 2024년 옵저버빌리티 트렌드를 세분해 제시했습니다. 옵저버빌리티 ‘도구’로서 인공지능(AI) 영향력 확대, 옵저버빌리티 ‘대상’으로서 AI 관측 중요성 증가, 옵저버빌리티 비용 절감 노력, 오픈 소스와 OpenTelemetry 수요 상승, 옵저버빌리티 도구 통합 움직임 강화가 그 예죠.

이 글에서는 옵저버빌리티 기업과 시장조사기관이 꼽은 2024년 옵저버빌리티 트렌드 가운데 3회 이상 지목된 트렌드 5가지를 골랐고요. 각 트렌드의 구체적인 현황과 등장 배경, 유의 사항을 살펴봤습니다.

1. 옵저버빌리리티 ‘도구’로서 AI 영향력 확대

출처=픽사베이

AI는 옵저버빌리티 도구로 더 널리 활용될 겁니다. Grafana Labs와 Splunk에 따르면, AI는 신호 상관, 이상 징후 탐지, 근본 원인 분석, 성능 최적화 업무에 쓰여 ‘시스템에서 일어나는 일’을 빨리 이해하도록 돕는데요. 예를 들어, AI가 이상 징후를 탐지하면 조사와 자동 대응을 거쳐 문제를 자동 해결할 수도 있죠. 아울러 AI는 사용할 수 있는 데이터를 신속히 선별하고, 문제를 확인하기 위해 ‘어디에, 어떤 순서로 집중할지’ 빠르게 추천할 걸로 예상됩니다.

일상 프로세스를 자동화해 장시간 작업을 줄이는 도구 수요는 옵저버빌리티에서 AI 활용도를 높이죠. AI로 단순 반복 업무를 자동화하면 팀은 시스템 관리의 전략적·창의적 측면에 집중할 수 있어 유익합니다. 또 Dynatrace에 따르면, 더 많은 조직이 최신 기술 스택 복잡성을 해결하고자 고급 AI, 분석, 자동화 기능에 의존하는데요. 클라우드 네이티브 제공 속도를 따라가려면, 조직이 멀티 클라우드 인프라와 애자일 개발 관행을 대규모로 자동화한, 정확하고 예측할 수 있는 AI 기반 분석이 필요하죠. 인과·예측·생성형 AI를 결합한 옵저버빌리티 도구를 활용하면 옵저버빌리티, 보안, 비즈니스 데이터에서 통찰을 풍부하게 얻을 수 있고요. 시스템을 심층 분석할 수 있습니다.

그러나 AI가 옵저버빌리티의 만병통치약은 아닙니다. Splunk는 “AI가 모든 문제 유형을 자동 해결할 수 없고, 수동 트러블슈팅을 대체하지 않을 거”라고 전망하죠. AI가 이상 징후 수동 탐지 기능을 앞으로 3~5년 안에 대체하지는 않을 거고요. ‘고객이 원하는 수준으로 AI가 신뢰성을 달성했다’고 보려면 시간이 걸린다고 합니다. 한편, 옵저버빌리티 도구로서 ‘AI 성능 수준’은 관련 도구를 선정할 때 영향을 미칠 수 있는데요. Dynatrace에 따르면, 기술 리더 79%가 “AI, 분석, 자동화 기능 성숙도가 공급업체와 파트너 선택 방식에 더 중요한 역할을 수행할 것”이라고 응답했습니다.

2. 옵저버빌리티 ‘대상’으로서 AI 관측 중요성 증가

출처=픽사베이

이제 AI를 옵저버빌리티 대상으로 자세히 관측해야 할 필요성이 커졌습니다. 특히 생성형 AI는 자동화와 생산성을 무기로 방대하고 복잡한 데이터를 폭발적인 속도로 만드는데요. 사용자는 AI로 콘텐츠를 만들 뿐만 아니라 ‘자신만의 AI’도 직접 개발해 여기서 발생하고, 처리해야 할 데이터가 상당하죠. Splunk는 “옵저버빌리티 도구가 AI 때문에 훨씬 더 다양하고, 큰 규모의 데이터를 처리해야 한다”고 설명합니다. 아울러 AI는 의료, 법률, 금융, 여행 등 사회 각 분야에 광범위한 영향력을 미치므로 이를 잘 이해해야 하는데요. AI의 정상 동작 여부나 편향성 등은 중요한 관측 대상이죠. 옵저버빌리티 도구는 이러한 AI 문제를 면밀히 모니터링하는 데 도움이 됩니다.

따라서 조직은 AI를 정확하고 구체적으로 관측할 준비가 돼 있어야 하는데요. Splunk에 따르면, AI에서 메트릭, 로그, 트레이스를 가져오는 방법을 알아야 하고요. “AI가 예상대로 작동하고 있나? 그렇지 않다면 우리가 기능을 유지 관리하기 위해 전체 머신러닝 옵스(MLOps) 파이프라인을 어떻게 조정하고, 구축할 수 있을까?”를 고민하고 대비해야 합니다. 또 CIO(최고정보책임자)와 CTO(최고기술책임자)는 AI가 혁신을 일으키는 방식, AI가 제공하는 기회를 잘 이해하며, AI를 보는 관점을 신속히 수립해야 하고요.

3. 옵저버빌리티 비용 절감 노력

출처=픽사베이

오늘날 기업은 옵저버빌리티 비용을 절감하고자 골몰합니다. Chronosphere에 따르면, 많은 기업이 빠듯한 예산 문제를 고민하고, 예측할 수 있는 금액을 청구받고자 기술·사업 측면에서 비용 관리 방법을 모색 중인데요. Grafana Labs는 기업이 비용을 측정하고, 팀과 서비스에 이를 귀속한 다음, 비용 최적화 노력의 우선순위를 정할 걸로 내다봤죠. Splunk는 “CIO와 CTO가 아키텍처와 인프라 지출을 감축할 거”란 관측도 내놓았는데요. 기업은 옵저버빌리티 비용뿐만 아니라 IT 비용 전반을 관리하고자 허리띠를 졸라맵니다.

이는 기업이 멀티 클라우드나 클라우드 네이티브 환경으로 전환하면서 생성되는 데이터양이 늘고, 관련 비용도 함께 증가한 영향이 큰데요. Dynatrace에 따르면, 기술 리더 86%가 “클라우드 네이티브 기술 스택이 인간의 관리 능력을 넘어서는 수준으로 데이터를 폭발적으로 늘렸다”고 응답했죠. 즉, 옵저버빌리티 ‘대상’인 데이터가 급증하면서 옵저버빌리티 비용이 증대되는데요. ESG 리서치는 “조직 69%가 ‘옵저버빌리티 데이터 증가 때문에 시간이 지나면서 데이터 수집·저장 비용이 크게 들어’ 이를 우려한다”고 밝혔습니다. 로그 저장·분석 비용은 로그 이점보다 더 큰 지경이죠. Dynatrace에 따르면, 팀은 실시간 분석을 위해 유지할 로그, 폐기할 로그, 접근성이 낮은 저비용 스토리지에 보관할 로그를 자주 결정해야 합니다. 이는 조직의 자동화와 의사결정에 방해가 되고요.

Chronosphere는 ‘옵저버빌리티 비용 절감 방안’으로 다음 방법을 제안합니다. 첫째, 데이터 증가를 억제하고, 조직이 수집한 데이터에서 더 나은 가치를 얻도록 돕는 도구를 사용하고요. 둘째, FinOps 관행을 구현해 클라우드 가치를 최대화하고, 여러 사업부에 재무 책임을 부여하는 거죠. 한편, 텔레메트리 데이터 파이프라인 서비스인 Mezmo는 옵저버빌리티 데이터 최적화 방안을 이렇게 조언하는데요. 옵저버빌리티 결과에 가치를 주지 않는, 중복되고 관련 없는 이벤트를 필터링하고요. 빈값을 제거하고, 불필요한 레이블을 없애며, 비효율적인 데이터 포맷을 ‘옵저버빌리티 대상에 맞는 포맷’으로 변환해 이벤트를 트리밍, 변환하라고 합니다.

4. 오픈 소스와 Open Telemetry 수요 상승

Dimensional Research 설문조사에서 “OpenTelemetry가 앞으로 5년 내 옵저버빌리티 데이터 표준이 될 것”이라는 전망을 두고 응답자 87%가 동의했으며, 13%는 동의하지 않았다. 출처=Dimensional Research, Elastic

오픈 소스는 옵저버빌리티에 지속적으로 쓰이며, 그 일환으로 OpenTelemetry 수요도 높아지고 있습니다. Chronosphere에 따르면, 점점 더 많은 기업이 공급업체에 종속될 우려를 해결하기 위해 오픈 소스 기술에 투자하고, 이를 옵저버빌리티 기술 스택 일부로 통합하죠. 기업은 오픈 소스에 관심을 두면서 OpenTelemetry도 주목하는데요. 이미 OpenTelemetry는 애플리케이션 옵저버빌리티 분야를 선도하죠. Dimensional Research 설문조사*에 따르면, 옵저버빌리티 담당자인 응답자 중 87%가 “OpenTelemetry는 앞으로 5년 내 옵저버빌리티 데이터 표준이 될 거”라는 데 동의했습니다.

기업이 옵저버빌리티 도구로 오픈 소스와 OpenTelemetry를 사용하려는 이유는 이렇습니다. Chronosphere에 따르면, 오픈 소스는 공급업체에 종속될 우려 없이 데이터를 제어하고, 유연성을 확보하려는 기업 수요를 충족하고요. OpenTelemetry는 트레이스, 메트릭, 로그 등 데이터를 생성하고 관리하도록 설계됐으며, 특정 공급업체에 종속되지 않죠. Dimensional Research에 따르면, 이는 OpenTelemetry를 지원하는 모든 옵저버빌리티 도구와 함께 사용할 수 있어 편리합니다.

OpenTelemetry는 관심을 많이 받지만 도입은 아직 초기 단계에 머물렀는데요. Dimensional Research 설문조사에 참여한 옵저버빌리티 담당자 중 OpenTelemetry를 도입해 프로덕션으로 전환한 이는 9%에 그쳤습니다. 아울러 OpenTelemetry를 도입할 때 기술 지원 우려, 시장 도입이 확대될 때까지 기다려야 할 필요성, 경영진의 가치 이해 부족 등 문제점도 제기되죠. 한편, OpenTelemetry 도입이 늘면서 옵저버빌리티 이해관계자는 공급업체의 OpenTelemetry 지원이 필요한데요. Dimensional Research에 따르면, OpenTelemetry 프로젝트를 프로덕션에 운영 중인 기업일수록 ‘공급업체의 OpenTelemetry 지원 수요’가 더 높다고 합니다.

*Dimensional Research는 직원 500명 이상 기업에서 옵저버빌리티 도구 선정과 사용을 담당하는 기술 의사 결정권자와 실무자 500명 이상을 대상으로 설문조사를 진행함.

5. 옵저버빌리티 도구 통합 행보 강화

Dimensional Research 설문조사에서 “모니터링 도구 통합이 운영팀의 잠재력을 최대한 발휘하는 데 필요하다”는 의견을 두고 응답자 92%가 동의했으며, 8%는 동의하지 않았다. 출처=Dimensional Research, Elastic

이제 여러 옵저버빌리티 도구를 사용하는 대신 공급업체 한두 곳의 도구로 통합하려는 움직임이 강화되고 있습니다. 현재 많은 기업이 다양한 옵저버빌리티, 모니터링 도구를 이용하는데요. Dimensional Research가 옵저버빌리티 담당자 500명 이상을 상대로 설문 조사한 결과, 기업에서 옵저버빌리티, 모니터링 도구를 평균 7가지 이상 사용한다고 하죠. 옵저버빌리티 담당자인 응답자 중 92%는 “모니터링 도구 통합이 운영 잠재력을 최대한 발휘하는 데 필요하다”고 응답했고요. 응답자 중 74%는 “조직에서 옵저버빌리티, 모니터링 도구를 통합하기 위해 노력 중”이라고 밝혔습니다. 옵저버빌리티 도구 통합 움직임은 현재 진행 중이고, 그 속도는 점점 빨라지고 있습니다.

옵저버빌리티 도구를 통합하려는 이유는 복합적인데요. 더 빠른 문제 확인, 비용 절감, 팀 협업 개선, 다운타임 최소화, 보안 강화, 운영 복잡성 간소화, 교육 필요성 감소, 데이터 사일로 방지 수요가 그 예죠. Chronosphere는 “개발자와 기술팀은 답을 찾기 위해 다양한 사용자 인터페이스나 소프트웨어를 오가는 데 시간을 쓰거나, 여러 소프트웨어에 비용을 들이길 원치 않는다”고 분석합니다. 아울러 클라우드 네이티브 환경을 대규모로 관리하려면, 데이터 액세스와 분석에 중앙집중식 포인트가 필요하고요. Dimensional Research는 “도구가 너무 많으면 데이터 상관관계를 보여줄 때 어려움이 커져 환경 전반에 가시성을 제한하는 ‘도구 사일로 현상’을 초래한다”고 지적합니다. 각 도구를 구현, 관리하는 라이선스 요금과 전문 기술 비용도 늘어나고요.

물론 여러 옵저버빌리티 도구를 사용하는 게 잘못된 건 아닙니다. Dimensional Research는 “주어진 환경에 적합한 도구 수에 영향을 미치는 요소는 조직의 특정 요구사항, 모니터링 대상 시스템 특징, 효과적인 도구 관리·활용 방식, 도구 간 통합에 따라 달라진다”고 설명하고요. 도구를 늘리면 전문화된 기능, 확대된 기술 스택 범위, 유연성 등 장점을 누릴 수 있죠. 그러나 옵저버빌리티 도구를 공급업체 한두 곳의 도구로 통합하면 파편화된 데이터를 모으고, 데이터 수집·소비 방식을 표준화하기에 좋고요. ‘관측 효율성과 편의성 측면’에서 이 장점은 강력합니다. ‘비용 절감 노력이 옵저버빌리티 최신 트렌드’라는 점에서도 기업의 이러한 도구 통합 움직임은 필연이고요.

맺음말

지금까지 2024년 옵저버빌리티 트렌드 현황과 등장 배경, 유의 사항을 살펴봤습니다. 이 글의 요점은 다음과 같은데요.

AI는 옵저버빌리티 도구로 더 널리 활용될 겁니다. 이는 신호 상관, 이상 징후 탐지, 근본 원인 분석, 성능 최적화 업무에 쓰여 ‘시스템에서 일어나는 일’을 빨리 이해하도록 돕고요. AI는 사용할 수 있는 데이터를 신속히 선별하고, 문제를 확인하기 위해 ‘어디에, 어떤 순서로 집중할지’ 빠르게 추천할 걸로 예상되죠. 일상 프로세스를 자동화해 장시간 작업을 줄이는 도구 수요가 옵저버빌리티에서 AI 활용도를 높이고요. 최신 기술 스택 복잡성을 해결하고자 고급 AI, 분석, 자동화 기능에 의존하는 조직 수요도 여기에 한몫합니다.
AI를 옵저버빌리티 대상으로 자세히 관측할 필요성도 커졌습니다. 생성형 AI는 자동화와 생산성을 무기로 방대하고 복잡한 데이터를 폭발적인 속도로 만들죠. 사용자는 AI로 콘텐츠를 만들 뿐만 아니라 ‘자신만의 AI’도 직접 개발해 여기서 발생하고, 처리해야 할 데이터가 상당합니다. 또 AI는 의료, 법률, 금융, 여행 등 사회 각 분야에 광범위한 영향력을 미치므로 이를 잘 이해해야 하고요. 옵저버빌리티 도구는 이러한 AI 문제를 자세히 모니터링하는 데 도움이 되죠.
기업은 옵저버빌리티 비용을 절감하는 데 골몰하고 있습니다. 많은 기업이 빠듯한 예산 문제를 고민하며, 기술·사업 측면에서 비용 관리 방법을 모색 중이죠. 이는 기업이 멀티 클라우드나 클라우드 네이티브 환경으로 전환하면서 생성되는 데이터양이 늘고, 관련 비용도 함께 증가한 영향이 큽니다. 옵저버빌리티 ‘대상’인 데이터가 급증하면서 옵저버빌리티 비용이 증대됐고요.
오픈 소스는 옵저버빌리티에 지속적으로 쓰이며, 그 일환으로 OpenTelemetry 수요도 높아지고 있습니다. 많은 기업이 공급업체에 종속될 우려를 해결하고자 오픈 소스 기술에 투자하고, 이를 옵저버빌리티 기술 스택 일부로 통합하고요. 기업은 오픈 소스에 관심을 두면서 OpenTelemetry도 주목하죠. 이는 OpenTelemetry를 지원하는 모든 옵저버빌리티 도구와 함께 사용할 수 있어 편리하고요. OpenTelemetry는 앞으로 5년 내 옵저버빌리티 데이터 표준이 될 걸로 전망됩니다.
여러 옵저버빌리티 도구를 사용하는 대신 공급업체 한두 곳의 도구로 통합하려는 움직임이 강화되고 있습니다. 현재 많은 기업이 다양한 옵저버빌리티, 모니터링 도구를 이용하는데요. 기업은 이러한 도구를 통합해 운영 잠재력을 최대한 발휘하길 원하죠. 옵저버빌리티 도구를 통합하면 더 빠른 문제 확인, 비용 절감, 팀 협업 개선, 다운타임 최소화, 보안 강화, 운영 복잡성 간소화, 교육 필요성 감소, 데이터 사일로 방지 등 장점이 있습니다.