AI 코딩 도구는 이제 소프트웨어 개발 워크플로의 핵심 수단으로 자리매김했습니다. 그중에서도 Claude Code는 요즘 엔지니어가 많이 사용하는 인기 AI 코딩 도구죠.
Claude Code를 사내 개발 도구로 도입한 조직은 구체적인 사용 패턴, 도구 성능, 가치를 정확하고 직관적으로 모니터링할 필요가 있는데요. 체계적인 모니터링은 비용 예측, 활용도 개선, ROI 입증에 도움이 되죠. 이를 위해 시중에는 다양한 모니터링 도구가 제공되고 있습니다.
먼저, Claude Code 자체가 모니터링과 옵저버빌리티(Observability)를 위한 OpenTelemetry 메트릭과 이벤트를 지원합니다. Claude Code에서 모니터링과 옵저버빌리티를 활성화하고, OpenTelemetry를 사용해 로그와 메트릭을 외부 모니터링 플랫폼으로 내보낼 수 있는데요. SigNoz가 그 예죠. SigNoz에서는 코딩 세션 활동, 로그 출력 등을 추적해 개발 워크플로의 성능 트렌드, 에러율, 사용 패턴을 파악할 수 있고요.
Datadog도 AI Agents Console로 Claude Code 사용 모니터링, 안정성 분석, 지출 추적과 ROI 측정을 지원합니다. 오픈 소스 도구인 ‘claude-code-otel’도 조직 단위 모니터링에 활용할 수 있죠. 이 글에서는 위에서 소개한 네 가지 도구의 Claude Code 모니터링 기능을 자세히 살펴보겠습니다.
1. Claude Code 자체 OpenTelemetry 지원
Claude Code는 모니터링과 옵저버빌리티를 위한 OpenTelemetry 메트릭과 이벤 트를 지원합니다. 모든 메트릭은 OpenTelemetry의 표준 메트릭 프로토콜로 내보내는 시계열 데이터고요. 이벤트는 OpenTelemetry의 로그/이벤트 프로토콜로 내보내죠. 사용자는 환경 변수를 활용해 OpenTelemetry를 구성할 수 있습니다. 관리자는 관리형 설정 파일로 모든 사용자를 위한 OpenTelemetry 설정을 구성할 수 있는데요. 이로써 조직 전체의 Telemetry 설정을 중앙에서 제어할 수 있습니다.
Claude Code가 내보내는 메트릭은 다음과 같습니다. 시작된 CLI 세션 수, 수정된 코드 라인 수, 생성된 Pull request 수, 생성된 git 커밋 수, Claude Code 세션 비용(미국 달러), 사용된 토큰 수, 코드 편집 도구 권한 결정 수, 총 활성 시간(초)입니다. 아울러 Claude Code는 OpenTelemetry 로그/이벤트로 다음 이벤트를 내보내는데요. 사용자 프롬프트 이벤트, 도구 결과 이벤트, API 요청 이벤트, API 에러 이벤트, 도구 결정 이벤트가 그 예죠.
위와 같은 메트릭과 이벤트 데이터를 분석하면, Claude Code의 사용 패턴과 생산성, 개발 워크플로 영향, 비용, 성능과 관련해 인사이트를 얻을 수 있습니다. 아울러 ‘Claude Code ROI Measurement Guide’라는 GitHub 리포지터리에서는 Telemetry 설정, 비용 분석, 생산성 메트릭, 자동화된 리포팅을 포함해 Claude Code ROI 측정과 관련된 가이드도 제공하는데요. 여기서는 Docker Compose 구성, Prometheus와 OpenTelemetry 설정, Linear와 통합된 생산성 리포트 생성용 템플릿을 구할 수 있습니다.