흔한 KPI 실수들 | 지표 믿다 발등 찍힌다

 

“거짓말에는 세 종류가 있다. 그냥 거짓말, 빌어먹을 거짓말, 통계가 그것이다”라고 마크 트웨인이 말했다. 오늘날 각종 지표에 대한 많은 CIO들의 시각도 크게 다르지 않다.

 

지표의 질은 소스의 질보다 나을 수 없다. 신흥 IT 컨설팅 회사 후르비츠 스트래터지스(Hurwitz Strategies) CEO 쥬디스 후르비츠는 “IT 벤더들이 컨설팅 회사나 애널리스트 회사에게 지표 작성을 의뢰할 때 자사 제공 상품/서비스가 갖는 최고의 특징을 기준으로 해달라는 경우가 너무 많다”라고 지적하며 “따라서, CIO들은 지표를 액면 그대로 받아들이는 것을 조심해야 한다. 지표 뒤에 있는 데이터를 이해해야 한다”라고 강조했다.

 

지표 해석은 사실상 숫자 놀이다. 모든 숫자 놀이가 그러하듯 긍정적일 수도, 부정적일 수도 있다. IT 리더들이 KPI를 비롯한 중대 비즈니스 및 IT 지표를 자주 오해하여 저지르는 실수는 아래와 같다.

소스를 고려하지 않는 것

어떤 지표를 검토할 때 중요한 요소는 지표 작성자와 데이터 소스를 파악하는 것이다. 예를 들어 결과 도출의 근거가 설문 조사인 경우, 대상 인원과 그들이 각자의 조직에서 맡은 역할을 확인해야 한다. 잘 검증된 방법론을 바탕으로 지표가 도출되었는지 여부도 확인해야 한다. 후르비츠는 “지표 뒤에 있는 조사 및 데이터를 파악하는 것이 중요하다”라고 강조했다.

 

지표의 목적도 고려해야 한다. 지표가 계획 도구로 사용될 예정이라면 비즈니스 전략, 기술 선택 등의 필요를 결정하는 데 도움이 될 것인가? 후르비츠는 “지표는 의사결정 도구일 뿐”이라면서 “따라서 지표는 회의적인 시각으로 접근해야 한다”라고 강조했다.

일선 직원과 협업하지 못하는 것

현재 다수의 기업은 데이터 성숙 단계에 도달했다. 비즈니스 인텔리전스 컨설팅 회사 커즈 플러스 이펙트 스트래터지(Cause+Effect Strategy) 대표 겸 CEO 존 루리는 “소속 회사에 데이터가 있다면 여러분은 분명히 그 데이터를 분석해 얻은 인사이트로 긍정적인 비즈니스 결과를 도출하기 위해 노력 중일 것”이라면서 “지금은 2022년이다. 데이터는 풍부한데 인사이트는 빈곤하던 시대는 지났다”라고 말했다.

 

루리는 수집된 지표를 의사 결정 및 행동 추진에 활용하는 궁극적 주체가 일선 업무 직원들이라고 강조했다. 그러나 대부분의 조직이 이들 직원과 소통할 때 깊게 파고드는 것이 부족하다고 그는 덧붙였다.

 

그는 애널리틱스 구축에 앞서 관련 당사자 전원으로부터 비즈니스 요건을 수집할 것을 권장하면서 이는 결과 도출을 위해 관련성 높은 데이터 지점까지 지표를 정제해 내는 것을 의미한다고 설명했다. “사용자가 내리려는 비즈니스 결정에 직접적으로 영향을 비치는 것을 우선순위로 삼아야 한다”라고 루리는 말했다.

 

루리는 지표를 바탕으로 한 인사이트를 팀원들에게 전달하기 위해 의사소통 기술을 개발하고 연마하라고 당부했다. 아울러 “요즘 시대의 CIO와 애널리틱스 리더들은 팀에게 영향을 미칠 핵심 지표를 모은 후 이를 사용자가 납득하고 그들의 행동에 지침이 되는 방식으로 제시하는 일에 탁월해야 한다”라고 강조했다.

 

루리는 CIO들이 사용자를 진정으로 이해하고 효과적인 맞춤형 애널리틱스 솔루션을 개발하는 작업을 각 현업 팀에게 맡길 때도 되었다고 덧붙였다. 그는 “데이터 리더와 담당 팀이 뭔가를 개발해서 비즈니스 팀에게 전달하려고 애쓰던 시대는 지났다”라며, “우리는 그런 시대가 남긴 결과물과 함께 살고 있다. 시시콜콜한 내용으로 벽을 채운 대시보드가 각 팀마다 넘쳐나고 있다”라고 말했다.

주인의식, 참여, 균형의 중요성을 간과

지표는 지속적인 개선과 프로세스 통제 효과와 함께 주인의식 고양 및 직원 참여의 절호의 기회를 제공한다. 센트릭 컨설팅(Centric Consulting) CIO 서비스 담당자 폴 겔터는 “정확한 지표 해석의 관건은 전체 팀을 참여시키고 지표를 프로세스 단체 개선에 활용하는 것”이라고 말했다.

 

겔터는 지표를 평가할 때 비용, 품질, 서비스 사이를 절충하는 것이 필수적이라고 믿고 있다. 예를 들어 비용 지표는 개인당 완료된 티켓으로 추적할 수 있지만 티켓 품질은 재작업/반복된 티켓으로 인해 저하될 수 있다. 그는 “그렇다면 서비스가 반응 시간, 밀린 일, 가동시간의 영향을 받을 수 있다”라고 지적했다. 최적의 균형을 확보하는 것이 중요하다.

엉뚱한 숫자에 집착

시간은 실제로 돈이다. 무의미한 지표를 자세히 살피느라 귀중한 시간을 낭비해서는 안 된다. 살펴볼 지표를 결정하기에 앞서 목표를 명확히 파악해야 한다. 향후 의사결정 선택지를 뒷받침하거나 반영하지 않는 지표는 대개 불필요하다. 때로는 집중력 방해와 시간 낭비의 요인이 되기도 한다.

 

기술 및 디자인 스튜디오 엘플러스알(L+R) 공동 창업주 알렉스 레빈은 목표가 완전히 규정된 후 개별 지표의 변동 요인 파악에 충분한 시간을 할애할 것을 권장했다. 그 다음으로는 개별 지표의 상호 연계 방식을 조사하라는 주문이다. 아울러, 계획 또는 프로젝트의 생애주기 내에서 추적 중인 KPI에 직접적인 영향을 줄 만한 다양한 단계 도중에 발생할 가능성이 높은 사건도 조사하라고 그는 조언했다.

 

결론을 감추거나 모아두는 방식으로 직원 시간을 낭비해서는 안 된다. 레빈은 개인마다 지표로 도출된 인사이트를 성과 또는 결과 개선에 활용할 수 있도록 조사 결과를 팀과 공유할 것을 당부했다.

혼자 하는 것

지표 연구 및 조사 업무를 혼자 해서는 안 된다. 애널리틱스 및 데이터 통합 플랫폼 개발업체 클릭(Qlik) CEO이자 전직 CIO 마이크 카포네는 귀중한 세부 맥락 정보를 수집하고 적용하기 위해 처음부터 담당자와 협력할 것을 권장했다.

 

그는 “이러한 조언과 관계를 통해 CIO와 IT 팀은 실제 사내에서 일어나는 일을 적정 수준으로 이해할 수 있다. 이는 장단기 운영 목표 달성에 도움이 된다”라고 설명했다. 카포네는 최고 임원진 등 핵심 기업 리더들과 강력한 자문 협력관계를 구축할 것도 권장했다.

숫자 과신

건전한 수준의 회의적인 시각은 잘못된 결론으로 빠지는 일을 막아줄 수 있다. 통계가 거짓말의 일종이라고 꼬집은 마크 트웨인의 말을 기억한다. 수집된 데이터 자체에 어떤 결함이 있을 가능성은 늘 있다.

 

데이터의 결함을 초래한 원인이 다양할 수 있다. 표본 크기나 너무 작거나 기간이 어긋나는 경우가 있고 데이터를 수집한 주체가 누구든 나름대로의 결론을 미는 경우도 있다. ERP 소프트웨어 개발업체 ECI 소프트웨어 솔루션즈(ECI Software Solutions) CTO 브라이언 윈터스는 “데이터의 의미를 판단하기에 앞서 데이터 수집 방식과 범위에 포함된 대상을 완전히 파악하는 것이 매우 중요하다”라고 강조했다.

 

사실 그 어떤 지표도 오해의 소지가 있다. 데이터에 대해 전체적으로 제대로 파악하지 못한 경우 특히 그렇다. 윈터스는 “시스템 지표는 복잡한 대형 시스템 중에서 매우 작은 부분에 대한 지표를 제공하는 경우가 많아서 특히 오해의 소지가 있다”면서 “그 좁은 시야 때문에 쉽게 토끼굴에 빠질 수 있다”라고 경고했다.”

통계 이상의 것을 보지 못하는 것

지표는 대개 인사이트와 가치가 풍부한 반면 전체적인 이야기는 전해주지 않는다. 사실 어느 지표라도 액면 그대로 받아들이면 완전히 엉뚱한 결론에 도달하는 경우가 종종 있다. 데이터베이스 소프트웨어 개발업체 스피드비(Speedb) CEO 이자 공동 창업주 아디 겔반은 “실상을 파악하려면 상대적으로 명백하지 않은 다른 지표도 깊게 파고들어야 할 때가 있다”라고 설명했다.

 

예를 들어, 메모리 활용 수준이 높다는 것은 애플리케이션에 메모리 과부하가 일어나고 있음을 의미한다. 겔반은 “그러나, 전혀 다른 것이 문제일 수도 있다. 예를 들면, 부품의 메모리 정리 속도가 부족한 경우이다”라고 말했다.

 

그는 이어 ”추가로 조사하보면 사실은 메모리 안에 없는 병목 원인을 찾아낼 수 있다. 예를 들어, I/O 소비량은 높은데 스토리지 엔진이 데이터를 디스크에 효과적으로 버리지 못하면 메모리는 빠르게 가득 차고 시스템 성능에 영향을 미친다”라고 말했다.

 

오해를 일으키는 인사이트로 피해를 입지 않으려면 비판적인 사고 방식을 키워야 하고 성급한 결론을 즉각 내리지 말아야 한다. 비즈니스 프로세스와 아키텍처가 점점 커지고 복잡해지면서 많은 것이 잘못될 수 있고 근본 원인은 찾기 어려울 수 있다. 겔반은 “최선의 방법은 의사 결정을 내리기에 앞서 주위에 자문을 구할 다양한 주제 전문가 팀을 두는 것”이라고 조언했다.

 

반응형

출처

지표 믿다 발등 찍힌다··· 흔한 KPI 실수 7가지