빅데이터 시대는 얼마나 지속될 것인가?
각 기업 경영진 사이에서는 아직 마음 한구석에 빅데이터 시대에 대한 의구심을 떨치지 못하는 리더들이 여전히 많다. 지난 20여 년 동안 기업 경영 현장에서 반복되어 온 IT 혁신 유행의 경험 때문일 것이다.
그 때마다 이러한 혁신 활동으로 기업 경영의 효율성이 획기적으로 높아질 것이라는 장밋빛 전망이 판을 쳤다.
비근한 예로 2000년대 초반에 국내 기업마다 고객관계 관리(CRM) 도입 열풍이 불어서 많은 기업들이 앞다퉈 고가의 IT 인프라와 솔루션을 도입했다. 하지만 이후 운영 단계에서 뚜렷한 체감 성과를 맛보지 못하고 이내 실망하고 말았다.
이로 인해 2000년대 후반 들어 일련의 IT 혁신 활동이 관련 솔루션 업체들의 단순한 상술에 지나지는 않는지 의구심이 확산됐다. 이러한 경험의 연장선상에서 빅데이터도 그저 겉포장만 바뀐 그럴듯한 신상품이라는 의혹을 갖게 되는 것이다.
이같은 의구심은 기업 경영자들만 갖는 것이 아니다.
빅데이터와 관련된 여러 기반 기술을 담당해온 현장의 엔지니어들도 빅데이터 유해성에 대해서는 탐탁지 않게 보는 시선이 많다.
빅데이터 기술 가운데에는 새롭게 등장한 것들도 많지만, 과거부터 지속되어온 통계 분석, 데이터 마이닝, 인공지능 기술의 연장선상에 있는 것 또한 상당수이다.
이러한 분석 기술들은 이미 기존의 데이터 관리 체계에서도 여러 분석 솔루션에 들어 있었다.
비교적 최근에 저변이 확대된 사회 연결망(Social Network) 분석이나 집단지성(Collective Intelligence)과 관련된 분석 기술도 적어도 10년 전부터 상용화한 업체들이 활동해오고 있었다.
이들 업계 관계자들은 나름의 독자적인 영역을 갖고 있던 기술들이 한꺼번에 '빅데이터 기술'로 분류되어 갑자기 관심을 받는 게 매우 부담스럽다고 토로하고 있다.
이들은 빅데이터가 2~3년 유행하자, 도전적인 일부 기업에서 관련 솔루션이라고 구입해 써보다가 별다른 효과를 보지못하면 실망과 악평만 남긴 채 사그라져버릴지 모른다는 우려를 갖고 있다.
각종 IT 혁신의 추진 경과를 아는 기업 내 간부들은 지금 섣불리 빅데이터를 외쳤다가 책임을 추궁당하지나 않을까 두려워한다.
관련 기술업체들도 빅데이터 기술업체로 한꺼번에 엮였다가 유행의 퇴조와 함께 도매금으로 문전박대를 당할 수 있어 두려워하고 있다.
실제로 지난 십수년 동안 IT 혁신 현장에서는 의욕적으로 영입된 임원들이 자리를 내걸고 프로젝트를 추진하다가 실패하여 물갈이 된 사례가 제법 많다.
그때마다 거기에 편승했던 기술업체들은 '새벽 닭이 울기 전에 예수를 모른다고 세 번이나 부정했다'는성경의 베드로처럼 그 흔적을 지우려 애쓰는 촌극도 벌어진다.
이들 관계자들은 산이 높으면 골이 깊듯 기대가 크면 실망도 크다는 점을 누구보다 잘 알고 있어, 조심스럽게 빅데이터를 대한다.
여러 예에서 보듯 이러한 우려가 전혀 근거 없는 기우만은 아니다.
실제로 IT 업계의 각종 기술은 이러한 유행과 실망이 반복되는 패턴을 보여왔다.
이를 실증적으로 형상화한 것이 대표적 IT 시장조사기관인 가트너의 유명한 '과장광고 곡선(Hype Curve)'이다.
이 곡선은 특정한 기술이 업계와 사회에 인지되기 시작한 이후, 세간에서 받는 주목도(또는 기대 수준)가 시간에 따라 어떻게 변화하는지 다음 5단계로 설명하고 있다.
• 1단계(기술 도입기)는 '기술이 주목받는 계기(Technology Trigger) 단계이다.
이 시점에서 기초 연구 수준에 머물러 있던 기술은 상용화를 위한 돌파구가 열린다든지, 실질적인 시제품이 나온다는가, 유명 인사나 기관이 호평을 하는 모종의 계기가 마련되면서 여론의 주목을 끌기 시작한다.
• 2단계(기대 절정기)는 '부풀려진 기대의 절정(Peak of Inflated Expectations)' 단계이다.
1단계에서 일단 주목받기 시작한 기술은 일부 성공 사례가 나타나며 점점 장밋빛 미래에 대한 기대를 부풀리고 화제를 불러일으킨다.
더 나아가 세간에서는 세상을 바꿀 혁신적인 기술로 추어올리고, 때로는 지나치게 낙관적이며 비현실적인 전망까지 난무한다.
관련 역량을 보유한 기술기업들의 주가도 크게 오른다.
반면 그 이면에서는 기술의 보급을 가로막는 한계와 실패 사례도 점점 불거지게 된다.
• 3단계(실망/침체기)는 '환멸의 바닥(Trough of Disillusionment), 단계다.
2단계에서 극에 달했던 기대가 실제로는 당장 충족될 수 없다는 사실이 드러나면서 급속하게 실망이 확산된다.
언론의 주목도 금세 사그라지고, 여론의 관심도 급격히 식어버린다. 환멸이 확산되면서 기대에 편승했던 부실한 기술기업들도 정리된다.
• 4단계(재조명/부상기)는 '이해의 상승(Slope of Enlightenment) 단계다.
기술에 대한 비현실적 기대는 3단계에서 완전히 사라지고, 실질적인 기술 발전이 한층 고도로 진행되며 2단계에서 부각되었던 걸림돌들이 제거되기 시작한다.
이로 인해 현실적이고 구체적인 성공 사례들이 늘어나면서 다시 업계로부터의 기대가 서서히 회복된다.
• 5단계(생산성 안정기)는 '생산성의 안정(Plateau of Productivity)' 단계다.
기술이 완전히 업계에 수용되고 보편화되어 안정적으로 정착됨으로써 현실을 변화시키고 있는 기술로 꾸준히 조명된다.
물론 기술이 보급되는 정도에 따라 안정화되는 수준은 다르게 나타난다. 일부 기술은 완전히 주류 기술로 정착되는 반면, 대부분의 기술은 틈새시장을 차지하는 부차적인 기술로 남는다.
아울러 점차 이를 대체, 위협하는 혁신적 기술의 징조도 나타나게 된다. 빅데이터 관련 기술도 다른 IT 기술과 마찬가지로 이러한 과장광고 곡선을 따라가리라고 보면 큰 무리가 없을 것이다.
그렇다면 빅데이터 관련 기술은 현재 곡선 위 어디쯤에 위치해 있을까?
가트너가 제시한 과장광고 곡선을 보면, 빅데이터 관련 기술의 위치를 짐작할 수 있다. 빅데이터 처리 및 관리 기술은 다소 뒤늦게 출발하고 이해도도 떨어지는 상황이지만, 분석 및 활용 기술은 이전부터 진행되어온 맥락이 있으므로 벌써 정점을 넘어선 것도 있다.
전반적으로 빅데이터 관련 기술은 1단계에서 2단계로 빠르게 넘어가고 있다.
이 정도 속도라면 '빅데이터'라는 큰 이슈가 시장에서 기대의 정점을 통과하기까지 앞으로 2년 남짓한 기간이 걸릴 것으로 보인다.
그 뒤에는 다른 기술들이 그러했고 많은 현장 관계자들이 예측하듯, 실망의 골짜기로 빠져들 가능성도 크다.***
/ 도움말씀= 빅데이터경영연구소