2025년엔 170ZB ! 데이터量 증가속도 ‘상상초월’.全세계에 축적된 모든 데이터90%는 2015년이후 생산된 것.초소형 공간 저장기술도 발전유전자에 데이터 담는 연구도최고데이터관리자‘CDO중요

2018-01-17
제타바이트=10의 21제곱(10해)

미국 오리건주 와스코카운티 댈러스에 위치한 구글의 자료센터에서 한 직원이 컴퓨터 작업을 하고 있다. 이 자료센터에는 구글 사용자들이 공유한 이메일·사진·비디오·일정 등 모든 정보가 보관돼 있다. 자료사진

■ 김지윤·제임스 김의 데이터로 보는 세상 - ⑪ 빅데이터와 미래사회

全세계에 축적된 모든 데이터
90%는 2015년이후 생산된 것

SNS 확대·재생산이 큰 영향
페이스북 이용자 20억명 넘고
유튜브·왓츠앱도 15억·13억

초소형 공간 저장 기술도 발전
유전자에 데이터 담는 연구도

최고데이터관리자‘CDO’ 부상
넘치는 데이터 맹신하기보다
‘올바른 선택·분석’ 가장 중요


# 데이터의 시대

‘데이터로 보는 세상’이라는 코너를 진행한 지도 벌써 10개월이 돼 간다. 넘쳐나는 데이터를 어떻게 바라보고 우리에게 중요한 사회적 메시지를 던지는 데이터를 소개하고자 하는 의욕에서 시작된 프로젝트였다. 그런데 정작 왜 데이터가 현대사회에서 중요한 역할을 하는지, 미래에 어떤 역할을 할 것인지에 대해서는 공들여 설명하지 않은 것 같다. 취업시장에서도 ‘숫자’를 다룰 줄 아는 사람은 우대받고 ‘빅데이터’는 언제부터인가 없어서는 안 되는 존재처럼 여겨지고 있다. 데이터와 관련된 글을 쓴다고 하면 으레 ‘아, 빅데이터 요새 핫하죠!’라는 말을 종종 듣는 걸 보니 더욱 그러하다.

최근 산업통상자원부는 2018년에 4차 산업혁명 시대에 발맞춰 1463억 원을 투입해 산업계에 전문인력 8000여 명을 양성하겠다고 발표했다. 이 중에는 산업별 전문인력 2684명, 지역 연구인력 2463명, 에너지 전문인력 1500명, 무역 전문인력 1280명, 그리고 자유무역협정 전문인력 150명이 포함돼 있다. 정부의 의도는 4차 산업혁명 시대를 맞이해 전문인력 양성에 투자하겠다는 것으로 보인다. 정부의 앞날을 내다보는 투자는 언제나 환영이지만, 좀 더 긍정적인 효과를 위해서는 폭넓은 시각을 가질 필요가 있다.

4차 산업혁명을 성공적으로 이루기 위해 기본적으로 풀어야 할 문제는 데이터 분석과 통신 기능이다. 우리는 2000년대 이래 정보통신기술(ICT)의 빠른 성장을 목격하고 있다. 한국이야 이미 인터넷 강국으로 알려져 있고, 실제로 여타 선진국에 비해 전 국토가 온라인화돼 있다고 해도 과언이 아니다.

얼마 전 한 TV 프로그램에서 지하철을 탄 외국인이 와이파이가 여러 개 잡힌다며 놀라워하는 모습이 되레 우리에게는 생경한 수준이다. 최근 들어 중요한 이슈로 부상하고 있는 분야는 급속도로 증가하고 있는 정보, 즉 데이터를 관리하고 사용하는 방법이다. 세상에 데이터가 넘쳐나는데, 시간이 흐를수록 그 증가 속도는 더욱 높아지고 있다. 그 데이터를 사용하려고 인터넷에 접속하는 사람들 역시 급속도로 늘어나고 있다.

IBM 마케팅 클라우드에 의하면 현재 세상의 모든 데이터 중 약 90%가 2015년 이후 생산됐다고 한다. 인터넷 접속자 수만 하더라도 2014년에는 24억 명 정도였던 것이 2017년에는 38억 명으로 늘어났다. 불과 3년 만에 42%나 증가한 것이다. IT 분야의 컨설팅 기업으로 널리 알려진 IDC에 의하면, 2016년에 하루 평균 생산되는 데이터는 약 440억 기가바이트였다고 한다. 2025년에 들어서면 10배가 넘는 4630억 기가바이트에 도달할 것으로 예측된다. 이 수치는 하루 단위이고, 1년 단위로 계산했을 때에는 약 170제타바이트(10의 21제곱)가 되는데, 이는 2015년의 10제타바이트와 비교했을 때 17배로 증가한 수준이다.

도대체 상상을 뛰어넘는 용량의 데이터는 어디서 생산되는 것일까. 전문가들은 이 중 상당량의 정보는 꾸준히 늘고 있는 SNS 사용으로 인해 확대 재생산될 것으로 예상하고 있다. 2017년 총 페이스북 사용자는 약 20억 명이고 인스타그램은 7억 명 그리고 트위터는 3억 명이다. 최근 보도된 통계에 따르면 1분마다 800명이 넘는 새로운 SNS 사용자가 생겨나고 있다고 한다. 우리가 읽는 뉴스피드, 공유하는 이야기, 그리고 그러는 중에 SNS 팀에서 수집하는 사용자들의 정보는 더욱더 넓고 깊은 정보의 바다를 창출해내고 있는 것이다.

물론 데이터 용량의 거대한 증가와 축적은 통신 접속망 및 데이터 저장기술 발전과 함께 가고 있다. 이번 평창동계올림픽을 계기로 국내 통신사들은 5G 기술을 처음으로 선보인다고 한다. 늘어나는 데이터에 발맞춰 통신망 기술도 발달하고, 우리는 빠른 속도로 더 많은 데이터를 공유할 수 있게 된다. 데이터 저장기술 또한 급격히 변하고 있다. 조만간 헬륨 충전 밀폐 드라이브와 단일자기기록(SMR) 기술 발전으로 인해 초소량의 공간에 더 많은 데이터를 저장할 수 있게 될 것이다. 2012년에 하버드대 연구팀은 DNA에 디지털 데이터를 저장한 연구 결과를 발표했다. 이 연구에 의하면 DNA는 엄청난 저장 밀도를 갖춰 1g당 220만 기가바이트의 데이터를 저장할 수 있다고 한다. 티스푼 하나 정도의 DNA가 세상의 모든 데이터를 저장할 수 있는 날이 머지않을 수도 있다.



# 문제는 분석

데이터의 양과 저장, 통신기술 발전으로 더 많은 용량의 데이터가 빠른 속도로 생산되면서 데이터 수집 비용이 줄어드는 것은 두말할 나위 없다. 하지만 결국 그 데이터의 가치와 정확성은 분석의 질에 달려 있다. 데이터 문제는 공급보다 수요와 사용 측면에서 접근해야 한다. 따라서 데이터를 이해하고 사용하는 노력이 필요하다. 현재 상당수의 기업은 이 분야에 노력을 기울이고 있다. IDC에 의하면 빅데이터와 비즈니스 분석으로 인한 총 수익이 2016년 1300억 달러에서 2020년에는 2030억 달러로 늘어날 것으로 보고 있다. 이는 연평균 11.7% 정도의 성장률을 기록하는 것이다.

데이터가 풍부해지면서 분석프로그램 역시 발전하고 이를 활용하는 숫자 또한 증가할 것으로 보인다. 시장조사 및 컨설팅 업체인 IIA에 의하면 2018년에는 클라우드를 활용하는 분석프로그램 숫자가 다섯 배나 뛸 것으로 전망된다. 인공지능 기술도 데이터 분석에 적잖은 기여를 할 것으로 예상된다. 하지만 창의적인 혁신은 결국 ‘인간’ 데이터 분석가들을 중심으로 이뤄질 것으로 많은 전문가는 보고 있다. 빅데이터 컨설팅 회사인 뉴 밴티지 파트너스(New Vantage Partners)가 2017년에 임원급을 상대로 실시한 빅데이터 유용성에 대한 설문조사에 의하면 약 48%의 응답자가 기업의 혁신을 이끄는 역할을 할 직위는 최고데이터관리자(CDO)이고, 미래에는 CDO가 CEO 다음으로 중요한 역할을 할 것이라고 예측했다. 아직까지는 데이터 분석가의 수요가 많지만 공급이 모자란다. 맥킨지 글로벌 연구소는 2018년 데이터 분석가 숫자를 14만~18만 명으로 추측하고 있다. 인력시장의 새로운 블루오션이 될 전망이다.

뉴 밴티지 파트너스의 설문조사 자료를 조금 더 깊이 살펴보면 80%가 넘는 임원급 응답자가 빅데이터를 통해 성공적인 업무사례가 있었다고 말했고 절반이 넘는 이들은 업무적으로 여러 가지 이익을 경험했다고 평가했다. 그럼에도 불구하고 85%의 응답자들은 자신이 근무하는 회사에서 데이터 주도적인(data-driven) 기업문화를 추구하기 시작했다고 답했으나, 이 중 약 37%만이 이러한 노력에 성공했다고 응답했다. 즉 빅데이터 분석으로 인한 성공사례가 있었고 회사가 이러한 문화를 보편화하려고 노력을 기울였지만, 오히려 회사 차원에서 데이터 주도적인 기업문화를 구축하는 데에는 실패한 경우가 더 많았다는 매우 모순적인 결과를 보여준다.

경영에 이익이 되고 많은 이들이 그 효용성을 실감하는데 왜 기업문화로 정착하지 못했을까? 문제는 경영진의 이해, 조직적 저항 때문이다. 정작 데이터를 분석하고 받아들여야 할 사람들이 유연한 태도를 보이지 못한다는 것이다. 결국 데이터 주도적인 문화를 만들어 내기 위해서는 데이터에 익숙해지는 교육이 필요하다고 할 수 있다.

‘정보는 힘이다(information is power)’라고 했다. 좋든 싫든 사회는 데이터에 의존하는 방향으로 진화해가고 있으며 데이터의 중요성은 부인할 수 없게 됐다. 혁신 기술을 활용하고 인류가 앞으로 새로운 경제체제와 사회에 적응하며 살아남기 위해서는 데이터를 이해하고 적극적으로 다룰 수 있어야 한다. 그리고 이러한 변화는 사회가 데이터를 긍정적으로 바라보고 합리적으로 사용하는 문화를 추구하면서 시작해야 한다.

최근 하버드대 출신의 수학박사이면서 헤지펀드 전문가로 일했던 캐시 오닐 박사가 내놓은 책이 화제다. ‘대량살상수학무기(Weapons of Math Destruction)’라는 도발적인 제목의 이 책은 방대한 양의 데이터를 직접 다뤄본 저자의 경험을 통해 소위 데이터를 맹신하는 현 추세를 비판하고 그 위험성을 경고한다. 그녀의 요지는 하나다. 데이터를 이용한, 감정이 섞이지 않은 이성적이고 합리적인 모델링이 얼마나 그릇된 결과를 낳는지를 보여주며, 결국에는 인간의 현명한 선택과 데이터 해석이 결정적인 역할을 해야 한다는 것이다. 감정이 없는 데이터와 모델링의 위험성을 경고한다지만, 저자의 결론도 넓게 보면 한 가지다. 합리적이고 현명한 인간의 사고가 담긴 데이터 분석이 이뤄져야 한다는 것이다. 인류의 기술이 발전할수록 편한 삶을 누리는 것은 맞는데, 왠지 책임은 더욱 막중해진다는 느낌을 지울 수 없다. (문화일보 2017년 12월 27일자 26면 10 회 참조)


김지윤·제임스 김 아산정책연구원 연구위원.


P