빅데이터의 모멘텀이 점점 가속됨에 따라 다크 데이터의 위험성도 커지고 있습니다. ‘다크 데이터’는 ‘우리가 갖고 있지 않은’ 데이터를 말합니다. 심지어 우리는 다크 데이터가 존재한다는 사실을 모르고 있을 수도 있습니다. 다크 데이터는 어디에서든 생겨나며 모든 곳에 있습니다. 언제, 어느 순간 우리의 뒤통수를 칠지 모르는 다크 데이터를 역이용할 방법은 없을까요?

오늘 바쁘대는 다크 데이터의 함정을 피해 위험을 기회로 만드는 법을 정리한 책 ⟪다크 데이터⟫를 대신 읽어 드립니다. 2013년 대영제국 훈장을 받은 세계적인 통계학자이자 ⟪신은 주사위 놀이를 하지 않는다⟫의 저자 데이비드 핸드의 날카로운 인사이트를 살펴보겠습니다.

우리는 갖고 있지 않은 데이터

챌린저호 폭발 사고에서 파국적인 결과를 낳은 다크 데이터의 정체는 무엇일까요? 기존 대출 데이터로 미래 고객의 심사 모형을 설계하면 어떤 문제가 생길까요? 스마트폰 앱으로 재해 상황을 신고하는 시스템이 놓친 것은 무엇일까요?

이제 우리가 ‘갖고 있지 않은’ 데이터에 주목해야 할 때입니다. 우리가 지금 갖고 싶거나, 이전에 갖고 싶었거나, 또는 가진 줄 알았지만 실제로는 갖고 있지 ‘않은’ 데이터를 찾는 데 역량을 모아야 할 때입니다. 이 책은 우리가 누락된 데이터를 알아차리지 못하게 되는 과정들과 그로 인해 우리가 어떻게 잘못되고 파국에 이를 수 있는 결론과 행위에 이르게 되는지 다각도에서 탐사합니다.

누락된 데이터 속 데이터

비즈니스에 관한 결정을 내릴 때 우리는 어떤 형태로든 데이터를 가지고 시작합니다. 우리의 문제는, 미래를 알고 싶어 하면서도 그저 무심코 미래가 과거와 크게 다르지 않다고 추정하는 데 있습니다. 하지만 우리가 손에 쥔 데이터는 절대로 전부가 아닙니다.

데이비드 핸드는 우리에게 없거나 우리가 모르는 데이터를 물리학의 ‘암흑물질(Dark Matter)’에 빗대어 ‘다크 데이터’라 부릅니다. 가장 큰 위험은 우리가 다크 데이터의 존재를 모를 수 있다는 점입니다. 데이터는 현실을 표상해주지만, 마치 캐리커처로 그린 만화와도 같습니다. 데이터가 현실의 중요한 특징들을 포착하길 바라지만 그 누구도 그걸 보장해줄 수는 없습니다. 실제로 데이터는 중요한 많은 것들을 쉽사리 빠뜨려 잘못된 결론과 끔찍한 의사결정을 낳게 만듭니다.

어디에나 존재하는 다크 데이터

서툰 범죄자들은 경찰에 잘 잡히지만 진짜 영악한 사기꾼들이 발각되지 않고 빠져나가니까, 결국 수많은 범죄자가 잡히지 않고 있는 것은 아닐까요? 증세가 뚜렷하지 않은 환자가 적절한 치료 타이밍을 놓치지 쉬운 이유는 무엇일까요? 중고차 시장에는 왜 이렇게 형편없는 매물이 넘쳐날까요?

이와 같은 간단한 궁금증에서 시작해 저자가 직접 금융기관으로부터 의뢰받아 대출심사 모델을 설계하면서 파악한 다크 데이터 문제, 오늘날 경제지표나 개인정보 암호화 등에 활용하는 첨단 기법 같은 사례들을 들어 실제 행정, 비즈니스, IT, 과학 연구 현장에서 데이터를 다룰 때 경계해야 할 지점들을 알려줍니다.

어떻게 찾아낼까?

이런 문제들의 근본적인 해결책은 데이터라는 우주 속 알려지지 않은 어두운 영역들이 어떻게 우리의 인식을 왜곡하는지 파악하는 것입니다. ‘데이터가 불완전할 수도 있다’는 사실을 인식하지 못한다면, 무언가를 측정하는 것이 곧 모든 것을 측정하는 것을 뜻하지 않는다는 사실을 인식하지 못한다면, 심지어 측정 절차와 대상이 미묘하게 비뚤어진 방식으로 상호작용할 수 있다는 사실을 인식하지 못한다면, 우리는 끊임없이 세상에 벌어지고 있는 일들에 대해 심각한 오해만 얻게 될 것입니다.

우리는 모두 환한 곳을 바라보는 데 익숙해져 있습니다. 하지만 데이터는 완전히 객관적인 것이 아닙니다. 진리는 더더욱 아닙니다. 어둠 속 보이지 않는 곳에 분명 더 나은 결정을 위한 ‘스모킹 건(smoking gun)’이 숨어 있습니다. 그러므로 데이터가 주도하는 이 세상에서 우리에게 정말로 필요한 것은 데이터를 의심할 줄 아는 능력입니다. 끊임없이 경계하며 자문하시기 바랍니다. “우리는 무엇을 놓치고 있는가?”

*바쁘대(바쁘니까 대신 읽어드립니다)는 바쁜 구독자 여러분들을 대신해 절대 놓치면 안 되는 책을 직접 읽어드리는 코너입니다.