새로운 미래, 새로운 가치를 구현하는 빅데이터와 통계학 융합과 통섭의 시대를 ‘빅데이터’로 읽고 ‘통계’로 전망하다! 빅데이터의 활약, 인공지능의 고군분투가 갈수록 눈부시게 두드러지는 시대다. 빅데이터의 선거결과 예측, 인공지능 알파고의 바둑 대결 등 이제 우리 사회에서 빅데이터, 인공지능이라는 말은 하나의 시대적 화두를 넘어 우리들 삶을 종횡무진 운용하는 실제적인 사회적 기제가 된 것이다. 최근 들어 통계학은 그야말로 융합혁명이라고도 할 제4차 산업혁명에서 중요한 자리를 차지하는 빅데이터와 인공지능 덕분에 부쩍 많은 주목을 받고 있다. 그런데 사실 인공지능의 핵심인 머신러닝과 빅데이터 분석법 중 많은 것들이 통계학을 바탕으로 하고 있다 보니 어떤 사람은 현재와 미래가 인공지능의 시대처럼 보이지만 사실은 통계학의 시대라고 말하기까지 한다. 통계학은 근대사회와 함께 등장한 젊은 학문으로 겨우 몇 백 년의 역사를 지닌 학문이지만 그 궤적을 조금만 살펴보면 철학을 비롯한 인문학은 물론이고 사회과학이나 자연과학으로 분류되는 거의 모든 분야들과 맥이 닿아 있음을 쉽게 확인할 수 있다. 그런 얽힘의 관계는 오늘날에 이르러 더욱 풍성해졌는데 그렇게 본다면 통계학이야말로 융합과 통섭 시대의 대표적인 학문이라 할 수 있을 것이다. 그렇다면 통계학이란 무엇인가. 융합과 통섭의 시대의 대표 학문이 된 통계학은 크게 볼 때 데이터와 확률이론의 결합이라고 할 수 있다. 오랫동안 교회가 관리해오던 인구 데이터와 도박을 연구하던 수학자들이 발전시킨 확률이론이 만나면서 통계학이 근대의 학문으로 탄생했는데 그러고 보면 사회 데이터와 수학이 만나서 탄생한 통계학은 태생부터 융합적이었던 셈이다. 이 책에서는 통계청을 비롯한 국가기관이 관리하는 사회·경제 통계와 더불어 의학·생물학·금융 등 여러 분야를 두루 넘나드는 통계학의 다양한 모습들이 펼쳐진다. 빅데이터와 인공지능의 현재 모습을 살펴보는 것은 물론이다. 저자의 풍부한 인문적 시선을 바탕으로 딱딱한 수치로만 인식되었던 ‘통계’가 다양한 관점에서 매우 흥미로운 모습으로 그려지는데, 이로써 독자들은 누구나 쉽게 ‘통계’의 매력에 빠질 수 있으며, 통계가 지닌 ‘천의 얼굴’을 확인할 수 있을 것이다. 세상을 움직이는 ‘힘’으로서의 통계를 절감하게 되는 것이다. 빅데이터 시대를 이끄는 ‘천의 얼굴’ 통계학 이제 세상의 모든 일은 통계로 분석되고 예측된다! 통계학은 조사나 실험으로 얻은 데이터로 미지의 것을 추론하는 학문으로, 불확실한 상황에서 의사결정을 내릴 때 과학적 길잡이 역할을 한다. 지난 몇 세기 동안 통계학은 다양한 분야의 데이터를 분석하는 데 널리 활용되면서 자연과학뿐 아니라 사회과학과 인문학까지 아우르는 매우 융합적인 분야로 성장했다. 최근에는 특히 인공지능과 빅데이터 분석이 각광받으면서 통계학의 사회적 역할이 더욱 중요해지고 있는데, 실로 빅데이터 시대를 이끄는 막강한 힘으로 부상한 것이다. 이제 통계에 대한 지식 없이는 그 어떤 분야에서도 새로운 사회적 가치를 만들어내기 힘든 시대가 되었으니 이것이야말로 ‘통계학’에 대한 인문적 관심이 절실히 필요한 이유다. 새로운 시대, 새롭게 부상하는 힘으로서의 ‘통계학’을 인문적 시선으로 풀어 쓴 『통계학, 빅데이터를 잡다』 본문은 모두 일곱 개의 장으로 이루어져 있다. 우선 1장 [통계학, 빅데이터 시대를 이끌다]는 통계학에 대한 개괄적인 설명과 함께 현대 사회에 새롭게 등장한 데이터 사이언스 분야를 알아보고, 빅데이터에 대한 낙관론과 함께 비판적 입장까지 살펴본다. 2장 [빅테이터의 시대인가, 머신러닝의 시대인가]에서는 빅데이터와 머신러닝의 관계, 머신러닝의 주요 알고리즘과 주요한 통계학적 방법들을 알아보고, 빅데이터와 학습법을 활용해 우리 일상의 문제들을 해결하려는 구체적 사례들을 살펴본다. 3장 [확률과 통계, 우연을 과학으로 길들이다]에서는 불확실성 가득한 오늘의 세계를 이해하는 데 필수 요소가 된 확률적 사고를 살펴보는데, 복권과 도박에서의 확률과 기댓값 및 생일, 몬티 홀, 상트페테르부르크 문제 등 유명한 확률 문제들을 통해 확률의 여러 모습을 알아보며 아울러 확률의 종류와 베이즈 정리에 대해서도 살펴본다. 4장 [통계학, 의학과 손잡고 생명을 구하다]에서는 의학이 과학으로 성장하는 과정에서 확률과 통계학이 담당한 역할에 대해 살펴본다. 지난 몇 세기 동안 통계학과 의학은 서로 영향을 주고받으면서 함께 발달해왔는데, 의학은 최근 빅데이터와 인공지능을 가장 활발하게 활용하는 분야 가운데 하나다. 5장 [현실 사회를 읽는 힘, 통계학과 빅데이터]에서는 오늘날 사회현실을 파악하고 사회변화의 방향을 예측하고 그에 맞는 적절한 정책을 세우는 데 필수적 요소가 된 통계의 현실에 대해 살펴보는데, 대규모 집회에 참가한 인원을 헤아리는 문제에서 시작해 여론조사, 인구통계, 고용통계 등을 알아본다. 6장 [통계학, 경제를 측정하다：GDP와 금융리스크]에서는 경제학이 과학적 학문으로 변신하는 데 기여한 통계학의 역할을 살펴보고, 경제지표 중 대표적인 GDP의 여러 모습과 GDP를 대신할 새로운 지표에 대해서 생각해보며, 그밖에 물가지수와 주가지수 등 여러 경제 현상에서의 통계의 역할을 살펴본다. 마지막으로 7장 [통계학, 생물을 헤아리고 보살피다]에서는 생물에 대한 통계조사, 멸종, 생물의 분류체계, 생물 보존 활동, 그리고 유전학 등에 대해 알아보고 우리나라의 황우석 사태를 중심으로 데이터를 둘러싼 과학계의 논란에 대해서 살펴본다. [책속으로 추가] 빅데이터의 시대는 “모든 것이 데이터가 되는 시대”라고들 한다. 빅데이터를 통해 우리가 새롭게 알게 되는 것도 무척 많겠지만 어쩌면 모든 것을 데이터로 만드는 과정에서 잃어버리는 것들이 있을지도 모른다. (p.394)

들어가며 Chapter 1 통계학, 빅데이터 시대를 이끌다 4차 산업혁명, 일자리가 사라져서 혁명적일까?：4차 산업혁명은 융합혁명 | 빅데이터의 곳간을 열다：데이터랩과 엔그램 | TIP：클라우드 컴퓨팅과 빅데이터 | 낱말들로 뭉게구름을 그려볼까?：텍스트 분석과 데이터 시각화 | 통계에도 역사가 있을까?：데이터의 역사와 종류 | 통계학, 데이터를 정보와 지식으로 만들다：빅데이터 시대의 통계학 | 빅데이터 시대, 통계학도 변화한다：통계학의 융합성 Chapter 2 빅데이터의 시대인가, 머신러닝의 시대인가 이제 공부는 기계가 하는 것 | Tip：인간인가, 기계인가? 그 구별법：튜링 테스트와 캡차 | 딥러닝은 심화학습：머신러닝과 딥러닝 | 머신러닝에게도 선생님이 필요할까?：머신러닝 알고리즘 | 데이터를 모으고 나누고 결과를 예측하다：머신러닝 알고리즘의 사례 | 구글, 빅데이터와 통계 모형으로 독감을 예측하다：빅데이터와 감염병 | 짝을 찾아주는 빅데이터와 머신러닝 Chapter 3 확률과 통계, 우연을 과학으로 길들이다 내기와 도박：탐욕인가, 본능인가, 아니면 과학인가 | 로또, 유일한 탈출구인가, 어리석은 게임인가：확률과 기댓값으로 바라본 복권 | 확률, 불확실한 세상에서 합리적인 결정의 길잡이가 되다：우연과 과학 | TIP：자동차를 몰고 갈까, 염소를 몰고 갈까?：몬티 홀 문제 | 우리 반에 나랑 생일이 같은 친구가 있을까?：생일 문제와 확률 | 확률이 충분히 낮은 사건은 일어나지 않을까?：보렐의 법칙 | 사느냐, 죽느냐, 그 확률이 문제로다!：보험과 확률 | 주관적 확률도 과학이 될 수 있을까?：베이즈 추론 | TIP：튜링, 베이즈 정리를 써서 독일군의 암호를 해독하다 Chapter 4 통계학, 의학과 손잡고 생명을 구하다 과학과 아트 사이에 선 의학：의학과 통계학 | 통계학과 의학, 역사 속에서 함께 발전하다：의학과 통계학의 역사 | 통계로 콜레라와 두창을 차단하다：통계와 감염병 | 임상시험 결과를 믿어도 될까?：편향과 임의화 방법 | Tip：‘차를 맛보는 여성’에 담겨 있는 파스칼의 수삼각형과 경우의 수 | 통계학적 검증을 통해 신약을 개발하다：통계학과 신약 | 병원 검사는 얼마나 정확할까?：위양성과 위음성 Chapter 5 현실 사회를 읽는 힘, 통계학과 빅데이터 집회 참석자 수는 고무줄 통계?：정치적 입장에 따라 달라지는 통계 | Tip：이라크전쟁과 어린이 사망률：통계와 정치 | 통계학, 사람들의 생각을 헤아리다：여론조사 | 케틀레, 19세기 사회를 분석하다：사회통계학 | Tip：인간은 사회적 원자일까? 사회물리학과 빅데이터 | 무엇이든 점수 매길 수 있을까?：통계학이 만드는 현실 | 한국 인구, 머지않아 자연 소멸된다：인구통계학 | 내가 왜 실업자가 아니란 말입니까?：고용통계 Chapter 6 통계학, 경제를 측정하다 : GDP와 금융리스크 경제학은 어떻게 과학이 되었을까?：경제학과 수학, 통계학 | GDP는 우리의 삶을 얼마나 잘 나타낼까?：국내총생산과 행복지수 | Tip：GDP, 아프리카의 가난한 나라 가나를 중진국으로 바꾸어놓다 | 통계지표들은 현실을 얼마나 잘 나타낼까?：물가지수와 주가지수 | 주식시세표에는 무엇이 들어 있나?： 캔들도표와 이동평균 | 모든 금융투자에는 위험이 따른다：금융리스크와 통계학 | 국가도 개인도 신용등급을 갖는다：신용평가 Chapter 7 통계학, 생물을 헤아리고 보살피다 고래와 쥐를 다 헤아릴 수 있을까?：생물 연구와 샘플링 방법 | 모든 생물은 한 가족일까?：통계학으로 생물의 계보 찾기 | 얼마나 많은 생물들이 지구에서 살다가 사라졌을까?：멸종과 통계학 | 누가 설국열차를 탈까?：보존생물학과 통계학 | 키 큰 부모한테서 키 큰 자녀가 태어날까?：유전학과 통계학 | 황우석 사태에서 무엇을 배울까?：데이터 조작과 과학 연구 | Tip：생태학은 맥락의 학문이다：생물다양성과 빅데이터 주석 찾아보기

전공을 불문하고 평생 공부해야 하는 시대라고들 할 때 그런 공부에 두루 공통적으로 들어갈 내용이 있다면 그것이 넓은 의미에서의 통계학, 나아가 데이터 과학일 수도 있다. 21세기에 태어난 세대가 살아갈 변화와 융합의 시대에 통계학과 데이터 과학은 실로 상식과 다름없는 역할을 하게 될지도 모른다. (p.19) 우리는 빅데이터와 클라우드 컴퓨팅이 불러올 미래에 대해 낙관적인 전망을 훨씬 많이 만난다. 하지만 요란하지는 않지만 심각한 문제들을 지적하는 경고의 목소리도 없지 않다. 그중 하나는 전 세계적인 규모의 정보 권력 집중 문제이다. (p.30) 한계를 넘어서 자신의 능력을 지나치게 높이 평가하는 것은 통계학과 빅데이터를 위해서도 이로울 것이 없다. 뚜렷한 장점과 가능성에도 불구하고 통계학과 빅데이터 분석은 만능의 기술이 아니고 앞으로도 그럴 수는 없을 것이다. (p.53) 인공지능을 연구하는 사람들이 인간의 두뇌를 모델로 삼을 때 흉내 내고 싶은 것은 뇌의 기억 용량이 아니라 기억하고 있는 데이터들을 뇌 속의 신경세포들이 연결해서 묶어내는 능력, 즉 구슬을 꿰는 능력일 테다. 푸네스가 할 수 없는 것이 바로 이것이었다. 기억만으로는 절대 힘이 될 수 없다. (p.59) 통계학은 이미 그 자체로 굉장히 융합적인 학문일 뿐 아니라 다른 분야들과 어울려서 더 큰 새로운 융합 분야를 만드는 데도 다른 어떤 학문보다 더 적극적이다. (p.63) 2012년 미국 대통령선거는 성공적으로 빅데이터와 머신러닝을 활용한 최초의 사례로 역사에 남게 되었다. 바야흐로 누군가가 내가 속한 큰 집단이 아니라 ‘나’라는 개인에 대해 학습하고 나의 이름을 불러줄 때 비로소 내가 마음을 움직이고 반응하는 시대가 된 것이다. (p.71~72) 구글의 알파고 역시 명령받은 일만 수행하므로 IBM이 만든 왓슨 등과 마찬가지로 약한 인공지능에 속한다. 그렇다면 인간처럼 사고하고 자의식까지 지닌 강한 인공지능은 어디에 있을까? 다행인지 불행인지, 아직은 없다. (p.90) 여지껏 포르투나가 돌리는 운명의 수레바퀴에서 사람들을 해방시키는 것이 과학의 중요한 역할이었으며, 그러기 위해서는 ‘우연’을 ‘원인’으로 대체해야 했다. 반면 포르투나는 확실성 대신 확률과 통계학의 제국을 만들어냄으로써 과학의 모습을 바꾸어놓았다. (p.137) 인간이 확률과 통계학을 통해 우연을 길들였다고 하지만 겨우 집단 차원에서의 확률과 규칙성을 알게 되었을 뿐이다. 결국 개인의 운명을 점치는 것은 아직도 역시 점쟁이의 몫이다. (p.166) 예컨대 말라리아의 원인이 되는 것들이 모두 규명되었는데도 세계보건기구 등의 통계에 따르면 말라리아로 목숨을 잃는 사람 수가 매년 수백만 명에 달한다고 한다. 여러 예방약과 백신이 개발되어 있지만 가난한 사람들이 그 비용을 감당할 수 없다면 과연 말라리아는 정말 정복된 것이라 할 수 있을까? (p.208) 평균인은 19세기 중반 시기의 시대정신 중 하나를 잘 드러내주는데 바로 ‘평등’이라는 시대정신이다. 철저한 신분제 사회라면 하층민까지 다 포함해서 구한 평균을 가지고 한 나라를 대표할 수 있다는 생각을 하기는 어려웠을 것이다. (p.259) 통계가 서로 다르다는 것은 다양한 관점에서 사회적인 이슈를 볼 수 있다는 뜻이기도 하므로 서로 다른 통계가 나오는 것은 사회를 위해서나 통계를 위해서나 새로운 변화를 모색하는 에너지일 수도 있다. 결국 통계도 정치·사회적인 갈등과 타협의 산물로 만들어지는 것이다. 통계라고 해서 반드시 하나로 통일해야만 좋은 것은 아니다. (p.288) 현실의 세계는 종종 좁은 학문세계의 온갖 논의를 훌쩍 뛰어넘어 정교한 수학이론과 풍부한 데이터와 통계모형들을 비웃으며 제 갈 길을 간다. 사회과학이 자연과학을 닮기란 역시 어렵다. (p.294) 아무리 세계화 시대라고 하지만 나라마다 지역마다 행복의 기준이 같을 수는 없을 것이다. 비록 국제적으로 널리 쓰이고 있지는 않지만 부탄의 총행복지수는 지역별로 나름의 행복도를 측정하려는 다양한 시도들의 촉매가 되었다. (p.309) 어떤 것이 일단 수치로 표현되고 나면 우리는 쉽게 그 수치가 정확하고 객관적이며 공정할 것이라는 착각에 빠지곤 하는데, 통계를 비교하고 제대로 해석하려면 수치뿐 아니라 질적 데이터(qualitative data)에 해당하는 정보들을 꼼꼼히 살펴야 한다. (p.313) 우리는 통계학이라는 학문이 수학처럼 증명을 통해 엄밀한 답을 하나만 내는 과학이 아니고 데이터에 따라, 또 모형에 따라 다른 결론을 흔히 내놓는 학문임을 확인할 수 있다. 그렇다면 통계학 전문가들이 씨름해야 할 문제들은 앞으로도 무궁무진할 텐데, 이런 면이 바로 통계학의 한계이자 매력일 것이다. (p.345)