빅테크의 논리 뒤에 가려진 인간의 자리를 질문하다 스탠퍼드가 미래의 리더들을 위해 준비한 화제의 인문학 강의 ★기술 시대 혁신가들의 ‘히포크라테스 선서’가 되어줄 책 ★〈월스트리트저널〉〈뉴욕타임스〉〈파이낸셜타임스〉〈퍼블리셔스위클리〉 추천 ★넷플릭스 CEO 리드 헤이스팅스, 인공지능 최고 석학 페이페이 리 교수의 찬사 “일단 결과를 만들어내고 용서는 나중에 구하라.” 실리콘밸리 기술 전문가들의 마인드를 대표하는 문장이다. 애플, 구글, 아마존 같은 빅테크들은 기술이 모든 문제를 해결하는 전능한 해법이라고 믿으며, ‘디지털 광고 클릭 수’, ‘유튜브 재생 시간’ 같은 측정할 수 있는 목표를 달성하기 위해 매진한다. 이러한 기술만능주의는 산업 현장뿐 아니라 캠퍼스에도 만연하다. 매년 실리콘밸리로 배출되는 많은 인재들의 관심은 기술을 통해 ‘해결하고 싶은 문제’가 아니라 오직 창업뿐이다. 각각 철학, 컴퓨터과학, 정치학을 가르치는 세 명의 스탠퍼드 교수는 이 같은 현실이 무언가 단단히 잘못되었다는 것을 느끼고, 기술 시대의 인문학적 논점을 다루는 새로운 강의를 만들었다. 그들은 학생들이 코드를 만들면서 내리는 결정이 수백만 명의 삶을 좌우할 수도 있다는 점을 깨닫길 바랐다. 〈뉴욕타임스〉, 〈뉴요커〉, 〈더네이션〉 등의 주요 매체가 이 강의를 초기부터 주목했고 기술의 미래를 기술자, 벤처투자가, 정치인들에게만 맡겨서는 안 된다는 문제의식이 이 책 《시스템 에러》의 출간으로 이어졌다. 이 이야기를 더 많은 이들에게 전해달라는 요청에 따라 강의는 점차 캠퍼스 밖으로 퍼져나갔다. 실리콘밸리의 엔지니어와 벤처투자가를 대상으로 한 공개 강의를 시작으로 세 사람은 포드재단과 퓨리서치센터 등 각종 연구기관에서 빅테크의 논리 뒤에 가려진 인간적 가치와 기술의 미래에 관한 이야기를 나누고 있다. 세 저자는 디지털 시대의 당면한 쟁점들을 윤리적, 기술적, 정책적 측면에서 다각도로 논의한다. 그들의 이야기를 따라가다 보면 측정할 수 없는 중요한 가치들을 기술에 어떻게 반영해야 하는지, 기술의 편향을 해결하기 위한 엔지니어들의 현실적 전략은 무엇인지, 민주주의는 이러한 문제들에 어떠한 답을 줄 수 있는지, 기술혁명의 최전선에서 이뤄지고 있는 담론을 두루 살필 수 있다. 기술에 지배당하는 삶이 아니라, 우리가 기술을 통제하기 위해 알아야 할 시민 교양이다. “기술의 미래를 엔지니어, 벤처투자가, 정치인들에게만 맡겨서는 안 된다!” 빅테크 시대 인문학의 역할과 우리가 할 수 있는 일들 여기 스탠퍼드를 거쳐 간 두 명의 프로그래머가 있다. 한 사람은 소수가 정보를 독점해서는 안 되며, 기술은 모두를 위해 사용되어야 한다고 생각했다. 그는 RSS와 레딧을 개발했고 크리에티브 커먼즈의 발판을 마련했으며, 학자들이 생산한 지식에 누구나 접근 가능해야 한다는 생각으로 MIT의 네트워크를 해킹해 논문을 공개했다. 각종 소송에 휘말리던 그는 자살로 생을 마감했다. 다른 한 사람은 주차 위반 딱지에 이의를 제기하는 프로그램을 만들어 큰 금액의 투자를 받고 회사를 창업해 CEO가 되었다. 그가 의도하지 않았지만, 이 프로그램은 불법주차 예방 효과를 줄이는 데 일조하고 말았다. 지금 스탠퍼드 캠퍼스를 거니는 학생들은 이 둘 중 누구의 이름을 기억하고 있을까? 애석하게도 학생들에게 영웅으로 떠받들어지는 인물은 획기적인 기술로 스타트업을 창업해 순식간에 부를 쌓은 CEO들이다. 학생들이 누구의 이름을 기억하는가의 문제는 현재 스탠퍼드, 그리고 실리콘밸리 스타트업의 사고방식을 단적으로 보여주는 이야기다. 성공한 엔지니어들은 그들 스스로가 벤처투자가가 되어 유니콘 기업을 발굴하기 위해 나서며, 정치에도 영향력을 뻗치기 시작했다. 이러한 흐름이 바로 스탠퍼드의 세 석학이 미래의 혁신가들에게 윤리학을 가르치려고 결심하게 된 배경이다. 기술 시대의 윤리는 단지 한 개인에게 더 나은 사람이 되라고 요구하는 것이 아니다. 저자들은 히포크라테스 선서를 하는 의료인을 예로 들며, 기술과학자에게도 일련의 규범이 필요하다고 말한다. 직업적으로 타인에게 해를 끼치지 않고, 모두에게 이익이 될 수 있는 방향을 고민해야 하는 것이다. 게다가 기술이 사회에 미치는 광범한 영향력을 생각한다면 우리는 더 나은 제도와 정책을 설계하기 위해서 노력해야만 한다. 자율주행차로 인해 일자리를 잃은 트럭 운전사가 무슨 일을 할 수 있을까? 일개 시민이 플랫폼에 넘쳐나는 허위정보에 대항해 무슨 일을 할 수 있을까? 이것이 기술 시대의 시민으로서 우리가 무엇을 해야 하고, 왜 해야 하는지 생각해야만 하는 이유이다. ‘좋은 기술 vs 나쁜 기술’의 구도를 넘어서는 담론의 확장 인간을 위한 테크놀로지, 최선의 선택은 무엇인가 많은 사람이 기술을 가치중립적이라고 생각한다. 그러나 기술은 다양한 가치관을 반영하고 있다. 기술을 개발하고 그 규칙을 정하는 사람들이 여러 가치관 중에서 무엇을 우선할지 결정하게 된다. 기술자들이 우선하는 가치는 바로 ‘효율성’이다. ‘소이렌트’의 개발 스토리가 대표적인 예시다. 소이렌트는 식사 대용으로 먹을 수 있는 분말형 영양 보충제다. 소이렌트를 개발한 엔지니어인 롭 라인하트는 음식을 먹는 데 드는 시간과 비용이 모두 비효율적이라고 생각했다. 그러나 정작 우리가 음식을 통해서 얻는 미각의 즐거움과 친교의 기회는 고려하지 않았다. 이러한 기술자들의 사고방식을 ‘최적화 사고방식’이라고 하는데, 최적화 사고방식이 지배적인 위치를 점하고 보편적인 것이 되어갈 때 사회 곳곳에서 개인의 행복과 민주사회의 건전성을 저해하는 여러 문제가 발생한다. 빅테크 기업들은 ‘블리츠스케일링’, ‘OKR’ 등의 도구를 이용해 그들이 목표로 정한 지표를 달성하기 위해 최선을 다한다. 구글은 사람들이 더 오랫동안 유튜브를 시청하는 것을 목표로 삼고, 초과 달성을 이뤄냈다. 하지만 아이들이 추천 알고리즘을 따라 끝없이 이어지는 동영상을 보거나, 선정적인 내용이 가득한 영상을 추천받는 것이 과연 바람직한 일일까? 《시스템 에러》는 이 같은 질문들을 계속해 던지면서 지금 우리에게 무슨 일이 벌어지고 있는지, 불과 몇 년 전에는 생각해보지 않았던 이 질문들이 얼마나 시급한 문제인지 이야기한다. 책의 1부 〈기술자들의 시대〉에서는 기술자들의 최적화 사고방식과 자본가의 욕망 그리고 소수 기업의 독점이 만나 어떤 문제를 일으켰는지 그 곤경의 근원을 설명하고, 2부 〈빅테크, 혁신의 배신〉에서는 마냥 좋은 것이라고만 생각했던 첨단기술의 결과물인 인공지능, 소셜 미디어의 알고리즘, 자율주행차, 안면인식 같은 기술이 우리의 삶 속에 얼마나 깊숙이 침투해 있으며, 그 과정에서 우리가 어떤 인간적 가치들을 상실했는지 짚어본다. 마지막 3부 〈시스템 리부팅〉에서는 민주주의라는 구체적 솔루션을 가지고 빅테크의 지배에서 벗어나 기술의 통제권을 되찾기 위해 우리가 할 수 있는 일들을 제안한다. ‘효율’과 ‘최적화’의 추구는 어떻게 사회를 위협하고 있는가 디지털 대전환의 시대에 기술의 현재와 전망을 살피다 20세기가 경제와 금융의 시대였다면 21세기는 엔지니어링과 컴퓨터공학의 시대다. 인간의 삶에 영향을 미치지 않는 기술은 존재하지 않게 되었다. 많은 기술기업이 사용자의 개인정보를 수집해 수익을 올리는 구조이다. 우리는 거의 매 순간을 추적당하는 삶을 살고 있다. 저자들은 이 같은 상황을 18세기 철학자인 제러미 벤담이 제안한 ‘팬옵티콘’(죄수를 효과적으로 감시할 목적으로 고안한 원형 감옥)에 비유하며, 우리가 디지털 팬옵티콘에 살고 있는 것이 아닌지 의문을 가져야 한다고 경고한다. 기술 발전에 따라 여러 가치가 상충하지만, 대표적인 것이 개인정보 문제이다. 기술기업의 데이터 수집은 과거의 수준을 훨씬 뛰어넘는다. 인터넷상의 클릭이나 검색 기록은 빙산의 일각이고 우리는 스스로 깨닫지 못한 채 음성인식, 안면인식, 생체인식, 위치 추적 등을 허용하고 있다. 하지만 우리는 여기서 딜레마에 직면한다. 우리가 제공하는 정보들은 분명 사적인 정보이지만, 미래에 여러 사람을 구할 의료 데이터나 맞춤형 서비스의 편의성을 높이는 데 이용될 수 있다. 개인정보 보호가 반드시 필요한 경우와 모두의 안전과 편의를 위해 기꺼이 타협해야 하는 상황은 언제인지, 충분한 사회적 논의가 필요한 상황이다. 세 저자는 ‘익명화’, ‘차등 정보 보호’ 등의 기술적 해법과 그 한계를 살펴보고, 정책적 대안이 될 수 있는 유럽의 개인정보보호규정(GDPR)과 캘리포니아 소비자개인정보보호법(CCPA)을 소개하며 나아가야 할 방향을 제시한다. 이 밖에도 아마존의 채용 시스템을 비롯한 다양한 알고리즘의 편향 문제를(4장), 자동화로 인한 실업의 최근 데이터를 살펴보며 우리가 마주하게 될 미래를(6장), 온라인 발언의 검열과 허위정보를 퍼뜨리려는 세력이 사회·정치 영역에 미치는 파장을(7장) 이야기하면서 이 사회가 해결해야 할 주요한 문제들을 탐구한다. 지금 같은 기술 발전 속도에서는 우리 모두가 기술 전문가가 되어 그 작동 방식을 이해할 수 없다. 따라서 우리는 최신 기술에 뒤처질 것을 염려하는 것이 아니라, 기술 혁신이 우리에게 새로운 선택을 요구할 때 상충하는 가치들 속에서 어떤 선택을 내릴지 미리 고민해야 한다. 시스템 리부팅을 위한 실질적 솔루션 빅테크의 지배에서 우리를 구하고 민주주의를 재건할 방법 최근 들어 시민과 정치인 모두가 빅테크의 거대해진 권력을 우려하고 있다. 빅테크는 전통적인 제조업과 달리 더 많은 사람이 서비스를 이용할수록 그 가치가 커지는 ‘네트워크 효과’에 의해 시장 지배력을 키워왔다. 빅테크가 얻은 힘은 그들 스스로 만들어낸 결과가 아니다. 따라서 그들은 반드시 공익과 사회에 미칠 파장을 고려해야 한다. 빅테크 기업은 공개적으로는 새로운 법규를 받아들이고 대중의 숙고를 환영하는 것처럼 보이지만, 막후에서는 새로운 규제가 자신들에게 피해가 되지 않도록 대대적인 로비를 벌이고 있는 실정이다. 이 책의 저자 중 한 명인 롭 라이히는 몇 년 전, 소규모 만찬에 초대받아 “과학과 기술 발전을 극대화하는 새로운 국가가 탄생한다면”이라는 주제로 열띤 토론을 나누었다. 롭이 손을 들고 새로운 국가의 통치 체제는 어떤 것이어야 하느냐고 물었다. 곧장 누군가가 민주주의는 아니라고 대답했다. 그 자리에 참석한 기술자와 교수, 벤처투자가들은 과학의 발전을 위해 민주주의는 너무 느리고 제약이 많다고 생각했다. 이는 기술계의 혁신가들이 세상에서 가장 큰 권력을 지니게 된 시점에 우리가 가장 경계해야 하는 모습이다. 기술 전문가들이 우리를 통치하기를 바라는가? 아니면 민주적 제도를 통해 우리가 기술을 통제하기를 원하는가? 기술의 미래를 엔지니어, 벤처투자가, 정치인들 손에 맡긴다면 우리 사회를 지탱하는 공정성, 자율성, 평등, 민주주의 같은 이상들은 위태로워질 것이다. 세 저자는 “시스템적인 사안에는 시스템 전체를 아우르는 해법이 필요하다”고 말하며, 정부의 영역이자 집단적 행동의 영역에서 이 문제를 다뤄야 한다고 강조한다. 소수 기업의 독점을 막는 정책적 대안을 준비하고, 우리가 선출한 정치 지도자들이 지금 가장 중요한 기술적 현안에 어떤 입장인지 알아야 하며, 그 결과가 마음에 들지 않을 때는 투표로서 응답해야 한다고 말이다. 이것이 바로 민주주의의 역할이다. 그러나 민주주의가 제 역할을 하도록 만드는 것은 우리의 몫이다. 민주국가의 시민으로서 우리가 가진 힘을 어떻게 행사할지, 디지털 혁명을 어떻게 인간을 위한 방향으로 전환할 수 있을지 고민해야 할 때이다. 이 책은 ‘기술이 우리 사회를 어떻게 바꾸어야 하는가’라는 어려운 문제의 결정권을 우리가 가져야 한다고 주장하며, 디지털 시대의 시민들을 준비시킨다.

추천의 말 머리말 서장ㆍ기술을 지배하는 규칙은 누가 만드는가 1부 기술자들의 시대 1장ㆍ최적화 사고방식으로 무장한 사람들 소이렌트 이야기: 모든 것을 최적화해야 할까? | 엔지니어의 사고방식 | 효율의 결점 | 굿하트의 법칙: 숫자로 말할 수 없는 것들 | 가치중립적인 기술이란 없다 2장ㆍ해커와 벤처투자가의 잘못된 만남 엔지니어, 고삐를 거머쥐다 | 벤처투자가와 엔지니어로 이루어진 생태계 | OKR: 유튜브를 오래 시청하는 사람이 행복한 것일까? | 유니콘 사냥 | 새로운 세대의 벤처투자가 | 법규에 굴복할 생각이 없는 자들 3장ㆍ파괴적 혁신과 민주주의 최악의 산업재해: 혁신과 규제의 대립 | 혁신이 민주주의를 능가한다는 허구 | 테크노크라시, 플라톤이 말하는 철인왕의 조건 | 우리가 가진 공통의 불안 | 방호벽으로서의 민주주의 2부 빅테크, 혁신의 배신 4장ㆍ누구의 편도 아닌 줄 알았던 알고리즘 학습하는 기계의 시대 | 공정성을 어떻게 정의해야 할까? | 알고리즘이 판사보다 낫다는 생각 | 정확성과 유효성 | 자동화 시스템을 속일 수 있는 인간 | 알고리즘을 어떻게 통제하는가 | ‘블랙박스’를 열다 5장ㆍ한 번의 클릭으로 우리는 무엇을 포기했나 나도 모르는 또 다른 내가 존재한다 | 디지털 팬옵티콘: 사라진 사생활 | 종단간 암호화: 팬옵티콘에서 디지털 블랙아웃으로 | 기술만으로는 우리를 구할 수 없다 | 시장도 믿을 수 없다 | 개인정보 보호의 역설 | 사회의 이익을 위한 개인정보 보호 | GDPR: 디지털 시대의 권리장전 | 우리의 목적지 6장ㆍ자동화의 그늘, 기술적 실업이라는 질병의 탄생 악귀를 조심하라 | 인간보다 똑똑한 기계의 등장? | 자동화는 인류에게 좋은 것인가 | 경험 기계: 우리는 환상 속에 사는 것이 아니다 | 인간 빈곤으로부터의 대탈출 | 자유는 당신에게 어떤 가치를 갖는가 | 적응의 비용 | 절대 자동화하지 말아야 할 것 | 인간이 자리할 곳은 어디일까? | 남겨진 이들을 위한 자리 7장ㆍ표현의 자유와 민주주의 사이의 저울질 표현 과잉의 결과 | 표현의 자유가 인간 존엄성과 충돌할 때 | 온라인 발언의 오프라인 피해는 무엇일까? | 인공지능은 콘텐츠의 맥락을 파악할 수 있을까? | 페이스북의 ‘대법원’? | 자율규제 너머로 | 플랫폼 면책의 미래 | 경쟁의 여지를 마련하다 3부 시스템 리부팅 8장ㆍ민주주의가 답할 수 있는 것들 그래서 내가 할 수 있는 일은 무엇일까? | 나만이 아닌 우리 | 시스템 리부팅 | 해를 주는 어떠한 것도 멀리하겠노라 | 새로운 형태의 저항 | 기술이 우리를 지배하기 전에 감사의 말 미주

기술에 대한 공상적 유토피아나 디스토피아 모두 복잡한 이 시대를 보는 지나치게 안일하고 단순한 관점이다. 쉬운 출구를 택하거나 포기하는 대신 우리 시대의 본질을 규정하는 문제, 기술의 진보를 개인과 사회의 이익을 전복시키기보다는 우리의 이익에 도움을 주는 방향으로 이용하는 일에 적극적으로 나서야 한다. 이것은 기술 전문가들만의 과제가 아닌 우리 모두의 과제다. -23~24쪽, 서장 〈기술을 지배하는 규칙은 누가 만드는가〉 효율과 최적화에 집중하는 기술자들은 효율의 증대와 최적화 방식의 문제 해결이 본질적으로 선하다고 생각한다. 이 견해에는 유혹적인 면이 있다. 어떤 일을 효율적으로 할지 비효율적으로 할지 선택할 수 있다고 생각해보라. 누가 느리고, 낭비가 많고, 에너지 집약적인 경로를 택하겠는가? -65쪽, 1장 〈최적화 사고방식으로 무장한 사람들〉 시간이 지나면 신기술의 영향이 사회로 퍼져나가고, 시장이 통합되며, 사람들은 혁신이 다른 가치를 위험에 빠뜨리는 부정적인 결과나 집중된 시장 지배력 등 일련의 문제를 가져왔다는 것을 깨닫는다. 이에 압력을 받은 정부는 새로운 기술이나 산업을 규제하려 하지만 그 방식은 해악을 해결하되 혁신을 저해할 수도 있고 시대에 뒤떨어져 효과가 미미할 수도 있다. 이런 순환은 규제기관이 맡은 과제가 얼마나 어려운지를 드러낸다. -123~124쪽, 3장 〈파괴적 혁신과 민주주의〉 우리가 오늘날 ‘국가’라고 생각하는 것이 시작된 이래 정부와 시민들은 데이터를 두고 끊임없는 줄다리기를 해왔다. 달라진 점이 있다면 지금은 우리 스스로 개인정보를 기꺼이 민간 기업에 넘겨 그들이 거의 아무런 제약 없이 정보를 수집하도록 함으로써 하버드대학의 쇼샤나 주보프 교수가 ‘감시 자본주의’라고 적절히 이름 붙인 정치경제 상황을 만들어냈다는 것이다. 반면 민주 정부는 개인 사생활 보호에 있어 훨씬 더 제약이 많다. 그들은 개인의 자유에 가치를 부여하며 따라서 정보를 수집하고 이용하는 자신의 능력에 제한을 두기 때문이다. -206쪽, 5장 〈우리는 한 번의 클릭으로 무엇을 포기했나〉 인간 지능과 기계 지능 사이에는 중요한 차이가 있다. 인간의 지능에는 목표에 대해 추론하면서도 그것을 달성할 수단을 생각하는 이중적인 능력이 포함된다. 인간은 아마도 모든 생물 중에 유일하게, 삶에서 가장 근본이 되는 목표가 무엇인지 생각하고 그것을 변경할 수 있다. 기계는 아무리 지능적이어도 스스로 목표를 설정하거나 그 목표가 가치가 있는지 아닌지를 숙고하지 못한다. 컴퓨터에게 체커나 체스를 하도록 프로그램화하기로 결정하는 것은 사람이다. -266쪽, 6장 〈자동화의 그늘, 기술적 실업이라는 질병의 탄생〉 28억 명 이상의 활성 사용자를 거느린 페이스북의 수장인 마크 저커버그는 세계에서 가장 큰 나라인 중국 인구의 거의 두 배에 달하는 인구가 만드는 정보 환경의 실질적 관리자다. 이를 제대로 이해한 저커버그는 이렇게 말한다. “많은 면에서 페이스북은 전형적인 기업이라기보다는 정부에 가깝다.” 하지만 페이스북은 민주주의 정부가 아니다. 저커버그는 왕, 혹은 그의 관점에 따르자면 비민주적인 페이스북 국가에 군림하는 독재자다. 결국 기업이란 수정헌법 1조나 표현의 자유에 대한 어떠한 보편적인 선언에도 지배를 받지 않는 사적 독립체다. -309쪽, 7장 〈표현의 자유와 민주주의 사이의 저울질〉