넥서스(Nexus)
우리의 문제는 네트워크 문제이다
우리가 자연스럽고 영원하다고 생각하는 많은 것들이 사실 인간이 만들었으며 바뀔 수 있다는 것이다
제목:넥서스
지은이:유발 하라리
옮긴이:김명주
출판사:김영사
독서일:2025.2.22.~2025.3.2.
페이지:684
ISBN13:9791194330424
소장여부:대출(종이책)
※2025년 3번째 독서
독서배경
오랜만에 업무적으로 약간의 여유가 생겨 도서관에 가보았다. 평소 같으면 쉽게 읽을 수 있는 책을 찾았겠지만, 이때는 왠지 새로운 것을 알고 싶다는 지적(?) 욕구 같은 것이 생겼다.
먼저 움베르토 에코의 ‘시리즈’가 생각났지만, 그건 좀 부담스러웠다. 재레드 다이아몬드, 리처드 도킨스의 책을 도서관 검색PC에서 찾아보았다. 유명한 책들은 대출중이었다.
《호모 사피엔스》의 유발 하라리가 생각나서 조회를 하였다. 《넥서스》 가장 위에 나열되고 ‘대출가능’이었다. 2024년 10월 출판된 비교적 최신작이었다. 도서관 분류 코드를 휴대폰에 찍어서 해당 서가로 가서 책을 찾았다. 책 상태도 깨끗하여 바로 흥미가 생겨 대출하였다.
표지
표지는 밝은 베이지색 배경 중앙에 서 있는 비둘기 한 마리가 그려져 있고, 그림 상단에는 한글 제목 ‘넥서스’와 핵심 문장인 ‘석기시대부터 AI까지 정보 네트워크로 보는 인류 역사’가 써있다.
좋아하는 ‘역사’와 ‘정보 네트워크’ 내용이 나오는 것에 흥미가 갔다.
그림 아래쪽에는 영문 제목 ‘Nexus’가 작가 이름과 함께 써있다.
표지에 왠 비둘기라는 생각을 했는데, 책을 읽기 시작하여 조금 뒤에 알게 되었다.
(책 속의 관련 에피소드로 1차 세계대전때 아군에게 오폭 당하고 있던 미군이 마지막 통신 수단으로 자국 포병부대에게 날린 전서구傳書 이야기를 작가가 들려준다. 그 전서구를 통해서 미군은 오폭으로부터 생존할 수 있었고, 전서구는 인간의 생명을 구한 정보의 연결고리가 되었다.)
최종 감상
먼저 683페이지의 책은 확실히 두꺼웠다. 하루에 2~3시간 정도 주말에 집중해서 읽었지만 분량이 많았다. 출판사 영업 전략에 따라 상,하 2권으로 출판해도 될 분량일지도 모른다. 하지만 2권으로 분리해서 출판했다면, 책 판매량이 더 떨어질 것으로 느껴진다.
책 내용은 나와 잘 맞는 편이었다. 석기시대부터 현재 AI알고리즘 시대까지 저자의 주장과 설명을 공감하며 독서를 진행 하였다.
단편적으로 알고 있던 세계사와 얕은 교양 지식이 이 책을 통해서 여러가지 지식과 새로운 관점, 통찰(insight)을 얻었다고 말할 수 있었다. 성경과 거룩한 책들, 종교 기관의 역할, 관료제, 과학 기구, 인쇄술의 발명과 마녀사냥, 민주주의와 전체주의, 컴퓨터(AI, 알고리즘)의 영향력 등 피상적으로 알고 있던 주제에 대해 상당한 짜임새와 스토리텔링을 만날 수 있었다.
또 현재 우리 사회의 문제(극우화, 정보 독점 등)에 대해서도 이해하기 쉽게 인과관계를 설명해주었다.
지금 우리는 시대를 관통하는 추세에 그대로 노출되어 있는게 아닌가라는 생각이 들었다.
책을 읽는 중에는 한명의 개인이 책 속의 거대한 신화, 역사, 종교, 정치, 정부기관, 사회 네트워크에 영향을 미치기에는 어려울 거라는 생각이 들었다.
하지만 책 뒤쪽의 저자가 말하는 컴퓨터 정치 부분이 현재 우리나라의 상황과 세계적인 민주주의 위기에 깊게 공감하고 납득하였다.
기술의 발전에 따른 정보 네트워크의 집중화와 막강한 통제 권한, 국가 경쟁력을 위한 거대 기술 기업의 우위를 인정 분위기, 진실보다 질서를 우선하는 사회 등 많은 부분을 다시 생각하게 되었다.
결국 개인은 피동적인 정보 서비스 이용자가 될 것이 아니라, 적극적 정보 서비스 비판자가 되어야 한다는 생각이 들었다. 수십억명의 비판자가 정보 서비스를 관찰하고, 논의하고, 피드백하며, 소수의 플레이어에게 영향을 미칠 수 있게 해야 한다는 생각이 들었다. 어차피 역사도 침묵하는 다수가 아니라 행동하는 소수에 의해서 쓰여져 나간 것이라는 생각이 함께 들었다.
그리고 책에서 지적하는 인간이 아닌 새로운 지적 행위자(컴퓨터 네트워크, AI알고리즘)에 대한 인간의 제어(자정 장치)의 필요성도 상당히 납득하게 되었다.
어쩜 최근 읽은 책 중에서 가장 통찰을 많이 준 책이 아닌가 싶다.
기억에 남는 문장
책 속 내용이 전부가 가슴에 박히고 머리속으로 들어는 좋은 글들이어서, 너무 길어져 접은 글 속에 넣어둔다.
프롤로그
P.10 통제할 수 없는 힘을 불러내는 인간의 경향은 개인 심리에서 나오는 게 아니라 대규모로 협력하는 우리들의 독특한 특징에서 비롯한다. 이 책의 핵심 논지는, 인간은 대규모 협력 네트워크를 구축함으로써 막대한 힘들 얻지만 바로 네트워크를 구축하는 그 방식 때문에 애초에 힘을 지혜롭게 사용하기가 쉽지 않다는 것이다. 즉 우리의 문제는 네트워크 문제이다.
P.12 정보에 대한 순진한 관점
”정보 → 진실 → 지혜 (또는) 힘“
P.20 우리는 정보를 수집하고 처리하는 과정에서 자신도 모르게 실수를 저지를 수도 있다. 탐욕이나 증오에 사로잡힌 악의적인 사람들이 중요한 사실을 숨기거나 우리를 속이려고 시도할 수도 있다. 이 때문에 정보가 때때로 진실이 아닌 오류를 만들어내기도 한다.
P.20 오히려, 전문가들 두 가지 시나리오에 대해 경고한다. 첫째, AI의 힘은 기존의 인간 갈등을 증폭하여 인류를 분열시킬 가능성이 있다.
(중략)
둘째, 실리콘 장막은 인간을 한 집단과 다른 집단으로 분리하는 것이 아니라, 모든 인간을 인간의 새로운 지배자 AI와 분리할 지도 모른다. 우리가 어디에 살든 불가해한 알고리즘에 짜인 더미풀 속에 갇힌 것이 될 것이다.
P.21 반면 AI는 스스로 정보를 처리할 수 있고 따라서 인간을 대신하여 결정 내릴 수 있다. AI는 도구가 아니라 행위자다.
P.23 정보에 대한 포퓰리즘적 관점
”정보 → 힘“
더 극단적인 형태의 포퓰리즘은 객관적 진실은 존재하지 않으며 모든 사람은 각자 ‘자기만의 진실’을 가지고 그것을 경쟁자를 항복 시키기 위한 무기로 사용한다고 가정한다.
제1부 인간 네트워크들
P.45 현실을 표현하려고 시도할 때 생기는 또 하나의 문제는 현실을 바라 보는 과넘이 여러 가지라는 것이다.
(중략)
단 하나의 현실이 존재하지만 그것이 복잡하다는 뜻이다.
P.47 요지는, 현실을 최대한 사실 그대로 기술해도 현실을 온전히 담아낼 수 없다는 것이다. 모든 재현에는 무시되거나 왜곡되는 측면이 있기 때문이다.
P.58 우리 사피엔스가 세상을 지배하는 것은 우리가 지혜로워서가 아니라 대규모로 유연하게 협력할 수 있는 유일한 동물이기 때문이다.
P.59 네안데르탈인처럼 사람과 사람들의 연결만으로 네트워크를 구축하는 대신, 호모 사피엔스는 인간과 이야기의 연결이라는 새로운 유형의 사슬을 갖게 되었다. 사피엔스는 이제 서로를 개인적으로 알지 못해도 협력할 수 있었다. 똑같은 이야기를 알고 있기만 하면 되었다. 그리고 그 똑같은 이야기를 수십억명이 공유할 수 있었다.
P.60 오늘날 언플루언서와 셀럽도 스탈린의 말에 동의할 것이다. 일부는 수억명의 팔로어를 보유하고 있으며 소셜 미디어를 통해 그들과 매일 소통한다. 하지만 개인 간의 진짜 연결은 거의 존재하지 않는다. 소셜 미디어 계정은 전문가 팀이 운영하고, 모든 이미지와 말은 ‘브랜드’라는 것을 창조하기 위해 전문가가 공들여 제적하고 선별한 것이다.
P.70 법이나 신, 화폐와 같은 상호주관적 현실은 특정 네트워크 안에서는 엄청나게 강력한 힘을 발휘하지만 네트워크 밖에서는 전혀 의미가 없다.
P.76 역사 전체를 봤을 때 힘은 진실을 아는 것만으로 얻어지지 않는다. 많은 사람들 사이에서 사회 질서를 유지할 수도 있어야 한다.
(중략)
핵 물리학자는 모르지만 권력 꼭대기에 있는 사람들이 알고 있는 사실은, 우주에 대한 진실을 알리는 일은 많은 사람들 사이에서 질서를 유지하는 최선의 방법이 아니라는 것이다.
P.78 허구는 진실에 비해 두가지 이점을 가지고 있다. 첫째, 사람들을 결속 시키는데 허구는 얼마든지 간단하게 만들 수 있지만 진실은 대체로 복잡하다. 진실이 표현해야 하는 현실이 복잡하기 때문이다.
(중략)
둘째, 진실은 고통스럽고 불편한 경우가 많은데 그렇다고 그것을 편안하고 듣기 좋게 만들면 더 이상 진실이 아니게 된다. 반면 허구는 지어내기 나름이다.
P.83 정보에 대한 복잡한 관점
” ↗ 지혜
정보 → 진실 ↘ 힘
↘ 질서 ↗ “
P.85 인간 정보 네트워크의 역사가 단순히 승리의 진군이 아니었던 주된 이유가 여기에 있다. 수 세대에 걸쳐 인간 네트워크는 점점 강력해졌지만 점점 지혜로워진 것은 아니었다. 네트워크가 진실보다 질서를 우선시 할 경우 막강한 힘을 가질 수 있지만 대신 그 힘을 지혜롭게 사용하지 못하기 쉽다.
P.98 새로운 질서를 만들어 그것을 세상에 도입하는 과정에서 관료제는 관료제만의 특징적인 방식으로 사람들이 세상을 보는 관점을 왜곡했다. 사람들에게 잘못된 꼬리표를 붙여 차별하는 편향된 알고리즘이나, 인간의 필요와 감정을 무시하는 경직된 프로토콜 등 21세기 정보 네트워크가 안고 있는 문제들 대부분은 컴퓨터 시대에 새로 생긴 것이 아니다. 이런 문제들은 컴퓨터라는 것을 상상조차 못했 던 때부터 존재해 온 전형적인 관료주의적 문제이다.
P.109 고대 우르부터 현대 인도에 이르기까지 문서와 관료 절차로 연결된 네트워크에서는 사회가 어느 정도 인간과 인간, 인간과 이야기의 연결 외에도 인간과 문서의 연결로 유지된다. 관료제 사회가 작동하는 방식을 관찰해 보면, 여전히 인간이 다른 인간에게 이야기를 들려 주는 것을 볼 수 있다.
(중략)
그런데 어떤 관점에서 보면, 문서가 인간에게 다른 종류의 문서들과 관계를 맺도록 강요하는 것처럼 보인다.
그 결과 권력 이동이 일어났다. 문서가 많은 사회적 사슬을 잇는 중요한 연결 고리가 되면서 문서에 상당한 힘이 부여 되었고, 문서의 난해한 논리를 다루는 전문가들이 새로운 권력측으로 떠올랐다.
P.125 성 아우고스티누스는 ”실수하는 것은 인간적이지만 실수를 고치지 않는 것은 악마적이다.“라는 유명한 말을 남겼다. 인간의 오류 가능성과 그 오류를 바로 잡을 필요성은 어느 신화에서나 핵심적인 역할을 했다.
P.129 인간 사회가 커지고 복잡해질수록 종교 기관도 커지고 복잡해졌다. 사제와 신탁을 전하는 사람은 신을 대리하는 중요한 임무를 수행하기 위해 오랫동안 힘든 훈련을 받아야 했다. 이제 사람들은 더 이상 천사를 만났다거나 신의 메시지를 전한다고 주장하는 평범한 사람을 무턱대고 믿을 필요가 없었다.
P.131 오류를 범할 수 있는 인간이 말하는 것은 무엇이든 오류가 없는 책에 기록된 내용과 언제든지 비교할 수있기 때문이다. 하지만 책의 종교에는 나름 문제들이 있었다. 무엇보다도, 그 거룩한 책에 무엇이 포함될지 누가 결정한다할까? 최초의 한권은 하늘에서 내려오지 않았다. 그것은 인간이 편찬했다.
P.138 책이라는 기술은 거룩한 말씀을 고치지 못하게 하는데 성공했을지 몰라도 책 밖의 세상은 계속 돌아갔기에 새로운 상황에 오래된 규칙을 적용할 방법이 분명하지 않았고 이는 또 다른 문제를 낳았다.
P.140 오류 있는 인간의 제도를 거룩한 책의 기술을 통해 우회하려던 꿈은 결코 실현되지 않았다. 이런 상황이 반복될 때마다 랍비제도의 힘만 커졌을 뿐이다. ”무오류의 책을 신뢰하라.“는 특명은 ”책을 해석하는 인간을 신뢰하라.“로 바뀌었다.
P.155 하지만 인쇄술은 과학혁명의 근본 원인이 아니었다. 인쇄기가 한 일은 텍스트를 충실하게 복제한 것 뿐이다. 인쇄기 스스로가 새로운 아이디어를 생각해 낼 수 없었다.
P.162 마녀사냥은 정보생태계 탄생의 어두운 면을 잘 보여 준다. 《탈무드》에 대한 랍비들의 토론과 기독교 경전에 대한 스콜라 철학자들의 토론이 그랫듯이, 마녀 사냥을 부추긴 원동력은 현실을 창조하며 점점 확장되는 정보의 바다였다.
(중략)
이 모든 정보는 특정인의 권위를 얻고 사회 전체가 구성원을 규율하는 수단으로 사용되면서 많은 질서와 권력을 생산했다. 하지만 진실과 지혜는 조금도 생산하지 않았다.
P.167 근대 초 유럽을 휩쓴 마녀 광풍의 역사는 정보 흐름의 장벽을 없앤다고 진실된 정보가 확산된다는 보장이 없다는 것을 보여준다. 거짓과 환상이 확산되어 유해한 정보 생태계가 만들어지기도 그 만큼이나 쉽다. 더 구체적으로 말하면, 아이디어의 완전한 자유 시장은 진실을 희생시키고 분노와 선정주의의 확산을 부추길 수 있다.
P.169 과학혁명에 핵심적인 역할을 한 큐레이션 기관들은 대학 안팎의 학자들과 연구자들을 연결하여 유럽 전체, 결국에는 전 세계를 잇는 정보 네트워크를 구축했다. 과학혁명이 속도를 내기 위해서는 과학자들이 먼 곳의 동료들이 발표한 정보를 신뢰하는 것이 필수였다.
(중략)
교회는 절대 진리가 담긴 무오류의 거룩한 책을 내세우며 사람들에게 교회를 믿으라고 말했다. 반면 과학기관은 기관 자체의 오류를 찾아내 고치는 강력한 자정 장차를 토대로 권위를 얻었다. 과학혁명의 원동력은 인쇄술들이 아니라 바로 이런 자정 장치였다.
P.179 과학이 비교적 빠른 속도로 발전하고 있는 것은 제도적 실수를 기꺼이 시인하는 태도 덕분이다. 일단 증거가 확인되면 정설로 인정되던 이론이 몇 세대 내에 폐기되고 새로운 이론으로 대체된다.
P.186 자정 장치는 진실 추구에 필수적이지만 질서 유지 측면에서는 손해이기 때문이다. 강력한 자정 장치는 의구심, 논쟁, 갈등, 분열을 일으키고 사회 질서를 유지하는 신화의 힘을 약화시키는 경향이 있다.
P.188 독재적 정보 네트워크는 고도로 중앙 집중화 되어 있다. 이는 두가지 의미를 내포한다. 첫째, 중앙이 무제한의 권한을 가지며, 따라서 정보는 가장 중요한 결정이 내려지는 중앙 허브로 흐르는 경향이 있다.
(중략)
독재 네트워크의 두 번째 특징은 중앙에는 오류가 있을 수 없다고 가정하는 것이다. 따라서 독재 네트워크는 중앙의 결정에 도전하는 것을 싫어한다.
(중략)
독재자는 항상 독립적인 권력 허브를 위협으로 간주하며 무력화하려고 한다.
(중략)
요컨대, 독재는 강력한 자정 장치가 없는 중앙 집중화된 정보 네트워크다. 반면 민주주의는 강력한 자정 장치를 갖춘 분산된 정보 네트워크이다.
(중략)
따라서 독재는 중앙 정보 허브가 모든 것을 지시하는 네트워크인 반면, 민주주의는 다양한 정보 노드 사이의 지속적인 대화이다.
P.192 선거는 민주주의 도구 상자의 핵심 부품이지만 그 자체가 민주주의는 아니다. 다른 자정 장치가 없다면 선거는 쉽게 조작될 수 있다. 선거가 완전이 자유롭고 공정하게 실시된다 해도, 선거만으로 민주주의를 보장할 수 없다. 민주주의는 다수 독재가 아니가 때문이다.
(중략)
선거는 민주적 네트워크가 ”우리가 실수했으니 다른 것을 시도해 보자“라고 말하는 장치이다. 하지만 중앙 정부가 국민의 권리를 마음대로 박탈할 수 있다면 이 자정 장치는 무력회될 것이다.
(중략)
선거에 승리한다고 무제한적인 권력이 주어지는 것은 아니라는 말을 들으면 그들은 진심으로 당황한다. 오히려 선출된 정부의 권력을 어떤 식으로든 견제하려는 시도를 민주적이지 않은 것으로 본다. 하지만 민주주의는 다수에 의한 통치를 뜻하지 않는다. 오히려 모두가 자유와 평등을 누린다는 뜻이다. 민주주의는 아무리 다수라도 빼앗을 수 없는 특정한 자유들을 모두에게 보장하는 제도다.
P.200 우리에게는 항상 여러 가지 선택지가 있으며, 그 중에서 무엇을 선택하느냐는 진실의 문제가 아니라 욕망의 문제다.
(중략)
만일 다수 집단이 미래 세대나 다른 환경적 고려를 무시한 채 화석 연료를 마음껏 소비하기를 원한다면 그들은 그런 정책에 투표할 권리가 있다.
하지만 이 다수 집단이 기후변화는 날조이며 기후변화를 믿는 모든 교수를 해고하는 법을 권리로 가져서는 안된다. 우리가 원하는 것을 선택할 수 있지만 선택의 진정한 의미를 부정해서는 안 된다.
P.202 이 모든 이야기가 너무 복잡한 소리로 들린다면 그것은 민주주의는 원래 복잡해야 하는 것이기 때문이다. 단순함은, 모든 것을 중앙에서 지시하고 모두가 말 없이 따라가는 것은, 쉽다. 반면 민주주의는 수많은 당사자 간의 대화이며 그 중 다수는 동시에 말한다. 그런 대화는 따라가기 쉽지 않다.
P.203 포퓰리시트들도 마찬가지로, 국민의 적들이 국민을 속임으로써, 포퓰리스트만이 대변하는 진정한 국민의 뜻에 반하는 투표를 하도록 조종했다고 믿고 있다.
포퓰리즘의 어떤 신조는 ‘국민’이 다양한 이해 관계와 의견을 지닌 실존하는 개인들의 집합이 아니라 ‘국민의 뜻’이라는 하나의 의사를 지닌 정체불명의 통합체라는 믿음에서 비롯된다.
(중략)
그렇다면 누가 국민이고 누가 국민이 아닌지를 어떻게 알 수 있을까? 간단하다. 지도자를 지지하면 국민이다. 독일 정치철학자 얀 베르너 뮐러에 따르면 그것이 포퓰리즘의 핵심이다. 즉 포퓰리시트는 자신만이 국민을 대변하며 의견이 다른 사람은 누구든(국가 관려든, 소수 집단이든, 심지어 과반수의 투표자일지라도) 허위 의식을 가지고 있거나 진짜 국민이 아니라고 주장하는 사람들이다.
P.231 그들은 미국에도 카이사르 같은 사람이 나타나 자신들의 공화국에 비슷한 일을 할까봐 우려하여 견제와 균형을 위한 여러 가지 중첩되는 자정 장치를 마련했다. 그중 하나가 언론이었다. 고대 로마에서는 영토와 인구가 늘어나면서 공화국의 자정 장치가 마비 되었지만, 미국에서는 현대 정보기술이 언론의 자유와 결합해 국가가 대서양에서 태평양가지 확장되는 동안에 자정 장치가 계속 돌아갈 수 있도록 도왔다.
P.234 언제나 그렇듯이, 우리는 기술결정론을 조심해야 한다. 즉 대중매체의 등장이 대규모 민주주의로 이어졌다고 단정해서는 안된다. 대중매체는 대규모 민주주의를 가능하게 만들었을 뿐, 필연으로 만들지 않았다. 대중매체는 다른 유형의 정치 제도도 가능하게 만들었다.
P.247 전체주의 체제는 정보의 흐름을 통제함으로써 정권을 유지하고, 독립적인 정보 채널을 경계한다. 군 장교나 정부 관료, 또는 일반 시민은 서로 정보를 교환할 때 신뢰를 쌓을 수 있고, 이렇게 서로를 신뢰하게 되면 정권에 조직적으로 저항할 수 있기 때문이다. 따라서 전체주의 정권의 신조는 사람을 만나 정보를 교환하는 곳에는 반드시 정권의 감시가 있어야 한다는 것이다.
P.251 소련의 집단화 역사는 좀 더 깊이 들여다볼 가치가 있다. 왜냐하면 그것은 유럽의 마녀사냥 광풍처럼 인류 역사에서 앞서 일어난 재앙들과 닮은 저미 있는 비극인 동시에, 데이터의 ‘과학’을 맹신하는 21세기 기술이 어떤 위험을 야기할지 예고하는 사건이기 때문이다.
P.263 대조적인 정보 네트워크로서 민주주의와 전체주의는 각각의 장단점이 있다. 중앙 집중화된 전체주의 네트워크의 가장 큰 장점은 극도로 질서정연하다는 것이다. 이는 신속하게 결정을 내리고 내려진 결정은 가차없이 시행할 수 있다는 뜻이다.
(중략)
하지만 초집중화된 정보 네트워크에는 큰 단점도 몇 가지 있다. 정보가 오직 공식 채널을 통해서만 흐를 수 있기 때문에 공식 채널이 막히면 정보가 흐를 수 있는 대체 수단이 없다. 게다가 공식 채널은 자주 막힌다.
P.275 기술은 단지 새로운 기회를 열어줄 뿐이며, 어느 쪽으로 갈 지는 우리에게 달렸다.
(중략)
결과적으로, 민주주의 네트워크는 붕괴 위험과 싸워야 한다.
(중략)
이로써 이전에 소외되었던 집단들이 더 쉽게 조직화하고, 공론장에 참여하고, 정치적 요구를 할 수 있게 되었다. 그 결과 사회 정치적 운동이 줄을 이으며 사회질서를 흔들었다.
(중략)
이런 상황은 기존 세력과 새로운 새력 모두에게 깊은 좌절감을 안겨 주었다. 후자의 경우 표현의 자유를 얻었으나 공허했고, 자신들의 정치적 요구가 받아 들여지지 않는다고 느꼈다. 대화에 실망한 일부는 무력에 의존했다.
P.279 따라서 21세기가 시작될 무렵만 해도 대세는 분산된 정보 네트워크와 민주주의로 기운 것처럼 보였다.
하지만 실제로 일어난 일은 그렇지 않았다. 사실 다음 정보 혁명이 이미 속도를 올리며 민주주의와 전체주의가 대결의 새 라운드를 펼치 무대를 마련하고 있었다. 컴퓨터, 인터넷, 스마트폰, 소셜미디어, AI는 소외된 집단들만이 아니라 인터넷에 연결된 모든 사람, 심지어 인간이 아닌 구성원에게도 발언권을 주었고, 이로 인해 민주주는 새로운 과제에 직면하게 되었다. 2020년대에 민주주의는 다시 한번 사회 질서를 파괴하지 않으면서 공론장에 밀려드는 새로운 목소리를 통합해야 하는 도전에 직면했다.
P.280 21세기에 정치가 분열된다면, 민주주의와 전체주의 사이의 분열이 아니라 인간과 비인간 사이의 분열이 될 것이다. 새로운 실리콘 장막은 민주주의 체계를 전체주의 체제와 분리하는 대신, 모든 인류를 불가해한 알고리즘 지배자와 분리할 것이다. 모든 국가의 각계 각층 사람들이, 심지어 독재자조차, 우리의 일거수 일투족을 감시할 수 있는 낯선 지능에 종속되는 상황에 놓여도 우리는 그 낯선 지능이 무엇을 하는 지 제대로 이해 못할 지도 모른다.
제2부 비유기적 네트워크
P.295 하지만 인간과 포유류에게 일어난 일을 바탕으로 존재 가능한 모든 실체의 상황을 추론하는 것은 잘못이다. 박테리아와 식물은 분명히 의식이 없지만 지능은 있다. 그들도 환경으로부터 정보를 수집하고, 복잡한 선택을 한다. 그리고 먹이 획득, 번식, 다른 유기체와의 협력, 포식자와 기생충 피하기 등의 독창적인 전략을 모색한다.
P.299 앞으로 탐구할 이 책의 주요 내용은 컴퓨터가 의식을 가질 수 있는가가 아니다. 이 책의 논지는 스스로 목표를 추구하고 결정 내릴 수 있는 컴퓨터의 출현이 정보 네트워크의 기본 구조를 변화시킨다는 것이다.
P.302 컴퓨터는 인간보다 더 강력한 구성원이 될 잠재력을 가지고 있다.
(중략)
컴퓨터는 무한히 연결될 수 있고, 적어도 금융과 법의 일부를 사람보다 잘 이해한다.
(중략)
컴퓨터가 전 세계 금융 관련 결정의 점점 더 많은 부분을 맡고 있는 것도 이상하지 않다. 컴퓨터가 금융시장을 지배하고 우리가 이해할 수 없는 완전히 새로운 금융 도구를 발명하는 시점이 올지도 모른다. 법도 마찬가지다. 국가의 모든 세법을 아는 사람이 얼마나 될까? 전문 회계사들조차 어려워한다. 하지만 컴퓨터는 그런일을 위해 설계되었다. 컴퓨터는 관료제에 능틍해서, 자동으로 법안을 작성하고, 법률 위반을 감시하고, 법적 허점을 찾아내는데 초인적인 효율성을 발휘할 수 있다.
P.309 우리는 문화라는 고치 안에서 갇혀서 문화라는 프리즘을 통해 현실을 경험한다. 우리의 정치적 견해는 언론 보도와 친구들 의견의 영향을 받아 형성된다. 우리의 성습관은 동화나 영화의 영향을 받는다. 심지어 우리가 걷고 숨쉬는 방식도 병사들의 군사훈련이나 승려의 명상 수행 같은 문화적 전통의 영향을 받았다. 아주 최근까지만 해도 우리가 살아가는 문화적 고치는 인간의 손으로 지어졌다. 하지만 앞으로 점점 많은 부분을 컴퓨터가 설계하게 될 것이다.
P.310 하지만 인간을 조종하기 위해 뇌를 컴퓨터에 물리적으로 연결할 필요는 없다. 수 천년 동안 예언가, 시인, 정치인들은 언어를 이용해 사회를 조종하고 바꾸었다. 이제 컴퓨터들이 이 방법을 학습하고 있다. 그리고 컴퓨터는 우리를 죽이기 위해 킬러 로봇을 보낼 필요가 없다. 인간들이 방아쇠를 당기도록 조종하기만 하면 된다.
P.320 이렇듯 거대 기술 기업들이 유권자와 고객의 소망에 순종하는 동시에 그 소망을 마음대로 주무를 수 있다면, 실제로 누가 누구를 통제하는 것일까?
그런데 문제는 보이는 것보다 훨씬 복잡하다. ‘고객은 항상 옳다’와 ‘유권자가 가장 잘 안다’는 원리는 고객, 유권자, 정치인이 자기 주변에서 무슨 일이 일어나고 있는 지를 안다는 것을 전제로 한다.
(중략)
진실을 말하자면 우리는 그렇지 않다. 우리가 바보라서가 아니라, 기술이 엄청나게 복잡하고 모든 것이 무시무시한 속도로 진행되고 있는 탓이다.
P.326 세금 문제는 컴퓨터 혁명이 야기한 많은 문제 중 하나뿐이다. 컴퓨터 네트워크는 거의 모든 권력 구조를 무너뜨리고 있다. 민주주의 국가는 새로운 디지털 독재의 등장을 두려워 한다. 독재 국가는 어떻게 통제해야 하는 지 알 수 없는 행위자의 출현을 두려워한다. 모든 개인은 사생활 침해와 데이터 식민주의의 확산에 대해 경각심을 가져야 한다.
P.328 기억해야 할 가장 중요한 점은 기술 자체가 미래를 결정하는 경우는 별로 없다는 것이다. 기술 결정론에 대한 믿음은 위험하다. 모든 책임을 기술에 전가함으로써 인간은 책임을 면하기 때문이다. 물론 인간 사회는 정보 네트워크이므로 새로운 정보 기술이 발달되면 사회가 변하는 것이 당연하다. 사람들이 인쇄술이나 머신러닝 알고리즘을 발명하면 사회적, 정칙적으로 근본적인 변화가 일어날 수 밖에 없다. 하지만 이런 변혁의 속도, 형태, 방향을 통제하는 힘은 아직까지 대체로 인간에게 있다. 이는 책임도 대체로 우리에게 있다는 뜻이다.
P.340 컴퓨터 네트워크는 수많은 인간 활동이 모이고 교차하는 연결고리nexus가 되었다. 거의 모든 금융거래, 사회적 혹은 정치적 거래의 중심에는 이제 컴퓨터가 있다. 결과적으로 우리는 결국 신의 눈을 피할 수 없었던 낙원의 아담과 이브처럼 감시의 눈길을 피할 수 없다.
P.360 개인 간 감시 네트워크는 이런 사생활 감각을 없앤다. 직원이 혹시라도 고객을 만족시키지 못하면 레스토랑은 나쁜 리뷰를 받게 되고, 이는 향후 수천명의 잠재적 고객이 결정을 내리는데 영향을 미칠 수 있다. 좋든 싫든 힘의 균형이 고객쪽으로 기울고, 직원들은 대중의 시선에 전보다 많이 노출 된다고 느낀다.
(중략)
과거에는 택시를 타거나 이발소에 들어온다는 것은 누군가의 사적 공간에 들어왔다는 뜻이었다. 하지만 이제 고객들은 택시를 타거나 이발소에 올 때마다 카메라, 마이크, 감시 네트워크 그리고 수천명의 잠재적인 시청자를 데리고 들어온다. 이것이 바로 정부의 개입없는 개인간의 감시 네트워크의 토대이다.
P.367 컴퓨터 네트워크가 사회를 완전히 장악하는 것을 막아야하는 이유는 단지 휴식을 위해서만이 아니다. 브레이크가 필요한 훨씬 더 중요한 이유는 네트워크를 바로 잡을 기회를 갖기 위해서다. 만일 네트워크의 발전이 이대로 계속 가속화된다면, 네트워크의 오류도 우리가 찾아 내 바로 잡을 수 있는 속도보다 훨씬 빠르게 축적될 것이다. 네트워크는 쉬지 않고 어디에나 존재할 뿐 아니라 오류도 범하기 때문이다. 물론 컴퓨터는 우리가 무엇을 하는지 하루 24시간 지켜보면서 전례 없는 양의 데이터를 수집할 수 있다. 또한 데이터의 바다 속에서 패턴을 인간보다 월등히 효율적으로 찾아낼 수 있다. 하지만 그렇다고 해서 컴퓨터 네트워크가 항상 세상을 정확하게 이해하는 것은 아니다. 정보는 진실이 아니다. 완전한 감시 시스템은 세상과 인간 존재에 대한 대단히 왜곡된 이해로 형성될 수 있다. 네트워크가 세상과 인간에 대한 진실을 발견하는 대신 자신의 막강한 힘을 이용해 새로운 종류의 세계 질서를 만들고 그것을 우리에게 강요할지도 모른다.
P.372 유튜브 알고리즘은 수백만 명을 대상으로 시행착오를 거듭한 끝에 페이스북 알고리즘이 학습한 것과 동일한 패턴을 발견했다. 즉 분노를 유발하는 내용은 참여도를 높이지만 온건한 내용은 그렇지 않은 경향이 있었다. 이에 따라 유튜브 알고리즘은 수백만 명의 이용자에게 터무니 없는 음모론을 추천하는 동시에 온건한 콘텐츠는 무시하기 시작했다. 2016년에 이용자들은 유튜브에서 정말로 하루 10억 시간 분량의 동영상을 시청하고 있었다.
P.375 비인간 지능이 역사의 큰 흐름에 어느 정도 영향을 미치고 있다는 점에서 우리는 역사의 전환점에 도달했다. 컴퓨터 네트워크의 오류 가능성이 매우 위험해진 이유가 여기 있다. 컴퓨터의 오류는 컴퓨터가 역사의 주체가 될 때 치명적으로 변한다.
(중략
페이스북, 유튜브, 틱톡 등 소셜 미디어 플랫폼을 관리하는 사람들은 면죄부를 얻기 위해 알고리즘의 문제를 ‘인간 본성’에 전가한다. 그들은 플랫폼에서 유포되는 증오와 거짓말은 인간 본성에서 비롯된 것이라고 주장한다. 이 기술 기업들은 그렇다 해도 표현의 자유는 중요하기 때문에 인간의 진실된 감정 표현을 검열하는 것이 망설여진다고 말한다.
(중략
모스크바의 소련 지도자들처럼, 기술 기업들은 인간에 대한 어떤 진실을 드러내고 있지 않았으며, 오히려 우리에게 비뚤어진 새로운 질서를 강요하고 있었다. 인간은 매우 복잡한 존재이고 , 건강한 사회 질서는 우리의 미덕을 함양하면서도 부정적인 경향을 억제할 수 있는 방법을 모색한다. 하지만 소셜 미디어 알고리즘은 인간의 자연적인 감정(증오, 애정, 분노, 기쁨, 혼란 등)을 단 하나의 포괄적인 범주인 ‘참여도’로 환원했다.
(중략)
인간에 대한 이런 매우 편협한 이해를 바탕으로 이 알고리즘들은, 가장 저급한 본능을 부추기고 익난이 지닌 잠재력을 억누르는 새로운 사회 시스템을 만드는데 일조했다.
P.393 하지만 컴퓨터는 인간이 아니므로 컴퓨터가 목표의 오정렬을 알아채고 경고 신호를 보낼 것이라고 기대해서는 안된다. 2010년대에 유튜브와 페이스북 경영진은 알고리즘이 초래하고 있는 피해에 대해 내부 직원들뿐만 아니라 외부 관찰자들로부터 수차례 경고를 받았지만, 알고리즘 자체는 아무런 경고를 보내지 않았다.
의료, 교육, 법 집행 등 많은 분야에서 알고리즘에 점점 더 많은 권한을 주게 되면 정렬 문제는 더욱 커질 것이다.
P.400 역사를 돌이켜보면 대부분까지는 아니더라도 많은 분쟁이 정체성의 정의와 관련되어 있다. 누구나 살인이 나쁘다는 것은 인정하지만, 내집단 구성원을 죽이는 것만 ‘살인’에 해당하고 외집단에 누군가를 죽이는 것은 살인이 아니라고 생각한다. 하지만 내집단과 외집단은 상호주관적 현실이고, 이를 정의하는 기준은 대개 어떤 신화다. 따라서 보편적인 합리적 법칙을 추구하는 의무론자들은 흔히 어떤 지역적 신화의 포로가 된다.
P.403 하지만 안타갑게도, 의무론적 해법과 마찬가지로 철학의 이론적 영역에서는 간단하게 들리는 일이 실제 역사 현장으로 가면 욕 나올 정도로 복잡해진다. 공리주의자들의 문제는 우리가 고통계산기를 가지고 있지 않다는 데 있다. 우리는 특정 사건에 ‘고통 점수’ 또는 ‘행복 점수’를 몇 점이나 부여해야 하는 지 모르고, 따라서 복잡한 역사적 상황에서 특정 행동이 세상에 존재하는 고통의 총량을 늘리는지 줄이는지 계산한다는 것은 불가능에 가깝다.
공리주의는 고통이 저울의 한쪽 방향으로 확실히 기울어지는 상황에서 가장 큰 위력을 발휘한다.
P.407 자유지상주의자들은 무제한적인 표현의 자유와 세금의 전면 폐지가 사회에 끼치는 당장의 피해에 대한 질문을 받으면, 미래의 이익이 단기적인 피해보다 클 것이라는 비슷한 신념을 표현한다. 공리주의의 위험은 미래의 유토피아를 굳게 믿음으로써 지금 끔찍한 고통을 가하는데 아무런 거리낌이 없어진다는 데 있다. 실제로 이것은 수 천년 전 종교가 발견한 수법이다. 이 생에서 죄를 지어도 사후에 구원 받을 수 있으니 괜찮다는 것이다.
P.411 팔레스타인 철학자 사리 누세이베는 ”핵무기를 등에 업고 종교적 믿음이 시키는 대로 행동하는 유대인과 무슬림은 바위 한 개 때문에 역사상 최악의 인류 학살에 가담할 태세다“라고 말했다. 이들은 바위를 이루고 있는 원자들을 갖기 위해 싸우는 게 아니다. 마치 포켓몬을 잡기 위해 겨루는 아이처럼 그 바위의 ‘신성함’을 갖기 위해 싸우는 것이다. 황금 돔 사원의 바위, 그리고 일반적으로 예루살렘의 신성함은 수 많은 사람들의 마음을 연결하는 커뮤니케이션 네트워크에 존재하는 상호주관적 현상이다. 21세기에 우리는 상호컴퓨터현실 때문에 전쟁이 이렁나느 것을 보게 될지 모른다.
P.418 어떤 사람들은 컴퓨터에 더 많은 권한을 주면 종교적, 이념적 편향 문제를 극복할 수 있을 것이라고 기대할 지도 모른다. 이들은 인종차별, 여성 혐오, 동성애 혐오, 반유대주의 등 모든 편향은 컴퓨터에서 생기는 게 아니라 인간 존재의 심리적 조건과 신화적 믿음에서 비롯된다고 보기 때문이다. 컴퓨터는 심리나 신화를 지니고 있지 않은 수학적 존재다. 그러므로 방정식에서 인간을 완전히 뺄수 있다면, 알고리즘은 심리적 왜곡이나 신화적 편견에서 벗어나 순수한 수학을 바탕으로 어떤 일을 결절할 수 있을 것이다.
하지만 안타깝게도, 수 많은 연구는 컴퓨터도 대개 뿌리 깊은 자체 편향을 가지고 있다는 사실을 보여준다.
P.425 알고리즘의 이런 편향은 한편으로는 컴퓨터가 인간 능력의 잠재력을 무시하는데서 발생하고, 다른 한편으로는 컴퓨터가 인간에게 미치는 자신들의 영향력을 과소평가하는 데서 비롯된다. 거의 모든 인간이 특정 방식으로 행동하는 것처럼 보인다고 해서 인간이 그런식으로 밖에 행동하지 못하는 건 아니다. 인간이 투쟁 방식으로 행동하는 것은 단지 컴퓨터들이 그런 행동에 보상을 제공하는 한편 다른 행동을 벌하고 차단하기 때문인지도 모른다. 컴퓨터가 더 정ㅎ왁하고 책임감 있는 세계관을 가지려면 자신의 힘과 영향력을 고려할 수 있어야 한다. 따라서 현재 컴퓨터를 개발하는 사람들은 자신들이 단순히 새로운 도구를 제적하고 있는 것이 아니라는 사실을 인식할 필요가 있다. 그들은 새로운 종류의 독립적인 행위자를 만들고 있으며, 어쩌면 새로운 종류의 신을 만들어내고 있는 지도 모른다.
P.429 하지만 알고리즘이 자신의 오류 가능성을 인지 하고 있다고 해서 인간이 손을 놓아서는 안된다. AI가 발전하는 속도를 고려하면, AI가 앞으로 어떻게 진화할지 예측하여 미래에 일어날 모든 위험에 대비해 안전 장치를 마련해 두는 것은 불가능하다. 이것은 AI를 핵기술 같은 이전의 실존적 위협과 차별화하는 핵심적 차이다.
(중략)
하지만 AI가 심리적 대량 살상 무기를 만드는 것과 같은 훨씬 파악하기 어려운 위험들도 있다. 그리고 이질적인 지능의 계산에서 나오는 것이라서 인간의 머리로는 도저히 상상할 수 없는 종말 시나리오도 있을 것이다.
제3부 컴퓨터 정치
P.439 강조해 두고 싶은 점은, 이 원리들이 새로운 것도 신비로운 것도 아니라는 것이다. 이 원리들은 수백년 심지어 수천년 동안 존재해 왔다. 시민들은 이 원리들이 컴퓨터 시대의 새로운 현실에도 지켜지도록 요구해야 한다.
첫 번째 원리는 선의다. 컴퓨터 네트워크가 나에 대한 정보를 수집한다면 그 정보를 나를 조종하기 위해서가 아니라 나를 돕기 위해 사용해야 한다.
(중략)
전체주의 감시 체제의 등장으로부터 민주주의를 보호할 두 번째 원리는 분권화다. 민주주의 사회는 정보가 (허브가 정부든 민간 기업이든) 한 곳에 집중되는 것을 절대 허용해서는 안 된다.
(중략)
세 번째 민주주의 원리는 상호주의다. 민주주의 국가가 개인에 대한 감시를 강화할 경우 정부와 기업에 대한 감시도 동시에 강화해야 한다.
(중략)
민주주의에는 균형이 필수다. 정부와 기업은 종종 하향식 감시 도구로 스기 위해 앱과 알고리즘을 개발한다. 하지만 알고리즘은 강력한 상향식 도구도 될 수 있다.
(중략)
네 번째 민주주의 원리는 감시 시스템에 항상 변화와 휴식의 여지를 남겨야 한다는 것이다.
P.446 새로운 정보 기술은 감시 외에도 다른 방법으로 민주주의에 해를 끼칠 수 있다. 두 번째 위협은 자동화다. 고용 시장이 불안정해져서 사람들이 사회적, 경제적 압력을 느끼면 민주주의가 흔들릴 수 있다.
P.453 챗봇과 기타 AI들은 스스로는 감정을 느끼지 않겠지만, 최근 AI도구들은 인간에게 감정을 불러 일으키고 인간과 친밀한 관계를 맺는 훈련을 받고 있다. 따라서 사회는 적어도 일부 컴퓨터를 의식적인 존재로 취급하여 그들에게 인간과 똑같은 권리를 부여하기 시작할 가능성이 높다.
P.455 민주주의 정치는 오랫동안 보수정당과 진보정당 간의 대화였다. 인간 사회의 복잡한 시스템을 보면서 진보는 ”엉망진창이지만 우리는 고칠 방법을 알고 있다. 우리가 해보자“라고 외쳤다. 그러면 보수는 ”엉망이지만 그래도 작동하고 있어. 그냥 내버려 둬, 고치려고 하다가 더 나빠질 수 있어“라고 반박했다.
진보는 전통과 기존 제도를 그다지 중요하게 생각하지 않으며, 자신들이 더 나은 사회 구조를 처음부터 새롭게 설계할 방법을 알고 있다고 믿는 경향이 있다. 보수는 좀 더 신중한 입장을 보인다.
(중략)
하지만 2021년 1월 6일, 수많은 트럼프 지지자들은 미국 국회의사당을 습격하는 장면을 지켜보며 열광했다.
(중략)
하지만 이 관점이 옳든 그르든, 이는 보수주의가 아니라 사실상 혁명이다. 보수의 자멸에 진보는 경악했고, 미국 민주당 같은 진보정당들은 구질서와 기존 제도를 수호하는 역할을 떠맡게 되었다.
(중략)
기존의 전통과 제도를 지키는 것이 도저히 불가능해서 어떤 종류의 혁명이 불가피해 보인다면, 좌파혁명을 저지하기 위해서라도 먼저 우파혁명을 일으켜야 한다. 이것이 1920년대와 1930년대 보수 세력의 정치 논리였다. 당시 이탈리아, 독일, 스페인 등에서 보수 세력은 소련에서 발생한 것과 같은 좌파혁명을 막는 방법으로 급진적인 파시스트 혁명을 지지했다.
P.460 하지만 민주주의 자정 기능이 제대로 작동하기 위해서는 바로 잡을 대상을 이해할 수 있어야 한다. 독재 정권의 경우 이해할 수 없다는 것이 정권에 도움이 되는데, 잘 모르면 책임을 묻기 어렵기 때문이다. 민주주의 의 경우 이해할 수 없다는 것은 치명적이다. 시민, 국회의원, 언론인, 판사가 국가의 관료시스템이 어떻게 작동하는지 이해하지 못하면, 더 이상 시스템을 감독할 수도, 신뢰할 수도 없기 때문이다.
P.470 점점 더 불가해지고 있는 정보 네트워크는 최근 포퓰리스트 정당과 강력한 지도자가 잇달아 등장하고 있는 이유 중 하나다. 사람들은 더 이상 세상을 이해할 수 없을 때, 그리고 소화할 수 없는 엄청난 양의 정보에 압도될 때 쉽게 음모론에 빠지고, 자신들이 이해하는 대상인 ‘인간’에게 구원을 요청한다. 강력한 지도자는 분명 장점이 있지만, 안타깝게도 아무리 영감을 주는 똑똑한 사람도 점점 세상을 지배해 가는 알고리즘이 어떻게 작동하는지 혼자서 해독할 수 없으며, 그 알고리즘의 공정성을 확보할 수도 없다.
P.478 마지막으로, 새로운 컴퓨터 네트워크가 민주주에 가하는 위협이 또 하나 있다. 바로 디지털 전체주의 대신 디지털 무정부 상태를 조장하는 것이다. 민주주의 분권화 성격과 강력한 자정 기능은 전체주의를 막는 방패이지만, 다른 한편으로는 질서 유지를 어렵게 만든다. 민주주의가 제대로 작동하려면 두 가지 조건을 충족해야 한다. 첫째, 중요한 쟁점에 대해 자유롭게 공개적으로 토론할 수 있어야 하고, 둘째, 사회질서와 제도에 대한 신뢰가 어느 수준 이상으로 유지되어야 한다. 자유로운 대화가 아무리 중요하다해도 무정부 상태로 빠져서는 안된다. 특히 긴급하고 중요한 문제를 다룰 때, 공개 토론은 정해진 규칙에 따라 진행되어야 하며, 모두가 동의하지 않을 때도 어떤 종류의 최종 결정을 도출할 수 있는 합법적인 장치가 있어야 한다.
P.482 여론을 조작하는 봇과 이해할 수 없는 알고리즘이 공론장을 지배하게 되면, 민주적 토론이 가장 필요한 시점에 토론이 불가능해 질 수 있다.
빠르게 발전하는 신기술에 대해 중대한 결정을 내려야 할 때 공론장에는 컴퓨터가 생성한 가짜 뉴스가 범람할 것이고, 시민들은 자신이 인간과 토론하고 있는지, 조작적인 기계와 토론하고 있는 지 알 수 없을 것이며, 토론의 가장 기본적인 규칙니나 가장 기본적인 사실 관계에 대해서도 합의할 수 없을 것이다. 이런 종류의 무정부적인 정보 네트워크는 진실이나 질서를 만들어 낼 수 없으며 오래 유지될 수도 없다. 우리가 무정부 상태에 이르게 되면, 다음 단계는 아마 독재 정권의 수립일 것이다. 사람들이 약간의 확실성을 얻기 위해 자유를 포기하는데 동의할테니 말이다.
P.486 무엇이 민주주의 정보 네트워크의 붕괴를 초래하고 있는 지 아무도 확실히 모른다. 일부에서는 이념적 분열이라고 말하지만, 사실 많은 역기능적인 민주주의 국가에서 이념적 차이는 이전 세대보다 커진 것 같지 않다.
(중략)
많은 사람들이 소셜 미디어 알고리즘을 주범으로 지목한다. 앞의 장들에서 사회를 분열시키는 소셜 미디어의 힘을 살펴보았듯이, 알고리즘의 유죄를 입증하는 결정적인 증거가 있지만, 그럼에도 불구하고 다른 요인들도 함께 작용하고 있는 듯하다. 솔직히 우리는 민주주의 정보 네트워크가 붕괴하고 있는 것을 뻔히 보면서도 그 이유를 확실히 모른다. 이것 자체가 시대적 특징이다. 정보 네트워크는 너무 복잡해졌고, 불투명한 알고리즘의 결정과 상호컴퓨터현실에 대한 의존도가 너무 커져서 인간은 ‘왜 우리가 서로 싸우는가’라는 가장 기본적인 정치적 질무네 조차 답하기 어려워졌다.
P.490 AI는 기술적으로 힘의 균형을 전체주의에 유리하게 하는 기술일 수 있다. 실제로, 정보가 밀려들 때 인간은 압도되어 오류를 범하는 경향이 있지만, AI는 효율이 높아지는 경향이 있다. 따라서 AI는 정보와 의사결정을 한 곳에 집중하는 것을 선호하는 것처럼 보인다.
민주주의 국가에서조차 구글, 페이스북, 아마존 같은 몇몇 기업들이 해당 분야를 독점하게 된 것은 어느 정도 AI가 그런 거대 기업에 유리한 환경을 조성하기 때문이다.
P.497 장기적으로 전체주의 정권은 훨씬 더 큰 위험에 직면할 가능성이 높다. 알고리즘이 정권을 비판하는 대신 아예 장악할지도 모르기 때문이다.
(중략)
만일 21세기의 독재자가 컴퓨터에 지나치게 많은 권한을 부여한다면 그는 컴퓨터의 꼭두각시가 될 지도 모른다. 독재자가 가장 원하지 않는 것이 자신보다 힘있는 존재, 어떻게 통제해야 할지 모르는 힘이 등장하는 것이다.
P.505 컴퓨터는 아직까지 인간의 통제를 완전히 벗어나거나 스스로 인류 문명을 파괴할 만큼 강력하지 않다.
인류가 단합하는 한, AI를 통제하고 알고리즘의 오류를 찾아내 바로 잡을 수 있는 제도를 만들 수 있다. 하지만 불행히도 인류는 단합한 적이 없다. 인류는 오랫동안 악의적인 행위자들 뿐만 아니라 선한 행위자들 간의 갈등에 시달려왔다. 따라서 AI 발전이 인류의 존재 자체를 위협한다면 그것은 컴퓨터가 악의적이라서가 아니라 우리가 완벽하지 않기 때문이다.
P.517 21세기에 식민지를 지배하기 위해서는 군함을 보낼(19세기와 20세기초 제국주의 시대에 강대국들이 약소국을 위협하거나 강제로 개방시킬 때 자주 사용하던 전략 –옮긴이) 필요가 없다. 대신 데이터를 탈취해야 된다. 전세계 데이터를 수집하는 소수의 기업 또는 정부는 나머지 세계를, 노골적인 군사력이 아닌 정보를 통해 지배하는 데이터 식민지로 만들 수 있다.
P.521 정보는 다르다. 면화나 석유와 달리 디지털 데이터는 말레이시아 또는 이집트에서 베이징이나 샌프란시스코로 거의 빛의 속도로 전송할 수 있다. 또한 토지, 유정, 섬유공장과 달리 알고리즘은 많은 공간을 차지하지도 않는다. 그 결과 산업 권력과 다르게 세계 알고리즘 권력은 하나의 허브에 집중될 수 있다. 한 국가의 개발자들이 전 세계를 운영하는 모든 중요한 알고리즘의 코드를 작성하고 그 알고리즘을 제어하는 권한을 쥐게 될 지도 모른다.
P.523 실리콘 장막 건너편 정보에 접근하는 것은 점점 더 어려워지고 있다. 예를 들어 중국과 미국 사이, 러시아와 유럽 연합 사이에서 그런 일이 일어나고 있다. 게다가 양측이 사용하는 디지털 네트워크와 컴퓨터 코드는 날이 갈수록 달라지고 있다. (중국은 ‘만리방화벽’을 통해 자국 인터넷을 통제하고 있으며, 서방 국가들과 다른 기술 표준을 사용한다. -옮긴이) 각 진영을 따르는 규정도, 추구하는 목적도 다르다.
P.526 디지털 코드는 인간의 행동에 영향을 미치고 인간의 행동은 다시 디지털 코드에 영향을 미치기 때문에, 두 진영은 서로 다른 궤적을 따라 이동하며 기술뿐 만 아니라 문화적 가치, 사회 규범, 정치 구조에서도 점점 달라질 가능성이 높다. 수 세대 동안 수렴해 왔던 인류는 불기하기 시작하는 중대한 순간을 맞이한 것이다. 수 세기 동안 새로운 정보 기술은 세계화 과정을 촉진하며 전 세계 사람들을 더욱 가까워지게 했다. 하지만 역설적이게도, 오늘날의 정보 기술은 너무나 강력하게 인류를 갈라놓으려 한다. 사람들이 별 개의 정보 고치에 갇혀 서로 달라지면, 인류는 더 이상 같은 현실을 공유하지 않을 것이다. 최근 수 십년 동안의 핵심 은유가 웹이었다면, 미래의 은유는 고치가 될 지도 모른다.
P.532 이 논쟁은 유기체에 대해서만이 아니라 디지털 개체에 대한 태도에도 영향을 줄 수 있다. 사회가 물리적 육체를 중심으로 정체성을 정의하는 한, AI를 인격체로 볼 가능성은 낮다. 하지만 사회가 물리적 육체를 별로 중요하게 여기지 않는다면, 물리적 실체가 없는 AI도 다양한 권리를 누리는 법적 인격체로 받아들일 수 있을 것이다.
P.539 AI에 대한 국제적 합의를 도출하고 유지하려면 국제 시스템이 작동하는 방식에 큰 변화가 필요하다. 우리는 이미 핵무기나 생물학 무기 같은 위험한 기술을 규제한 경험이 있지만, AI 규제에는 두 가지 이유에서 이전과는 차원이 다른 신뢰와 자제력이 필요할 것이다.
P.545 전쟁이 줄어든 것은 신이 기적을 일으켜서도, 자연 법칙이 바뀌어서도 아니었다. 그것은 인간이 법, 신화, 제도를 바꾸고 더 나은 결정을 내린 결과였다. 하지만 애석하게도, 이런 변화가 인간의 선택에서 비롯 되었다는 사실은 언제든 상황이 뒤집힐 수 있다는 뜻이다. 기술, 경제, 문화는 항상 변한다. 2020년대 초인 지금, 예전보다 많은 지도자들이 다시 군사적 영광을 꿈꾸고 있고, 무력 분쟁이 빈번해지고 있으며, 국방 예산이 증가하고 있다.
P.547 하지만 이런 지도자들이 명심해야 할 것은 AI 시대에는 우두머리 포식자가 AI일 가능성이 높다는 것이다. 하지만 우리에게는 이보다 많은 선택지가 있을 것이다. 앞으로 사람들이 어떤 결정을 내릴지 예측할 수는 없지만, 나는 역사학자로서 변화 가능성을 믿는다. 역사의 중요한 교훈 중 하나는 우리가 자연스럽고 영원하다고 생각하는 많은 것들이 사실은 인간이 만들었으며 바뀔 수 있다는 것이다. 하지만 분쟁이 불가피한 것이 아니라고 안주해서는 안 된다. 오히려 그 반대다.
선택을 잘해야 할 막중한 책임이 우리에게 있기 때문이다. 이는 인류 문명이 분쟁으로 소멸한다면 그것은 어떤 자연 법칙이나 낯선 기술탓이 아니라는 뜻이다. 하지만 반대로 생각하면 우리가 노력한 경우 더 나은 세계를 만들 수 있다는 뜻이기도 하다. 이런 관점은 순진한 것이 아니라 현실주의다. 모든 오래된 것은 한때 새로운 것이었다. 역사의 유일한 장수는 변화이다.
에필로그
P.556 AI가 기존의 패턴을 깨고 진실을 우선시할 것이라는 기대할 이유는 없다. AI는 무오류의 존재가 아니다.
아직은 우리의 경험이 부족하지만, 최근 미얀마, 브라질 등지에서 일어난 충격적인 사건들에서 얻은 짧은 역사적인 관점에서 비추어 보면, AI는 강력한 자정 장치가 없을 경우 왜곡된 세계관을 조장하고, 심각한 권력 남용을 가능하게 하며, 무시무시한 마녀사냥을 선동할 수 있다.
P.557 포퓰리스트와 마르크스주의자 모두, 사람들의 견해를 바꾸려면 먼저 주권을 빼앗아야 한다고 믿는데, 그렇게 하는데는 보통 무력이 필요하다. 하지만 인간은 진실에 관심이 있으므로 적어도 일부 갈등을 대화하고, 실수를 인정하고, 새로운 아이디어를 수용하고, 우리가 믿는 이야기를 수정함으로써 평화롭게 해결할 기회가 있다. 이것이 바로 민주주의 네트워크와 과학 기관의 기본 전제다. 또한 이 책을 쓰게 된 기본적인 동기이기도 했다.
P.559 안타깝게도, 인류가 오랫동안 잘 살아가려면 자정 장치가 중요함에도 불구하고 정치인들은 자정 장치를 약화하려는 유혹에 쉽게 빠진다. 이 책 전체에 걸쳐 살펴 보았듯이 자정 장치를 무력화하는 것은 여러 부정적인 결과가 따르는 일이지만 그럼에도 불구하고 정치적으로 유리한 전략이 될 수 있다. 자정 장치가 무너지면 21세기 스탈린의 손에 막강한 힘을 쥐여줄 수 있다. AI로 강화된 전체주의 정권은 인류 문명을 파괴하기 전에 스스로 망할 것이라고 생각한다면 무모한 것이다. 정글의 법칙이 신화인 것처럼, 역사의 호가 정의를 향해 휘어진다는 생각도 신화다. 역사는 여러 방향으로 휘어져 매우 다른 목적지에 도달할 수 있는, 철저히 열려 있는 원호다. 설령 호모 사피엔스가 자멸한다해도 우주는 평소처럼 계속 돌아갈 것이다.
P.560 오히려 우리가 지혜로운 네트워크를 구축하기 위해서는 정보에 대한 순진한 관점과 포퓰리즘적 관점을 모두 버리고, 무오류성이라는 환상에서 벗어난 강력한 자정 장치를 갖춘 제도를 구축하는 힘들고 다소 재미없는 일에 전념해야 한다. 이것이 이 책의 가장 중요한 메시지가 아닐까 싶다.
P.561 자기 수정을 통한 개선은 인류 역사보다 훨씬 오래된 원리다. 그것은 자연의 기본 원리요, 유기체의 근본 바탕이다. 최초의 유기체는 어떤 오류도 범하지 않는 천재나 신에 의해 창조되지 않았으며, 복잡한 시행착오 과정을 통해 출현했다.
(중략)
이제 우리는 유기체가 아닌 이질적인 종류의 지능을 불러냈고, 이 지능은 우리의 통제력을 벗어나 우리 종뿐만 아니라 수많은 다른 생명체들까지 위험에 빠뜨릴지도 모른다. 앞으로 우리가 어떤 결정을 내리느냐에 따라 이 낯선 지능을 소환하는 것이 치명적인 실수가 될지, 아니면 생명 진화의 희망찬 새 장을 여는 시작이 될지 판가름날 것이다.
'0500_독서' 카테고리의 다른 글
| 그의 운명에 대한 아주 개인적인 생각(유시민) (1) | 2025.04.12 |
|---|---|
| 사피엔스(유발 하라리) (1) | 2025.03.30 |
| 소로와 함께한 산책(벤 세턱) (2) | 2025.02.15 |
| 자기신뢰(랠프 월도 에머슨) (2) | 2025.02.02 |
| 악의(히가시노 게이고) (4) | 2024.12.28 |