인류 문명 최대 위협에 대비하라 _스티븐 호킹
인공지능은 핵무기보다 위험하다 _일론 머스크

세상은 늘 ‘조금씩 그러다 갑자기’ 바뀐다.
기하급수적 기술 발전 상황에서 우리는 어떻게 휴머니티를 지킬 것인가?

기술은 기하급수적으로 발전하고 있을 뿐 아니라 한번 진행되고 나면 돌이킬 수 없다. 이 과정에서 인간의 고유한 존재론적 특성을 어떻게 지킬 것인가? 저자는 기계적인 알고리즘으로 쉽게 규정하거나, 파악하거나, 복제할 수 없는 인간적 특성을 안드로리즘(andronism)이라 말한다. 창의성과 연민, 상호성과 책임성, 공감 등과 같은 것들이다. 이런 특성은 기계의 놀라운 능력에 비하면 느리고, 허약하고, 비효율적으로 보여 자칫 무가치한 것으로 보일 수 있다.

하지만, 저자는 이런 것들이야말로 우리가 절대적으로 지켜야 하는 가치라 주장한다. 그것들을 잃게 되면 우리는 더 이상 인간이라 할 수 없기 때문이다. 그렇다고 기술 발전 자체를 거부하거나 반대지는 않는다. 오히려 기술 혁신은 자연스러운 것이며 그 길을 막아서는 안 된다고 강조한다. 문제는 책임 있는 균형감이다. 기하급수적 기술 발전이 그 균형감을 흐트러뜨리고 있다.

세상은 늘 ‘조금씩 그러다 어느 순간 갑자기’ 변한다. 휴머니티를 지키기 위한 인간의 노력이 계속되지 않으면 어느 날 갑자기 인류는 핵무기보다 위험한 기술의 진보 앞에서 생존 자체를 위협받을 수 있다. 휴머니티를 지키기 위해 우리는 무엇을 해야 할 것인가?
 

2030년 세상은 천국일까, 지옥일까?



미래는 우리 앞에 그냥 출현하는 것이 아니라 우리가 매일 만들어가는 것이며, 바로 이 순간 내리는 결정에 따라 변한다. 기하급수적 기술 발전으로 인류의 미래가 천국이 될지, 아니면 지옥이 될지는 전적으로 우리의 선택에 달려 있다. 그만큼 책임감 있는 우리의 선택이 중요하다. 먼저 일부 기술 대기업이 일방적으로 기술 발전을 주도해나가는 상황을 묵과해서는 안 된다. 또한 기술적으로 가능하다고 해서 무작정 실행해 나서는 것도 위험하다. 기술의 본질적 목적이 인간 행복임을 명심하고 어느 한 순간이라도 “인간이 도구를 만들지만 그 도구가 인간을 규정한다”라는 마샬 맥루한의 유명한 명제를 잊어서는 안 된다.



이를 위해 저자는 기술 변화의 속도와 수용 과정에 있어서 균형 감각과 책임 의식을 강조한다. 기술 발전은 늘 ‘조금씩 그러다 어느 순간 갑자기’ 들이닥치는 식으로 전개된다. 우리가 서서히 디지털 중독과 비만에 빠져드는 과정에서 어느 순간 자신은 알지도 못하는 사이에 돌이킬 수 없는 지점까지 가게 된다는 것이다. 저자는 인간적인 삶의 선택이나 사생활 보호의 자유조차 일부 초고소득자의 특권 내지는 사치품이 될 수 있다고 경고한다. 우리가 제대로 선택하지 못할 경우 기술 발전으로 인한 이득은 인류 전체의 번영이 아니라 특정 계층의 전유물로 전락하게 될 것이다.



기술 발전의 부작용을 최소화하기 위해서는 기술 발전으로 이익을 얻는 사람이 그 책임을 지게 만들어야 한다. 기술 발전으로 인한 부작용은 많다. 모든 것이 연결되고 노출되는 상황에서 발생할 수 있는 감시 문제나 프라이버시 침해 문제, 그리고 인류의 마지막 질환이 될 것으로 보이는 디지털 비만 문제까지 다양하다. 물론 이 같은 문제가 실제 의도했던 것은 아닐 것이다. 그렇다 하더라도 이런 문제에 대한 책임을 대중 혹은 개인에게 돌려서는 안 된다. 이는 총기 사고를 두고 “총기는 사람을 죽이지 않는다. 사람이 사람을 죽인다”라고 주장하는 것과 같다.



우리는 사물 인터넷이 전 지구로 퍼지고 있는 상황에서 다양한 엔진과 플랫폼, 인공지능 및 솔루션을 개발하여 돈을 버는 기업에 얼마나 더 큰 권한을 넘겨줄 것인지 의문을 제기해야 한다. 또한 이런 문제에 대한 보호 조치를 국제 합의나 효과적인 제재, 자율 규제나 공정한 감독 등을 통해 그 책임을 물을 수 있어야 한다.



이는 2030년을 지옥이 아닌 천국으로 만들기 위해 우리가 해야 할 최소한의 의무다.

전문가들은 현재 기술을 통해 무엇이 가능하고 그것을 어떻게 이룰 것인지를 두고 논쟁하고 있다. 하지만 한 걸음 물러나서 볼 필요가 있다. 그리고 이런 혁신 기술들이 인간성에 봉사하려면 어떤 역할을 했으면 하는지 보다 근본적인 탐구를 시작해야 한다. 무엇이든 우리가 할 수 있다고 해서 그것을 꼭 해야 하는 것은 아니다. _17쪽

인간은 현재나 과거를 바탕으로 미래를 예측하는 경향이 있다. 이런 생각은 지금까지 이롭게 작동한 것은 무엇이든 형태나 형식을 좀더 개선하면 미래에도 잘 돌아갈 거라는 가정에 기반을 둔 것이다. 하지만 지금 우리는 새로운 현실을 앞에 두고 있다. 기하급수적이고 조합적인 기술 변화의 충격이 점점 커지면서 미래는 현재의 단순 확장일 가능성이 아주 낮아졌다. 오히려 지금과는 완전히 달라질 것이다. 가정의 틀과 기반 논리가 변했기 때문이다. _27쪽


‘외장 두뇌’는 ‘나를 아는(knowing-me)’ 단계에 이어 ‘나를 대표(representing-me)’하는 단계를 지나, ‘나 자신(being-me)’이 되는 단계로 빠르게 변신하고 있다. 현실에서 이미 그런 기술적 인공물들이 우리의 디지털 복사본으로 사용되기 시작했다. 그 정도로 별로 걱정이 안 된다면 외장 두뇌가 5년 안에 100배 가까이 증폭된다고 한번 상상해보라. _33쪽

인류의 미래가 달린 중대한 결정을 자유 시장이나 벤처캐피털리스트, 혹은 기업의 기술자들이나 세계 최강의 군사 조직에 맡겨두어서는 안 된다. 이윤과 성장만을 최우선하는 산업 시대 패러다임이나, 1980년대에는 통했을 수도 있는 시대착오적인 기술 준칙에 인간성의 미래를 내맡겨서는 안 된다. 기술이 거대한 새로운 수입원과 막대 한 수익을 창출한다는 이유만으로 실리콘밸리나 세계 최강의 기술 선진국이 ‘인간성의 관제센터’가 되어서도 안 된다. _37쪽

나 또한 컴퓨터가 인간 두뇌 수준의 능력을 갖게 되는 시점이 그리 멀지 않았다고 믿는다. 하지만 커즈와일 박사와는 달리, 우리가 무한 한 비생물적 지능을 얻을 수 있는 가능성을 위해 인간성을 자진 포기해서는 안 된다고 생각한다. 그것은 아주 나쁜 거래이며 향상이 아니라 오히려 퇴보에 해당한다. _40쪽

미래를 규정해나가는 것들을 생각할 때는 기하급수성과 ‘조금씩 그러다 갑자기’라는 두 가지 요소를 이해해야 한다. 이 책의 핵심 메시지이기도 하다. ‘조금씩 그러다 갑자기’란 보잘것없는 데서 시작해서 엄청난 기회가 되거나 위협이 되는 것을 말한다. 그것은 어느 순간 갑자기 사라져 잊히고 말거나, 상상했던 것보다 훨씬 거대한 형태로 눈앞에 존재하게 될 것이다. _43쪽

기술이 기하급수적으로 좋아질 것은 분명하지만, 인간이 존재하거나 사물을 경험하는 방식과 기술이 그 순간을 포착하는 방식에는 여전히 차이가 있을 것이다. 사진이나 동영상, 데이터 기록이 아무리 최 상의 것이라 해도 실제 상황에 대한 근사치에 불과할 것이기 때문이 다. 어떤 식으로든 우리 안에는 고유한 순간의 맥락과 체화와 완결성이 존재한다. _71쪽

인간과 기계 사이에 닥칠 충돌은 다음의 10가지 대전환이 합쳐지면서 더 격해지고 기하급수적으로 증폭될 것이다. 10가지 대전환은 이렇게 명명된다.
1. 디지털화(Digitization), 2. 모바일화(Mobilization), 3. 스크린화(Screenificaion), 4. 탈매개화(Disintermediation), 5. 변형(Transformation), 6. 지능화(Intelligization), 7. 자동화(Automation), 8. 가상화(Virtualization), 9. 예견화(Anticipation), 10. 로봇화(Robotization) _78쪽

특히 정치인과 공무원, 정부 기관 등은 자동화가 야기하는 문제를 정확하게 이해해야 한다. 그래서 더 뛰어난 관리자가 되어야 한다. 지금 사회는 모두 그 방향으로 질주하고 있기 때문이다. 사려 깊은 리더십이 가장 결정적 요건이다. ‘미래의 관리자’를 이해하지 못하는 공무원은 미래를 설계할 때 도태되고 말 것이다. 이제 정치인을 뽑을 때 주요 투표 기준은 ‘현재 상황이 무엇인지(what is)’를 잘 파악하는 능력이 아니다. ‘앞으로 어떻게 될지(what might be)’ 미래를 내다볼 줄 아는 높은 이해력이 더 중요하다. _107쪽


자동화 과정은 다음과 같은 다섯 가지 누진적 악화 단계를 거쳐 진행된다.
1. 자동화(Automation)
2. 영합(Assentation)
3. 양위(Abdication)
4. 악화(Aggravation)
5. 혐오(Abomination)
_108쪽

조만간 소프트웨어가 ‘세상을 먹는’ 데만 그치는 게 아니라 점차 ‘세상을 속이려 들’ 것이다. 이미 나는 내 페이스북 뉴스피드를 볼 때마다 얼마간은 속았다는, 아니 이런 표현을 써도 될지 모르지만, 조작되고 있다는 느낌이 든다. _121쪽


인간을 기계와 확연히 구분 짓는 특징은 질문하는 능력, 뭔가 달라질 수 있다고 상상하는 능력, 비판 능력, 사물을 다른 각도에서 보는 능력, 행간을 읽는 능력, 존재하지 않는 그 무엇인가를 보는 능력 등이다. 이것이 바로 고품질의 콘텐츠, 미디어, 그리고 그것을 만드는 사람들이 지향하는 바다. _125쪽

지금 이 순간에도 다양한 영역에서 핵에너지나 핵무기보다 훨씬 더 강력한 기술을 발명하고 시험하고 있다. 기술의 빠른 진전은 불가피하다. 신기술을 발명하는 사람이 그것의 무해성을 먼저 입증하는 책임을 져야 한다. 지금 당장 이런 예방 원칙을 적용해야 한다고 지적하지만, 이런 흐름을 막을 수는 없을 것으로 보인다. _151쪽

결론은 이렇다. 마법을 팔고 난 다음 점점 강도를 높여가면서 중독성 혹은 독성을 파는 일이 디지털 시대 최대의 사업 기회가 될 것이다. 이것은 최악의 경우 정크푸드나 담배에 중독 물질을 첨가하는 것과 사실상 같다. 이런 일이 기하급수적으로 진행되는 상황에서, 다른 것에 우선해 인간 행복을 추구하는 사회에 이르려면 기술 일변도 전략은 재검토해야 하고 제한해야 한다. _178쪽

진정으로 “구글이 내 아내보다 나를 더 잘 안다”라고 생각한다면 우리는 누가 누구를 섬기는 것인지 고민해야 한다.146 인류가 디지털 비만 신세가 되어 시스템 안으로 편입되는 상황은 지금 디지털 생활을 지배하는 몇몇 주체의 숨은 의제일까, 아니면 의도하지 않은 결과일까? _192쪽

데이터는 새로운 원유다. 빅 데이터와 네트워크로 연결된 사회를 먹여 살리는 회사가 차세대 엑손-모빌이 될 것이다. 이들은 대중에게 새로운 마약을 열심히 공급한다. 각종 디지털 먹거리, 완전한 인터넷 연결, 강력한 모바일 기기, 무료 콘텐츠, 클라우드에서 봇으로 연결되는 소셜-로컬-모바일(SoLoMo) 슈퍼접착제, 지능형 디지털 비서(IDA) 등이다. 이들은 이전까지 소비자로 알려진 사용자가 그들의 플랫폼에 출석하고 참여하도록 유도하는 방식으로 실제로 사용자가 만들고 공유하는 여러 공급물을 다른 사용자에게 제공한다. _194쪽

기술의 힘이 기하급수적으로 강해지는 현대의 핵심 문제는 예방(precaution)과 전향적 대응(proaction) 사이에서 지속 가능한 균형을 찾는 일이다. 예방이란 과학적 탐구와 기술 개발의 주어진 경로에 따라 나아가기 전에 장차 무슨 일이 일어날지, 가능한 결과와 의도하지 않은 부산물까지를 포함해서 적극적으로 내다보는 것이다. 반면에 전향적 대응이란 모든 잠재적 위험과 파생 문제가 확연하게 드러나기 전까지는 기술 진보에 유리한 방향으로 나아가는 태도를 말한다. _201쪽

행복은 프로그래밍할 수 없다. 자동화하거나 판매될 수도 없다. 복제하거나 코딩 혹은 딥 러닝으로 처리할 수도 없다. 인간 내부와 인간 사이에서 발산되고 자라나야 한다. 기술은 인간을 돕는 도구로서 존재한다. 우리는 기술을 사용하는 종(species)이지, 기술이거나 기술이 되도록 운명 지어진 종이 아니다. _241쪽

윤리적 질문, 즉 목적과 의미에 관한 쟁점을 기술적 가능성과 비용의 문제보다 먼저 제기해야 한다. 앞으로 기술에 대한 주된 질문은 무엇이 실행 가능한지가 아니라 왜, 언제, 어디서, 누가 그것을 해야 하는지 여야 한다. _265쪽

기술의 개발과 실행에 관한 미래의 전략적 결정은 가능성과 비용, 규모, 이윤, 성장 기여도에만 초점을 맞출 것이 아니라 타당성과 맥락, 목적, 의미, 적실성에 더 많은 관심을 가져야 한다. ‘어떻게’를 촉구하는 질문 앞에 ‘왜’라는 질문을 둬야 한다. _296쪽

추천사: 기술을 두려워해서는 휴머니티를 지킬 수 없다 _미래작가 정지훈
옮긴이 서문: 조금씩 그러다 갑자기

서론: 기하급수적으로 모든 것을 삼키는 기술 변화에 직면한 우리는 인간성의 우위를 어떻게 유지할 수 있을까?

제1장 미래의 서곡
제2장 기술 대 인간
제3장 대전환
제4장 자동화 사회
제5장 비인간 사물인터넷
제6장 마법에서 마니아를 거쳐 중독으로
제7장 디지털 비만: 인간의 마지막 질환
제8장 예방 대 전향적 대응
제9장 우연성을 제거한 행복
제10장 디지털 윤리
제11장 지구 2030: 천국일까 지옥일까?
제12장 결정의 시간