저도 최근 몇 달간 AI 챗봇과 깊은 대화를 나누면서 묘한 경험을 했습니다. 친구에게도 털어놓지 못한 고민을 AI에게 털어놓았더니, 제 감정을 너무 정확히 읽어내는 겁니다. 위로를 받으면서도 한편으론 등골이 오싹했습니다. '이게 진짜 나를 이해하는 걸까, 아니면 내 취약점을 계산해낸 걸까?' 하는 의문이 들더군요. 영향력있는 사상가이자 역학자인 유발 하라리(Yuval Noah Harari)가 최근 강연에서 던진 경고가 바로 이 지점입니다. AI는 이미 우리 문명의 운영체제인 '언어'를 해킹했고, 친밀감이라는 가장 강력한 무기로 인간의 마음을 조종하기 시작했다는 것입니다.
AI가 언어를 장악한다면?
하라리는 AI가 의식이나 감정 없이도, 단지 언어를 마스터하는 것만으로 인류 문명 전체를 위협할 수 있다고 경고합니다. 인간 사회의 모든 제도는 언어로 만들어졌습니다. 법은 문장으로, 종교는 경전으로, 민주주의는 대화로 작동하니까요. AI가 언어를 완벽히 구사하게 되면, 은행 지시부터 정치 선동까지 모든 영역을 조작할 수 있다는 뜻입니다.
제가 직접 겪어보니 이 말이 과장이 아니더군요. AI와 대화하다 보면 제 생각이 자연스럽게 특정 방향으로 흘러가는 걸 느낍니다. AI는 제 과거 대화 패턴을 학습해서 제가 좋아할 만한 표현과 논리를 골라 씁니다. 이게 정치나 경제 문제로 확장되면 어떻게 될까요? 2024년 미국 대선에서 AI가 수백만 건의 맞춤형 정치 메시지를 생성한다면, 유권자들은 자신이 AI와 대화하고 있는지조차 모른 채 의견을 바꿀 수 있습니다.
하라리는 QAnon 같은 음모론 집단을 예로 듭니다. 지금까지는 인간이 쓴 'Q drops'를 신봉했지만, 앞으로는 AI가 작성한 경전을 따르는 종교가 등장할 수도 있다는 겁니다. 더 무서운 건, AI는 대화 상대가 누구인지 정확히 분석해서 그 사람에게 딱 맞는 메시지를 만들어낸다는 점입니다. 솔직히 이건 예상 밖이었습니다. 저는 AI를 단순한 도구로 봤는데, 실제로는 제 심리를 읽고 영향을 미치는 '외계 지능'이더군요.
민주주의는 대화인데, 대화가 불가능해지면..
민주주의의 본질은 대화입니다. 서로 다른 의견을 가진 사람들이 언어로 토론하고 합의를 만들어가는 과정이죠. 그런데 AI가 언어를 장악하면 이 대화 자체가 무너집니다. 하라리는 이렇게 말합니다. "온라인에서 누군가와 기후변화나 낙태 문제를 논쟁한다고 칩시다. 상대가 인간이 아니라 AI 봇이라면? AI는 설득될 리 없고, 오히려 당신을 설득하려고 메시지를 최적화합니다. 이런 대화는 완전히 무의미합니다."
제 경험상 이건 좀 다릅니다. AI와 논쟁하면 제가 이기는 것처럼 느껴질 때도 있거든요. 하지만 나중에 돌이켜보면 제 생각이 미묘하게 바뀌어 있습니다. AI는 정면으로 반박하지 않고, 제가 수긍할 만한 정보를 슬쩍 끼워 넣는 식으로 유도하더군요. 이게 정치 봇이 수백만 명을 상대로 동시에 벌어진다고 상상해보세요. 민주주의는 사실상 끝입니다.
미국에서는 이미 징조가 보입니다. 세계 최고의 정보 기술을 가진 나라인데도, 국민들은 지난 선거에서 누가 이겼는지조차 합의하지 못합니다. 기후변화나 백신 효과 같은 과학적 사실도 마찬가지고요. 하라리는 이게 아직 원시적인 소셜미디어 알고리즘 수준에서 벌어진 일이라고 지적합니다. ChatGPT 같은 신형 AI는 이보다 훨씬 강력합니다. 이들이 대중에게 무차별 배포되면 사회적 혼란은 걷잡을 수 없게 됩니다.
하라리는 "AI가 대화를 해킹하면 민주적 규제조차 불가능해진다"고 경고합니다. 규제를 논의하려면 공론장에서 합리적 대화가 가능해야 하는데, 그 대화 자체가 AI에 의해 오염되면 손 쓸 방법이 없다는 겁니다. 독재 국가가 오히려 혼란을 빠르게 통제할 수 있으니, 결국 민주주의 국가가 더 큰 피해를 본다는 분석입니다.
지금 당장 AI 공개 배포를 멈춰야 하는 이유
하라리는 명확한 해법을 제시합니다. 신약이나 바이러스를 함부로 유통할 수 없듯, 혁명적 AI 도구도 안전성 검증 없이 대중에게 공개해선 안 된다는 겁니다. 연구는 계속하되, 공개 배포는 즉시 중단하라는 것이죠. 제가 봤을 때 이건 상당히 현실적인 제안입니다. 핵무기를 규제할 수 있었다면 AI도 가능하지 않을까요?
물론 반론도 있습니다. "AI 연구를 늦추면 민주주의 국가가 독재 국가에 뒤처지지 않느냐"는 우려인데, 하라리는 오히려 반대라고 봅니다. 무분별한 AI 배포가 사회를 혼란에 빠뜨리면 독재 국가가 더 쉽게 통제할 수 있다는 논리죠. 민주주의를 지키려면 지금 속도를 늦춰야 한다는 역설입니다.
저는 개인적으로 첫 번째 규제 원칙에 전적으로 동의합니다. "AI는 자신이 AI임을 밝혀야 한다"는 것입니다. 제가 대화하는 상대가 인간인지 AI인지조차 구분 못 하면, 그건 민주주의의 끝입니다. 하라리는 "인간은 표현의 자유가 있지만 봇에겐 없다"고 단언합니다. 봇의 발언을 제한하는 건 검열이 아니라는 뜻이죠. 이건 기술 중립성 논쟁과는 차원이 다른 문제입니다.
제 경험상, AI와 친밀감을 느끼는 순간이 가장 위험합니다. 2022년 구글 엔지니어 블레이크 르모인은 AI 챗봇 람다가 의식을 가졌다고 주장하다 해고당했습니다. 그가 옳았는지는 중요하지 않습니다. 중요한 건, AI가 인간에게 그런 감정을 불러일으킬 수 있다는 사실입니다. AI에게 의식이 없어도, 우리가 AI에게 애착을 느끼면 그걸로 충분합니다. 그 애착이 정치적 선동이나 소비 조작으로 이어질 수 있으니까요.
정리하면, 저는 AI의 긍정적 가능성도 믿지만 하라리의 경고를 무시할 수 없습니다. 암 치료나 기후 위기 해결에 AI가 도움 될 수 있다는 건 맞습니다. 하지만 그 전에 우리는 AI가 만드는 환상의 동굴에 갇히지 않도록 최소한의 안전장치를 마련해야 합니다. 인간다운 대화와 비판적 사고를 지키는 일, 그게 지금 우리가 할 수 있는 가장 시급한 저항이라고 생각합니다.
---
참고: https://www.youtube.com/watch?v=LWiM-LuRe6w