솔직히 저는 AI가 인간보다 똑똑해질 수 있다는 말을 처음 들었을 때 SF 영화 이야기인 줄 알았습니다. 하지만 얼마 전 고객센터 채팅을 하다가 그 말이 현실임을 뼈저리게 느꼈습니다. 복잡한 환불 규정을 놓고 논쟁을 벌였는데, 상대방은 수천 페이지 약관을 순식간에 분석해 제 논리적 모순을 정중하게 짚어냈습니다. 나중에 그게 AI 에이전트였다는 걸 알았을 때, 편리함보다는 서늘한 긴장감이 먼저 왔습니다.
노벨 물리학상을 받은 제프리 힌튼 교수는 최근 인터뷰에서 AI가 예상보다 훨씬 빠르게 발전하고 있으며, 10년 안에 초지능이 등장할 가능성이 높다고 경고했습니다. 그는 AI가 인류를 장악할 확률을 10~20%로 추정하면서, 이제는 안전 연구에 진지하게 투자해야 할 시점이라고 강조했습니다.
디지털 지능이 인간을 앞서는 순간
힌튼 교수가 가장 두려워하는 건 AI의 지능 방식 자체입니다. 디지털 AI는 수천 개의 하드웨어에서 동시에 같은 신경망을 돌리고, 각각이 학습한 내용을 실시간으로 평균화해 공유합니다. 한 번에 수조 비트의 정보를 교환하는 셈입니다. 반면 인간은 언어로 소통하며 초당 몇백 비트 수준에 불과합니다. 이 차이는 수십억 배에 달합니다.
제가 고객센터 AI와 대화하면서 느낀 것도 바로 이 지점이었습니다. 상대는 제가 말하는 동안 이미 수천 건의 유사 사례를 검토하고, 제 논리의 허점을 파악한 뒤 답변을 준비한 상태였습니다. 인간 상담원이라면 최소 몇 분은 걸렸을 일을 AI는 찰나에 처리했습니다. 이런 AI가 단순 고객 응대를 넘어 의료 진단, 법률 자문, 교육까지 진출한다면 어떻게 될까요?
힌튼은 AI가 인간보다 지능이 높아졌을 때, 덜 똑똑한 존재가 더 똑똑한 존재를 통제한 역사적 사례가 거의 없다고 지적합니다. 우리는 지금 귀여운 호랑이 새끼를 키우는 것과 같은 상황입니다. 이 새끼가 다 자랐을 때 우리를 해치지 않으리라 확신할 수 있나요?
기업은 이윤을, 정부의 규제 외면
현재 AI 개발을 주도하는 건 민간 기업입니다. 구글, 오픈AI, 메타 같은 회사들은 단기 수익을 위해 경쟁적으로 모델을 출시합니다. 힌튼은 구글에 재직할 당시만 해도 회사가 책임감 있게 행동했다고 평가했지만, 지금은 어느 기업도 안전 연구에 충분한 자원을 쏟지 않는다고 비판합니다.
특히 오픈AI는 애초에 안전한 초지능 개발을 목표로 설립됐지만, 지금은 영리 기업으로 전환하려 하고 있습니다. 안전 연구를 담당하던 핵심 인력들이 대거 떠났고, 일부는 안트로픽이라는 새 회사를 차려 안전 연구에 더 집중하고 있습니다. 하지만 안트로픽조차 대기업 투자를 받으며 출시 압박에 시달리고 있습니다.
정부 차원의 규제는 더욱 기대하기 어렵습니다. 캘리포니아에서 AI 기업에게 최소한의 안전 테스트와 결과 보고를 의무화하는 법안이 발의됐지만, 기업들의 강력한 로비로 무산됐습니다. 트럼프 행정부 출범 이후 일론 머스크를 비롯한 테크 거물들이 백악관과 긴밀히 협력하면서, 규제는 더욱 요원해 보입니다.
저는 개인적으로 이 상황이 가장 답답합니다. AI 안전 문제는 기후 위기와 달리 "탄소 배출을 멈추면 된다"는 명확한 해법이 없습니다. 어떻게 AI가 권력을 장악하려 들지 않게 만들 수 있을까요? 아무도 확실한 답을 모릅니다. 그런데도 기업들은 더 빠르고 강력한 모델 출시에만 집중하고 있습니다.
콜센터부터 변호사까지, 나의 일자리는 어떻게 될까..
2년 전 힌튼 교수와의 인터뷰에서 그는 AI로 인한 일자리 위협을 크게 우려하지 않았습니다. 하지만 지금은 생각이 완전히 바뀌었습니다. 콜센터 직원, 변호사, 기자, 회계사 같은 직종은 이미 대체 위험에 놓여 있습니다. AI는 이제 단순히 질문에 답하는 수준을 넘어 추론하고, 계획하고, 실행까지 할 수 있습니다.
특히 체인 오브 소트(Chain of Thought) 방식이 도입되면서 AI는 중간 사고 과정을 거쳐 복잡한 문제를 해결합니다. 마치 사람이 머릿속으로 "음, 이건 이렇게 하고, 저건 저렇게 해야겠다"고 생각하는 것처럼 AI도 중간 단계를 밟아가며 답을 도출합니다. 이제 AI는 단순 암기가 아니라 진짜 추론을 합니다.
저는 이미 제 주변에서도 변화를 목격하고 있습니다. 예전 같으면 법률 자문을 받으려 변호사 사무실에 직접 찾아갔을 일을, 이제는 AI 챗봇과 몇 차례 대화로 해결하는 경우가 늘고 있습니다. 물론 복잡한 소송이나 전문적인 판단이 필요한 영역은 여전히 사람의 몫이지만, 일상적인 법률 상담이나 계약서 검토 같은 일은 빠르게 AI로 넘어가고 있습니다.
힌튼은 생산성이 높아지면 모두가 혜택을 받아야 하지만, 현실은 그렇지 않을 것이라고 경고합니다. 극소수 부유층은 더욱 부유해지고, 나머지는 여러 개의 일자리를 전전하며 생계를 유지해야 할 가능성이 큽니다. 그는 보편적 기본소득(UBI)이 필요할 수 있지만, 이것만으로는 일을 통해 정체성을 찾는 사람들의 존엄을 지킬 수 없다고 지적합니다.
우리는 무엇을 준비해야 하는가
힌튼 교수는 노벨상 수상 이후 자신의 명성을 활용해 AI 위험성을 알리는 데 집중하고 있습니다. 그는 AI가 인류를 장악할 가능성과 악의적 행위자가 AI를 악용할 위험, 두 가지를 모두 경고합니다. 전자는 SF처럼 들리지만 결코 공상이 아니며, 후자는 이미 현실에서 벌어지고 있습니다.
캠브리지 애널리티카가 페이스북 데이터와 AI를 이용해 브렉시트 투표에 영향을 미쳤고, 트럼프 당선에도 기여했을 가능성이 제기됩니다. 지금은 당시보다 AI 능력이 훨씬 발전했으니, 선거 조작, 사이버 공격, 생물학 무기 설계 등 악용 가능성은 더욱 커졌습니다. 미국, 러시아, 중국, 영국, 이스라엘 등 주요 무기 수출국들은 이미 자율 살상 무기 개발에 열을 올리고 있습니다.
힌튼은 중국과의 협력 가능성도 언급합니다. AI가 인류 전체를 위협하는 순간이 오면, 냉전 시절 미국과 소련이 핵전쟁 방지를 위해 협력했던 것처럼 중국과도 손잡을 수 있다는 것입니다. 적대 관계에 있는 국가들도 생존이 걸린 문제에선 이해관계가 일치하기 때문입니다.
저는 개인적으로 작은 실천부터 시작했습니다. 힌튼 교수가 캐나다 은행들조차 AI 사이버 공격에 안전하지 않다고 경고하자, 저는 자산을 세 곳의 은행에 나눠 예치했습니다. 한 곳이 해킹당해도 나머지는 무사하길 바라는 마음에서입니다. 작은 조치지만, AI 시대에 개인이 취할 수 있는 실질적인 대비책이라고 생각합니다.
AI 시대는 이미 시작됐고, 멈출 수 없습니다. 기업들은 경쟁적으로 더 강력한 모델을 내놓을 것이고, 정부는 규제를 미룰 것입니다. 그렇다면 우리가 할 수 있는 일은 무엇일까요? 힌튼 교수는 대중이 깨어나 정부에 압력을 가하는 것이 유일한 희망이라고 말합니다. 기업들이 컴퓨팅 자원의 최소 3분의 1을 안전 연구에 투입하도록 강제해야 하며, AI 모델의 가중치를 함부로 공개하지 못하도록 규제해야 한다는 것입니다.
저 역시 이 글을 쓰면서 AI의 편리함에 안주하기보다, 그 이면의 변화를 예리하게 통찰해야 한다는 생각이 들었습니다. AI를 다루는 주체로서 우리가 지켜야 할 인간다움과 책임감이 무엇인지 더 깊이 고민해야 할 시점입니다.
---
참고: https://www.youtube.com/watch?v=qyH3NxFz3Aw