국무부 의뢰로 AI 최고경영진 등 200여명 인터뷰해 작성
AI로 인한 재앙적 국가안보 위험 경고…“정부 개입해야”

빠르게 진화하는 인공지능(AI)이 인류에 멸종급 위협이 될 수 있다는 경고가 미국에서 나왔다.

12일(현지시간) 미국 CNN방송에 따르면 AI 정책 조언 등을 제공하는 민간 업체 글래드스톤 AI는 미국 국무부의 의뢰로 작성해 이번 주 발표한 보고서에 이같은 내용을 담았다. 미국 연방 정부가 재앙을 피할 수 있는 시간이 얼마 남지 않았다는 경고도 포함했다.

보고서는 주요 AI 기업의 최고 경영진, 사이버 보안 연구원, 대량살상무기(WMD) 전문가, 국가안보 정부 당국자 등 200여명을 1년여에 걸쳐 인터뷰한 내용을 토대로 작성됐다.

이에 대해 글래드스톤 AI 측은 챗GPT 개발사인 오픈AI, 구글 딥마인드, 페이스북 모회사인 메타, 앤트로픽 등 주요 빅테크 기업의 기술 및 리더십 팀과 이야기를 나눴다고 밝혔다.

또 일론 머스크, 리나 칸 미국 연방거래위원회(FTC) 위원장 등 AI로 인한 실존적 위험에 대해 경고해온 저명인사들도 보고서에 언급했다.보고서는 AI가 제기할 수 있는 위협을 크게 두 가지로 정리했다.

우선 최첨단 AI 시스템이 향후 돌이킬 수 없는 피해를 가할 가능성이 있는 무기로 전용될 가능성을 우려했다. 보고서는 경쟁 압박으로 인해 기업들이 안전과 보안을 희생하면서까지 AI 개발을 가속화하고 있다며 무기화 가능성 등을 경고했다.

다음으로는 어느 시점이 되면 인간이 개발 중인 AI 시스템에 대한 통제력을 상실해 잠재적으로 세계 안보에 파괴적인 결과를 초래할 수 있음을 꼽았다. 보고서는 “AI와 AGI(범용인공지능)의 부상은 핵무기 도입을 연상시키는 방식으로 세계 안보를 불안정하게 할 가능성이 있다”며 AI 군비 경쟁과 분쟁, 대량살상무기 규모의 치명적인 사고의 위험이 있다고 예상했다.

경쟁 압박 속에 각 기업은 떠밀리듯 안전과 보안을 장담할 수 없는 AI 개발을 가속하고 있으며, 이로 인해 AI 체계가 미국에 반하는 방식으로 무기화하거나 절취될 수 있다고 봤다.

그러면서 이러한 위협에 대응하기 위해 “미국 정부의 개입 필요성이 매우 분명하고 긴급하다”고 보고서는 촉구했다. 아울러 새로운 AI 감독 기관 및 긴급 규제 안전장치 마련, AI 모델 훈련에 사용할 수 있는 컴퓨터 성능을 제한 등을 방안으로 제시했다.

글래드스톤 공동 설립자이자 최고경영자(CEO)인 제러미 해리스는 CNN에 “AI는 이미 경제적으로 혁신적인 기술”이라면서 “하지만 또한 우리가 알아야 할, 재앙적인 위험을 포함한 심각한 위험을 가져올 수 있다”고 지적했다.

그는 “세계 최고의 AI 회의들에서 발표된 경험적 연구와 분석을 포함해 늘어나는 증거들은 특정 능력의 한계점을 넘어서면 AI가 잠재적으로 통제할 수 없게 될 수 있음을 시사한다”고 말했다.글래드스톤 AI에 따르면 AI 기업들의 일부 직원들도 사석에서 비슷한 우려를 공유하고 있다.

보고서는 “한 유명한 AI 연구소의 한 직원은 특정 차세대 AI 모델이 오픈 액세스로 나온다면 끔찍하게 나쁠 것이라는 견해를 밝히기도 했다”며 “이 모델의 잠재적인 설득 능력이 선거 개입이나 유권자 조작 같은 분야에 사용될 경우 민주주의를 파괴할 수 있다는 점 때문”이라고 전했다.

보고서에 따르면 AI 전문가들은 올해 AI로 인한 사고(AI incident)가 전 세계적으로 돌이킬 수 없는 영향을 미칠 가능성을 4%에서 최대 20%까지로 추정했다. 보고서는 다만 이 같은 추정치는 비공식적이며 상당히 편향된 것일 가능성도 있다고 밝혔다.

이제 관건은 AI가 얼마나 빠르게 진화하느냐다.

보고서는 특히 인간과 유사하거나 인간의 역량을 넘어서는 학습 능령을 지닌 AGI의 진화 속도에 주목했다. AGI의 경우 인간이 통제력을 잃는 재앙적인 상황을 촉발할 주된 요인이 될 수 있다는 것이다.

보고서는 “AGI는 통제력 상실로 인한 재앙적 위험의 주요 요인으로 간주되고 있다”며 오픈AI, 구글 딥마인드, 앤트로픽, 엔비디아는 모두 2028년까지 AGI에 도달할 수 있다고 공개적으로 밝혀왔다고 덧붙였다.

아울러 AI 체계가 향후 주요 인프라를 마비시킬 역량을 갖춘, 타격이 큰 사이버 공격을 시행하는 방향으로 고안될 수 있으며, 가짜 정보 캠페인이나 심리적 조작에 악용되거나 인간에게 적대적인 권력에 부합하는 통제 불가능한 방향으로 발달할 수 있다고 경고했다.

CNN은 이날 보고서를 보도하며 향후 30년 이내에 AI가 인류 멸종을 이끌 가능성이 10%가량 된다는 ‘AI 대부’ 제프리 힌튼의 발언도 함께 전했다. 힌튼을 비롯한 AI 산업 저명 인사들은 지난해 6월 AI로 인한 인류 멸종 위험을 완화해야 한다는 성명을 낸 바 있다.