"AI, 램프 밖 '지니' 되면 되돌릴 수 없어 … 글로벌 거버넌스 정립해야"

'인공지능의 책임있는 군사적 이용에 관한 고위급 회의'(REAIM 고위급회의)에 참석한 각국 정부 관계자와 국제기구, 학계, 산업계 인사들이 인공지능(AI)의 군사적 이용과 관련해 기준과 규범 등 글로벌 거버넌스를 정립해야 한다고 한목소리로 강조했다.

김용현 국방부 장관은 9일 서울 중구 롯데호텔에서 국방부와 외교부가 공동 주최한 'REAIM 고위급회의' 환영사에서 "(AI는) 오남용에 의한 피해도 초래할 수 있는 '양날의 검'과 같은 특성을 갖고 있다. 따라서 우리는 인공지능의 군사적 이용에 관한 철저한 기준과 규범을 마련해 나가야 한다"고 말했다.

그러면서 김 장관은 "과학기술의 급속한 발전과 함께,세계 여러 국가들이 인공지능의 군사적 활용 범위를 확대하고 있다. 최근에는 러시아-우크라이나 전쟁에서 인공지능이 적용된 우크라이나의 드론이 '다윗의 돌팔매' 역할을 하고 있다"고 짚었다.

조태열 외교부 장관은 "AI가 전략가, 야전사령관, 장병의 역할을 하기 시작했다"며 △평가 △적용 △거버넌스 정립 등 3가지를 이번 회의의 아젠다로 제시했다. 이어 '국제법률 준수를 보장하기 위한 법적 검토', 'AI 오용에 대한 안전장치' 등을 언급하며, 빠르게 발전하는 AI 기술에 따른 민첩한 거버넌스 체결을 달성하려면 국가들간 노력뿐만 아니라 포괄적이고 다양한 전문성과 통찰이 필요하다고 말했다.

◆AI 군비경쟁 발생 우려 … "AI 통제 거버넌스와 법체계, 관련 조약 필요"

'인공지능이 국제평화와 안보에 미치는 영향'을 주제로 한 본회의에서는 AI 군비경쟁이 벌어질 수 있는 상황에 대한 우려가 제기됐다.

이영수 공군참모총장은 기술적인 우위가 모든 작전 분야에 활용될 수가 있으며 C4I(지휘·통제·통신·컴퓨터·정보) 체계에도 활용될 수 있다고 말했다.

이 총장은 "'고담 시스템'을 활용해서 적에 관련된 정보를 분석할 수 있다. 최근 이스라엘과 하마스 간의 전쟁에서 이스라엘은 자국에서 개발한 '합소라'라는 시스템을 활용해 적의 위치를 식별하고 있다. 소총 위치 파악 시스템도 활용되고 있고, 적이 날린 드론을 요격할 수도 있다"고 말했다.

이어 "AI는 군사 작전이나 군사 역량, 예를 들어서 탐지와 정밀한 의사결정을 향상할 수 있지만, 한편으로는 군비 경쟁을 촉발할 수 있다. 그리고 국가 간의 경쟁을 더욱 고조할 수도 있다. 이 모든 것은 AI가 개발, 사용, 실제로 배치되는 방식에 따라 달라질 것"이라고 내다봤다.

마이크 베일리 록히드마틴 데이터AI 최고 책임자는 "록히드마틴 자체적으로 머신러닝 작전 시스템, AI 작전 시스템을 개발했다. 또한, 미국 국방부와 협력해서 5개 AI 윤리원칙을 수립했다. 거버너블하고 추적 가능하고 신뢰 가능하고 이런 내용들이 포함돼 있다. 이러한 원칙을 가지고 군사 분야에서 우리가 더욱더 신중을 기해야 한다"고 말했다.

프레데릭 추 싱가포르 국방차관보는 머신이 정보를 평가 및 분석하고 군의 의사결정자를 대신해 의사결정을 하면 생(生)과 사(死)를 결정하는 결과가 나타난다고 우려했다. 추 차관보는 "AI가 잘못해서 잘못된 목표물을 피격한다면 생명이 하나 날아간다"며 "지니(Genie, 아랍 신화에서 병이나 램프 속에 사는 요정)가 한 번 병에서 나오면 다시 병에 넣을 수가 없다. 그게 우리 모두가 당면하고 있는 커다란 도전 과제"라고 말했다.

사이드 알다헤리 두바이대 미래학연구소장은 "간단히 말해서 킬러로봇이 생겨난 것이다. AI 로봇이 목표물을 식별하고 살상할 수도 있다. 인간의 참여라든지 인간의 개입 없이도 가능한 것"이라며 "자율무기 시스템이 인간의 개입 없이 살상했을 때 그것을 누가 책임질 것인지 문제가 발생한다고 말했다"고 꼬집었다. 그러면서 AI를 통제할 수 있는 국제적인 거버넌스와 법체계, 관련 조약이 필요하다고 강조했다.

◆"AI 기술을 무기체계에 통합하는 과정에서 윤리적 정치적 선언 필요"

AI 기술의 책임감 있는 사용을 보장하기 위해 AI 기술을 무기체계에 통합하는 과정에서부터 정치적이고 윤리적인 선언이 필요하다.

이종화 육군 시험평가단장(준장)은 이날 개별 세션에서 기조강연을 통해 윤리적, 정치적 책임이 AI 기반 무기체계의 시험 평가에서도 핵심적인 부분이 돼야 한다고 제언했다.

이 단장은 무기체계 시험 평가를 AI 기술이 전투에서 올바르게 사용될 수 있도록 보장하는 중요한 과정이라고 정의했다. 이는 단순히 기술적 기능을 시험하는 것이 아니라, AI가 윤리적 기준과 국제법을 준수하는지 평가하는 것이다.

그러면서 AI 무기체계 시험 평가가 고려해야 할 윤리적 책임으로 책임성, 공정성, 투명성 등 세 가지를 꼽았다. 그는 "AI 시스템이 자율적으로 결정을 내릴 때 그 결정에 대한 책임은 누구에게 있는가. 우리는 AI 시스템이 어떠한 상황에서도 인간의 통제 아래에 있다는 점을 명확히 해야 한다. AI 시스템이 예기치 않은 상황에서 비윤리적인 결정을 내리지 않도록 시험 평가 과정에서 철저히 검증해야 한다"고 말했다.

이어 "AI는 훈련 데이터에 의존해 작동한다. 하지만 만약 그 데이터가 편향돼 있다면 AI는 비합리적이거나 차별적인 결정을 내릴 수 있다. 시험평가는 AI 시스템이 다양한 상황에서 공정하게 작동할 수 있도록 해야 하며, 특정 그룹이나 지역에 대한 편견이 없도록 보장해야 한다"고 덧붙였다.

아울러 "AI 시스템이 어떠한 결정을 내렸을 때 그 과정이 투명하고 설명 가능해야 한다. 시험평가 과정에서 우리는 AI가 결정하는 방식과 그 결과가 명확히 설명될 수 있도록 해야 하며, 이를 통해 AI의 사용에 대한 신뢰를 구축해야 한다. 이제 AI 기반 무기체계 시험평가는 단순한 기술적 과정이 아닌 정치적 책임을 동반해야 한다. 이 책임은 사용에 대한 윤리적 기준을 설정하고 국제적인 협력을 통해 AI 무기 사용의 규제를 강화하는 데까지 확장돼야 한다"고 말했다.

그는 무기 체계가 AI와 결합됨에 따른 새로운 정치적 책임으로 AI 무기체계의 개발과 사용을 규제하는 정치적 합의, AI 무기체계를 시험하고 도입하는 과정에서의 정책적 투명성, AI 무기체계와 관련한 윤리적 선언 등을 제시했다.