이스라엘 방위군이 가자지구 하마스와의 전쟁에서 목표물을 선정하기 위해 합스소라("복음"의 히브리어)라고 불리는 인공지능 시스템을 사용하고 있는 것으로 알려지고 있다. 

이 시스템은 더 많은 폭격 목표물을 찾고, 하마스 조직원들과 장소를 연결하고, 민간인 사망자 수를 미리 추정하는데 사용됐다.

이와 같은 AI 표적 시스템이 충돌에 사용되는 것은 무엇을 의미할까?

원격 및 자율 시스템의 군사적 사용의 사회적, 정치적, 윤리적 의미에 대한 더컨버세이션 연구는 AI가 이미 전쟁의 성격을 바꾸고 있음을 보여줬다.

군대는 그들의 군대의 영향력을 증가시키고 그들의 병사들의 생명을 보호하기 위해 원격적이고 자율적인 시스템을 "전력 승수"로서 사용한다.

인공지능 시스템은 병사들을 더 효율적으로 만들 수 있다. 심지어 인간이 전장에서 덜 보이게 될 때에도, 대신에, 정보를 모으고 멀리서 목표를 설정하면서, 전쟁의 속도와 치사율을 향상시킬 가능성이 있다.

군대가 그들의 군인들에 대한 위험이 거의 없이 마음대로 죽일 수 있을 때, 전쟁에 대한 현재의 윤리적인 생각이 우세할까?

아니면 인공지능의 증가하는 사용이 또한 적대자들의 비인간화와 전쟁과 그들이 싸우는 사회들 사이의 단절을 증가시킬까?

전쟁 중인 인공지능

AI는 IDF의 합스소라 시스템과 같은 '지능·감시·정찰' 지원에서부터 인간의 개입 없이 목표물을 선택하고 공격할 수 있는 '치명적인 자율무기 시스템'에 이르기까지 모든 수준의 전쟁에 영향을 미치고 있다.

이 체계들은 전쟁의 성격을 재구성하여 분쟁에 더 쉽게 들어갈 수 있는 잠재력을 가지고 있다.

복잡하고 분산된 체계로서, 그것들은 또한 갈등이 고조되는 상황에서 한 사람의 의도를 나타내거나 혹은 상대의 의도를 해석하는 것을 더 어렵게 만들 수 있다.

이를 위해 AI는 전쟁 시 위험한 오해를 만들고 증폭시키는 오보 또는 허위 정보에 기여할 수 있다.

AI 시스템은 기계의 제안을 신뢰하는 인간의 경향을 증가시킬 수 있다(이는 신의 절대적인 말에서 이름을 따온 합스소라 시스템에 의해 강조됨).

다른 기술 및 사람과 상호 작용하는 AI 시스템의 경계가 명확하지 않을 수 있으며, 아무리 객관적이고 합리적으로 보이더라도 누가 또는 무엇이 그 결과물을 ‘저작’했는지 알 수 있는 방법이 없을 수 있다.  

고속의 머신러닝

아마도 우리가 인공지능에 의해 이끌려 볼 수 있는 가장 기본적이고 중요한 변화 중 하나는 전쟁의 속도의 증가일 것이다.

이것은 인간이 전쟁에서 정보와 상호작용의 주요 행위자이자 원천이라고 가정하는 군사적 억제를 이해하는 방식을 바꿀 수 있다.

군인들은 (관찰, 방향, 결정, 행동을 위해) OODA 루프라고 불리는 것을 통해 의사결정을 한다.

OODA 루프가 빨라지면 적을 무찌를 수 있다. 목표는 과도한 숙고를 통해 의사결정의 속도를 늦추는 것을 피하고, 대신에 가속화되는 전쟁의 속도를 맞추는 것이다.

따라서 AI의 사용은 엄청난 양의 데이터를 해석하고 합성하고 처리하고 인간의 인지를 훨씬 능가하는 속도로 출력을 제공할 수 있다는 기반 위에서 잠재적으로 정당화된다.

그러나 점점 더 빠르고 데이터 중심의 OODA 루프 사이클에서 전투로부터 안전한 거리에서 윤리적인 심의를 할 수 있는 공간은 어디에 있을까?

이스라엘의 표적 소프트웨어가 이 가속화의 한 예다.

전직 IDF 대표는 인간 정보 분석가들이 가자에서 “매년 50개의 폭격 목표물을 생산할 수 있지만 합스소라 시스템은 하루에 100개의 목표물을 생산할 수 있고 어떤 목표물을 공격할지에 대한 실시간 추천도 가능하다”고 말했다.

시스템은 어떻게 이러한 목표를 생성할까? 그것은 기계 학습 알고리즘이 제공하는 확률론적 추론을 통해 그렇게 한다.

기계 학습 알고리즘은 데이터를 통해 학습한다. 그들은 거대한 데이터 더미에서 패턴을 찾아 학습하고, 그들의 성공은 데이터의 질과 양에 달려 있다.

그들은 확률에 따라 추천을 한다.

확률은 패턴 매칭에 기초한다. 만약 한 사람이 적 전투원으로 분류된 다른 사람들과 충분히 유사하다면, 그들은 그들 자신도 전투원으로 분류될 수 있다.

AI가 원거리 타겟팅을 가능하게 하는 문제

일부는 기계 학습이 목표물을 더 정확하게 설정할 수 있게 해주고, 이것은 무고한 사람들을 해치는 것과 비례적인 양의 힘을 사용하는 것을 피하기 쉽게 해준다고 주장한다.

그러나, 세계적인 테러와의 전쟁으로 인해 신고되거나 신고되지 않은 민간인 사상자의 높은 사망률이 보여주듯이, 공습을 더 정확하게 목표물로 한다는 생각은 과거에 성공적이지 않았다.

게다가 전투원과 민간인의 차이는 자명한 것이 거의 없다. 심지어 인간도 전투원이 누구인지, 누구인지 구분하지 못하는 경우가 많다.

기술이 이 기본적인 진리를 바꾸지는 못한다. 사회적 범주와 개념은 객관적이지 않고, 시간과 장소에 따라 경쟁하거나 특정한 경우가 많다.

하지만 알고리즘과 함께 컴퓨터 비전은 개념이 객관적이고, 비교적 안정적이며, 내적으로 일관성이 있는 예측 가능한 환경에서 더 효과적이다.

AI가 전쟁을 더 악화시킬까?

우리는 불공정한 전쟁과 군사적 점령, 교전 규칙의 터무니없는 위반, 그리고 미중 경쟁에 직면한 초기 군비 경쟁의 시대에 살고 있다.

이런 맥락에서 전쟁에 AI가 포함되면 새로운 복잡성이 발생해 피해를 예방하기는커녕 악화시킬 수도 있다.

인공지능 시스템은 전쟁 중인 행위자들이 익명으로 있는 것을 더 쉽게 만들고 폭력의 근원이나 그것을 초래하는 결정을 보이지 않게 만들 수 있다.

결국, 우리는 군대, 군인, 그리고 민간인 사이의 증가하는 단절과 그들이 복무하는 국가의 이름으로 전쟁이 일어나는 것을 볼 수 있다.

그리고 전쟁에서 AI가 보편화됨에 따라, 군대는 AI를 약화시키기 위한 대응책을 개발해 군사화를 고조시키는 고리를 만들 것이다.

우리는 학습 알고리즘에 의해 뒷받침되는 기술에 대한 증가하는 의존도에 의해 전쟁이 주도되는 미래를 막기 위해 AI 시스템을 제어할 수 있을까?

특히 법과 규정을 통해 모든 영역에서 AI 개발을 제어하는 것은 어려운 것으로 입증됐다.

많은 사람들이 머신러닝을 기반으로 하는 시스템을 설명하기 위해서는 더 나은 법칙이 필요하다고 제안하지만, 이마저도 간단하지 않다.

머신러닝 알고리즘은 규제하기 어렵다.

인공지능이 가능한 무기들은 확실성에 대한 법적인 요구사항들을 피하면서, 그들 자신을 프로그래밍하고 업데이트할 수 있다.

공학적인 격언 "소프트웨어는 절대로 하지 않는다"는 말은 그 법이 기술적인 변화의 속도와 결코 일치하지 않을 수도 있다는 것을 암시한다.

합스소라 제도가 하는 민간인 사망 가능성을 사전에 추정하는 정량적 행위는 타깃팅의 질적 차원에 대해 우리에게 많은 것을 알려주지 못한다.

합스소라와 같은 고립된 제도는 파업이 윤리적인지 합법적인지(즉, 다른 고려 사항 중에서 비례적인지, 차별적인지, 필요한지)에 대해 실제로 우리에게 많은 것을 말해주지 못한다.

인공지능은 민주적인 이상을 훼손하는 것이 아니라 그것들을 지지해야 한다. 우리가 다양한 군사적 관행에 인공지능을 적용할 계획이라면 정부, 기관 및 군대에 대한 신뢰가 약화되고 있으며 회복될 필요가 있다.

우리는 새로운 기술과 그 영향을 조사하기 위해 비판적인 윤리적 및 정치적 분석을 배치해 어떤 형태의 군사 폭력도 최후의 수단으로 간주돼야 한다.

그 전까지는 머신러닝 알고리즘이 표적화 관행과 별개로 유지되는 게 최선이다. 안타깝게도 세계 군대는 정반대 방향으로 나아가고 있다.