생성 AI 기술을 활용해 가까운 사람의 목소리를 모방하고 이를 통한 범죄(사기 전화)가 늘어나고 있다.

글로벌 IT 매체인 테크 플로어는 최근 딥페이크와 같은 생성 AI 기술을 이용한 범죄가 확산되고 있다고 보도했다.

테크 플로어에 따르면 지난 몇 년 동안 딥페이크는 배우 엠마 왓슨의 모습이 페이스북과 인스타그램의 선정적인 광고에 사용되는 등 여러 가지 유명한 사건으로 악명을 떨쳤다. 또한 볼로디미르 젤렌스키 우크라이나 대통령이 등장해 우크라이나 국민에게 "무기를 내려놓으라"고 말하는 동영상도 널리 공유되었다가 반박된 바 있다.

이제 사람의 목소리를 사실적으로 복사하는 오디오 딥페이크 제작 기술이 점점 더 보편화되고 있다. 사람의 목소리를 사실적으로 모사하려면 알고리즘을 훈련할 데이터가 필요하다. 즉, 의도한 대상의 목소리를 녹음한 오디오를 많이 확보해야 한다. 알고리즘에 입력할 수 있는 사람의 목소리 예시가 많을수록 최종 카피가 더 좋고 설득력 있게 만들어진다.

우리 중 많은 사람들이 이미 인터넷에서 일상의 세부 사항을 공유하고 있다. 즉, 사실적인 음성 카피를 만드는 데 필요한 오디오 데이터는 소셜 미디어에서 쉽게 구할 수 있다.

딥페이크 알고리즘을 사용하면 데이터를 소유한 사람이 '나'를 원하는 대로 말하게 만들 수 있다. 실제로 텍스트를 써서 컴퓨터가 내 목소리처럼 들리도록 하는 것만큼 간단할 수 있다.

이 기능은 오디오를 통한 잘못된 정보 및 허위 정보의 확산을 증가시킬 위험이 있다. 젤렌스키의 '동영상'에서 볼 수 있듯이 국제적 또는 국내 여론에 영향을 미치려는 시도에 사용될 수 있다. 이러한 기술의 보편화와 가용성은 심각한 문제를 야기하고 있으며, 특히 'AI 사기 전화'의 증가 추세에서 더욱 그러하다.

예를 들어 컴퓨터가 손상되었으니 즉시 로그인해 발신자에게 데이터에 대한 액세스 권한을 부여해야 한다는 사기 또는 피싱 전화를 받는 경우가 종종 있을 것이다. 발신자가 낯선 사람의 목소리로 무엇인가를 요청하는 경우에는 사기라는 것을 쉽게 알아차릴 수 있다. 하지만 이제 전화 상대방의 목소리가 낯선 사람이 아니라 친구나 사랑하는 사람의 목소리와 똑같이 들린다면 많은 사람들이 범죄의 피해자가 될 가능성이 크다.

CNN이 최근 한 어머니가 모르는 번호로 걸려온 전화를 받은 사건을 보도했다. 전화를 건 사람은 딸이었다. 딸은 납치범들에게 납치를 당했으며, 몸 값을 지불해야 풀려날 수 있다고 말했다. 하지만 실제로 소녀는 무사했다. 사기범들은 딸의 목소리를 딥페이크한 것이었다.

"가상 납치 사기"라는 용어는 몇 년 전부터 사용되어 왔으며, 그 자체로 새로운 사기는 아니다. 사기범은 속임수가 발각되기 전에 피해자가 빠르게 몸값을 지불하도록 유도하기 위해 의심의 여지가 없는 규정 준수를 시도한다. 또한 AI 기술이 등장하면서 그 수법이 더욱 지능화되었다.

익명의 발신자에게 전화를 끊는 것은 별개의 문제이지만, 자녀나 배우자와 똑같이 들리는 사람의 전화를 끊으려면 판단력에 대한 확신이 필요하다.

딥페이크를 식별하는 데 사용할 수 있는 소프트웨어가 존재한다. 스펙트로그램이라는 소프트웨어는 오디오의 시각적 표현을 생성한다. 통화를 들을 때는 실제 사람과 구분이 불가능해 보일 수 있지만, 스펙트로그램을 나란히 분석하면 음성을 구분할 수 있다.

한 인공지능 전문가는 “대부분의 사람들이 스펙트로그램 소프트웨어를 사용하기 어렵기 때문에 이러한 이러한 전화를 받았을떼, 회의적인 입장을 취해야 한다”고 말했다. 또한 그는 “AI의 기능이 확장됨에 따라 현실과 허구의 경계는 점점 더 모호해질 것”이라며 “이는 사람들이 모든 상황에 더욱 신중해져야 한다는 것을 의미한다”고 덧붙였다.