홍콩 경찰이 최근 인공지능(AI) 딥페이크 사기 사례를 공개하며 주의를 당부했다고 홍콩 사우스차이나모닝포스트 (SCMP)와 CNN이 보도했다.

다국적 기업의 재무 담당자는 지난 1월 중순에 본사 최고 재무책임자(CFO) 명의로 발송된 이메일을 받았다. 초기에는 의심스러웠지만, 이후 초대된 화상 회의에서 실제 CFO로 보이는 얼굴과 목소리를 확인하고 약 340억원의 자금을 이체했다. 그러나 확인한 CFO의 얼굴과 목소리는 딥페이크로 합성된 것이었다.

딥페이크 기술은 음란물 합성이나 성범죄, 사진 도용, 허위 사실 유포와 같은 범죄에 활용되어 왔으나 최근에는 금융 피싱 범죄로도 확대되고 있다.

기술의 발전으로 소량의 이미지와 음성만으로도 실제 인물과 유사한 영상 합성이 가능해지고 있으며, 이에 필요한 비용과 컴퓨터 자원도 줄어들고 있어 대중화가 진행되고 있다.

이러한 대중화 과정에서는 테일러 스위프트나 바이든 미국 대통령의 음성 등을 합성한 딥페이크로 인한 사회적 논란이 빈번하게 발생하고 있다.

기업들은 생성 AI의 활용을 대응하기 위해 꼬리표를 다는 방식으로 나서고 있다. 챗GPT 개발사인 오픈AI는 자사 이미지 생성 AI로 생성된 이미지에 디지털 표식을 붙이기로 발표했다. 또한, 구글과 메타도 유사한 디지털 워터마크를 활용할 계획을 공개했다.

삼성전자도 갤럭시 S24 시리즈에 도입한 생성 AI 이미지 편집 기능을 통해 이미지에 식별 가능한 마크를 추가했다. 하지만, 일부 디지털 마크는 삭제나 위변조가 가능한 한계가 있다.

이와 함께 각국 정부도 딥페이크를 비롯한 생성 AI에 대한 규제 논의에 속도를 내고 있다.

바이든 미국 대통령이 서명한 지난해 첫 인공지능 행정명령에는 인공지능 생성물의 여부를 알 권리가 포함됐다. 또 최근의 딥페이크 범죄 사건 후 백악관이 규제 강화 필요성을 강조하고 입법을 촉구하기도 했다. 또 13개 주 정부도 딥페이크 선거 운동을 금지하는 제도 도입을 추진 중이다.

유럽 연합도 지난해 합의한 AI 법에서 AI 생성 여부 공개 의무가 담겼다.

한국은 '성폭력범죄의 처벌 등에 관한 특례법'으로 딥페이크 성범죄물을 처벌하는 규제가 도입됐다. 최근에는 공직선거법이 개정돼 딥페이크 영상을 활용한 선거 운동이 금지됐다. 선관위는 60여명 규모의 모니터링 전담반을 꾸려 단속에 나섰다.