사이버 보안 전문가들은 챗GPT와 같은 생성 AI 도구의 등장이 사이버 범죄자들이 더 설득력 있는 정교한 사기를 만드는 데 도움을 주고 있다고 경고했다.

PA통신은 챗GPT가 출시 1주년을 맞아 업계의 많은 전문가들이 이 기술을 온라인의 나쁜 행위자들이 활용하고 있다고 했다고 보도했다.

그들은 텍스트와 이미지 생성을 위한 생성 AI 도구가 범죄자들이 설득력 있는 사기를 더 쉽게 만들 수 있게 만들지만, AI가 등장하면서 진화하는 위협을 식별하는 데 도움을 줌으로써 사이버 방어를 향상시키는 데 사용되고 있다고 전했다.

이달 초 영국의 AI 안전 정상회의에서 세계 지도자들이 이 문제에 대해 함께 협력하기로 합의하면서 AI에 의해 구동되는 더 정교한 사이버 공격의 위협이 향후 주요 위험으로 부각됐다.

영국의 국가 사이버 보안 센터(NCSC)도 AI를 이용하여 허위 정보를 생성하고 확산하는 것을 앞으로 수년간, 특히 선거를 둘러싼 주요 위협으로 강조했다.

사이버 보안 회사 노우비4(KnowBe4)의 보안 인식 담당자인 제임스 맥퀴건은 PA통신에 “생성 AI와 이를 작동시키는 큰 언어 모델(LLM)의 영향이 이미 감지되고 있다”고 말했다.

또한 그는 "챗GPT는 위협 환경, 오픈 소스 조사, 사이버 보안 전반에 혁명을 일으켰다"고 덧붙였다.

맥퀴건에 따르면 사이버 범죄자들은 대규모 언어 모델을 활용해 적절한 문법과 철자 오류가 없는 잘 작성된 문서를 생성해 공격 수준을 높이고 보안 인식 프로그램에서 가르치는 가장 큰 위험 요소 중 하나인 ‘잘못된 문법과 철자 오류’가 소셜 엔지니어링 이메일 또는 피싱 공격을 가리킨다는 개념을 방지한다.

그는 "놀랍게도 다양한 스타일의 피싱 공격이 증가하면서 기업과 소비자 모두에게 어려움을 주고 있다”고 전했다.

또한 그는 "생성 AI가 설득력 있는 프로필 사진, 흠 잡을 데 없는 텍스트, 심지어 악성코드를 만드는 기술적 장벽을 낮추는 가운데, 챗GPT와 같은 AI와 대규모 언어 모델은 점점 더 많은 규모의 더 설득력 있는 피싱 메시지를 만드는 데 사용되고 있다"고 덧붙였다.

차세대 생성 AI 모델은 내년부터 등장할 것으로 예상되는데, 전문가들은 현재 세대 모델보다 훨씬 더 능력이 뛰어날 것으로 예측하고 있다.

사이버 보안 회사 아웃포스트24의 위협 정보 운영 책임자인 보르하 로드리게스는 “나쁜 행위자들의 잠재적인 미래의 인공지능 사용을 전망하면서 해커들이 그들을 위해 악성 코드를 작성하기 위한 인공지능 도구를 개발할 수 있다”고 우려했다.

그에 따르면 현재 깃허브(GitHub)의 코파일럿과 같은 도구들은 개발자들이 자동으로 코드를 생성할 수 있도록 도와준다.

또한 그는 "그렇게 멀지 않은 곳에서 누군가는 악성 코드, 스크립트, 백도어 등을 만드는 데 도움을 주고, 기술적 지식이 낮은 스크립트 어린이(초보 해커)들이 과거에는 할 수 없었던 일을 달성할 수 있도록 돕기 위해 유사한 도구를 만들 수 있다”고 덧붙였다.

그는 "이러한 도구는 지하 커뮤니티가 별다른 전문 지식 없이도 복잡한 공격을 실행하는 데 도움이 돼 실행하는 사람들의 기술 요구 사항을 낮출 수 있다"고 경고했다.

전문가들은 생성 AI의 발전 속도와 향후 몇 년 동안 기술의 일반적으로 알려지지 않은 잠재력이 주변에 불확실성을 만들었다고 주장했다.

많은 정부와 세계 지도자들이 인공지능을 잠재적으로 규제하는 방법에 대한 논의를 시작했지만, 기술의 가능성에 대해 더 많이 알지 못하면 성공적인 규제는 불가능할 것이다.

카토 네트웍스(Cato Networks)의 보안 전략 책임자인 이타이 마오르는 “대량의 텍스트 데이터에 대해 교육을 받는 대규모 언어 모델과 이를 프로그래밍하는 방법에 대해 신뢰 문제가 여전히 중요하다”고 말했다.

또한 그는 "대규모 언어 모델들을 둘러싼 흥분이 보다 균형 잡힌 시각으로 정착되면서, 그들의 장점과 한계를 모두 인정하는 것이 절실해졌다. 사용자는 대규모 언어 모델의 성능에도 불구하고 오류가 발생하지 않는다는 것을 인식하고 신뢰할 수 있는 출처에서 중요한 정보를 확인해야 한다”고 덧붙였다.

전문가들은 챗GPT와 바드 같은 대규모 언어 모델들이 이미 풍경을 재구성했다고 전했다.

그러나 업계에서는 이러한 도구가 어디에서 정보를 출처하고 완전히 신뢰할 수 있는지에 대한 이해에 어려움을 겪고 있기 때문에 여전히 불확실성이 남아 있다고 한다.