유튜브(YouTube)는 구글(Google)의 딥마인드(DeepMind)와 새로운 리리아(Lyria) 대형 언어 모델(LLM)과 협력하여 개발 중인 새로운 인공지능 음악 기능을 만들기 위해 실험하고 있다.

이러한 실험에는 유튜브 쇼츠(YouTube Shorts)와 인공지능 음악 창작 도구를 위한 인공지능 생성 사운드트랙(Soundtrack) 기능이 포함되며 여러 유명 가수와 음악 아티스트의 지원과 협업으로 만들어졌다.

데미 로바토는 성명서에서 "인공지능 기술의 발전은 우리가 풍경을 탐색하는 방식을 빠르게 바꾸고 있고 저는 예술가로서 우리가 그 미래가 어떻게 보이는지 형성하는 데 일부가 될 필요가 있다고 믿는다"고 말했다.

또한 그는  "제 경력은 제 팬들을 위해 가장 흥미로운 음악의 경계를 허물고 만드는 것이었다. 저는 열린 마음이고 구글과 유튜브와의 이 실험이 긍정적이고 계몽적인 경험이 될 것이라고 희망한다"고 덧붙였다.

유튜브 AI 뮤직

첫 번째 프로젝트는 드림 트랙(Dream Track)이라고 불리는 유튜브 쇼츠 실험이다. 소규모 창작자 그룹이 참여하는 아티스트의 인공지능 시뮬레이션 음성을 특징으로 하며 그들의 비디오를 위한 맞춤형 30초 사운드 트랙을 생성할 수 있다.

사용자들은 단순히 프롬프트를 입력하고 선택 사항에서 아티스트를 선택한다. 유튜브 관계자는 “딥마인드의 리리아 음악 모델이 그 기능을 작동시킨다”고 말했다. 회사는 드림 트랙을 인공지능이 아티스트와 팬 사이의 더 깊은 연결을 촉진할 수 있는 방법을 탐구하기 위한 초기 단계로 포지셔닝했다.

다른 프로젝트는 텍스트와 사운드로 음악을 생성하는 것을 포함하는 새로운 뮤직 AI 툴(Music AI Tools)을 만들었다. 그들은 작곡가와 프로듀서가 허밍 멜로디를 사용하거나 자연 언어 프롬프트를 사용해 아이디어를 음악으로 빠르게 전환할 수 있도록 설계됐다.

예를 들어, 사용자들은 팝송을 레게톤 스타일로 변환하도록 요청할 수 있다.

유튜브 글로벌 음악 책임자이자 이머징 익스피리언스 & 커뮤니티 제품 부사장인 리오르 코헨과 토니 리드가 블로그 게시물에서 "AI의 출현은 음악을 새로운 크리에이티브 시대의 정점에 이르게 했다. 수많은 회사들이 그들의 AI 접근방식을 계획함에 따라, 우리는 우리의 것이 파트너십과 책임에 의해 정의되기를 원한다”고 밝혔다.

또한 그는 “그것이 우리가 올해 초에 발표된 일련의 AI 음악 원칙과 책임 있는 협업에 뿌리를 둔 음악 AI 인큐베이터를 개발한 이유다. 그 이후로, 우리는 AI가 아티스트, 작곡가, 프로듀서 및 파트너와 함께 창의성에 힘을 실어줄 수 있는 가능성을 모색하는 동시에 이의 과제를 확인할 수 있었다"고 설명했다. 

게시물에 따르면 이 실험들은 AI 기능의 잠재력을 탐색하여 아티스트와 크리에이터가 그들의 상상력을 확장하고 창작 과정을 확장하도록 돕는다.

유튜브 관계자는 “아티스트와의 이러한 협력 실험이 음악 커뮤니티에서 AI의 창의적 잠재력을 책임감 있게 개발하는 데 도움이 된다”고 말했다.

유튜브가 음악 AI 채택을 위한 원칙과 지침을 형성하기 때문에 그들은 조기 테스트를 제공한다. 회사는 AI의 기회가 저작권, 귀속 및 책임 있는 지배 구조와 관련된 복잡한 문제를 수반한다는 것을 인정했다.

그것은 AI 통합으로부터 아티스트가 공평하게 혜택을 받도록 보장하는 프레임워크를 탐구하기 위해 산업 파트너와 긴밀히 협력하기로 약속했다.

현재 이 플랫폼은 가능성을 탐구하기 위해 아티스트, 크리에이터 및 구글의 딥마인드와 협력하여 측정된 단계를 밟고 있다. 그리고 음악 세계에는 꽤 많은 주목할 만한 사람들이 관련돼 있다.

존 레전드는 성명서에서 "유튜브의 드림 트랙 실험의 일부가 되는 것은 미래에 대한 가능성을 형성하는 데 도움이 되는 기회"라고 기뻐했다.

또한 그는 "예술가로서, 저는 테이블에 앉을 수 있어서 행복하고 이 기간 동안 창작자들이 무엇을 꿈꾸는지 볼 수 있기를 기대한다"고 덧붙였다.

생성 AI 노래들

아티스트를 모방한 많은 바이러스 히트곡을 보유한 익명의 음악 창작자 고스트라이터(Ghostwriter)와 같은 사람들과 싸우기 위해 인공지능이 생성한 음악을 만드는 방법을 개발하는 것으로 크게 달려들었다.

고스트라이터가 제작한 것과 같은 바이러스 히트곡을 통해 스트리밍 서비스에 저작권 침해에 대한 많은 공지를 보낸 후, 유니버설 뮤직 그룹(UMG)은 새로운 프로젝트에 영향을 미칠 수 있는 노래에 대한 라이센스 계약을 만들기 위해 구글과 협력함으로써 장기적인 해결책을 마련하기 시작했다.

이것은 최근 인공지능이 제작한 코멘트 요약과 비디오와 그 내용에 대한 질문에 대답하는 대화형 인공지능 비서에 대한 실험 발표를 포함해 유튜브의 유일한 생성적 인공지능 프로젝트와는 거리가 있다.

그 후 드림 스크린이라고 불리는 유튜브 쇼츠 비디오에 대한 합성 이미지와 비디오 생성기가 유튜브 스튜디오 내의 비디오 아이디어에 대한 분석과 영감 그리고 인공지능 지원 비디오 생성 및 편집 도구와 함께 제공되는 유튜브 크리에이티브라고 불리는 새로운 모바일 앱의 발표가 뒤따랐다.

그리고 유튜브는 또한 맞춤형 재생 목록 앨범 커버를 만들기 위한 텍스트-이미지 도구를 바로 지난 달에 제공하기 시작했다.

유튜브의 파트너들만이 이 공간에 관심이 있는 것은 아니다. 음악 프로듀서이자 아티스트인 팀발랜드(Timbaland)는 사망한 래퍼의 팬들의 반발 이후 작업을 잠시 중단하기 전 노토리어스 빅(Notorious BIG)의 딥페이크 보이스가 특징인 곡의 샘플을 공유했다.

다른 이들은 프랑스 DJ이자 음악 프로듀서인 데이비드 게타(David Guetta)가 "Emin-AI-em"이라고 불리는 에미넴(Eminem) 노래를 만들고 연주했을 때처럼 더 공개적으로 딥페이크 워터(deepfake water)를 테스트하고 있다. 

한편, 음악가 그라임스(Grimes)는 그녀의 목소리를 사용하는 인공지능이 생성한 노래에 대한 로열티의 50%를 제공하기까지 했다.

홀리 헌든(Holly Herndon)은 홀리+(Holly+)라고 불리는 음악을 만들기 위해 그녀의 목소리의 무료 합성 버전을 제공하고, 음악 그룹 요트(YATH)는 AI 모델을 훈련시켜 "체인 트리핑(Chain Tripping)"이라고 불리는 전체 앨범을 만들었다.

텍스트 음악 합성 미디어 생성기의 추구는 여러 세대 AI 개발자들이 추구하는 측면 중 하나다. 가장 주목할 만한 것은 최근 메타는 텍스트 프롬프트를 어떤 종류의 소리로도 변환할 수 있는 오디오크래프트라는 이름의 생성 AI 음악 및 사운드 모델을 만들었다.

이는 인공지능 모델이 작동하는 데 필요한 훈련을 압축하는 디코더인 엔코덱에 의해 강화된 텍스트 음악 모델 뮤직젠과 텍스트 자연스러운 소리 도구 오디오젠을 혼합함으로써 가능하다.

한편, 구글의 뮤직LM 생성 AI 음악 작곡가는 저작권 침해에 대한 우려 없이 공개되기에는 너무 좋은 것으로 추정되기 때문에 몇 번의 시연에서만 잠깐 볼 수 있었다.