1. 개요
Elevenlabs일레븐랩스
홈페이지
폴란드에 위치한 스타트업 회사. 동시의 동명의 회사가 2023년 1월에 베타로 공개한 인공지능 Text to Speech 툴이다.
2. 상세
2022년 말 세계를 강타한 AI 기술이 음성에 도입되어 만들어진 툴이다.Elevenlabs AI는 1분 정도의 음성 데이터로 보이스 클론을 만들어 원하는 음성을 생성할 수 있다.
프로그램을 다운로드하는 형태가 아니고 일정량의 구독료를 지불하고 사용하는 방식이다.
24년 11월 기준 무료 이용자는 1만 크레딧(10분 분량 음성 생성)이 가능하다.
유료 플랜으로는
Starter(3만 크레딧-30분 분량) / Creator(10만 크레딧-2시간 분량)
Pro(50만 크레딧-10시간 분량) / Scale(2백만 크레딧-40시간 분량 / Business(천백만 크레딧-180시간 분량)을 제공한다.
유료 플랜 가격은 월 기준 Starter - $5 / Creator - $22 / Pro - $99 / Scale - $330 / Business - $1320 이다.
국내 찍먹 사용자 중 더러가 일레븐랩스에서 제공하는 기본 보이스로만 한국어를 생성해 본다.
기본 보이스로도 다국어로 음성 생성이 가능은 하나, 외국인이 한국어 하는 부자연스러운 느낌이 농후하다.
이는 학습된 모델이 학습된 언어의 억양을 따라가기 때문이다.
이에 대한 해결책은 Voice 탭에 있는 Voice Library에서 자신이 생성을 원하는 언어를 선택하여
전 세계에서 다양한 성우들이 생성한 Professional Voice Clone(PVC)으로 음성을 생성하면 된다.
3. 활용처
3.1. 영상
해외 유튜버들이 자주 사용하는 AI TTS 툴로, 현재 대부분 일레븐랩스를 사용해 만든다고 말해도 과언이 아니다. 2023년 3월 15일 유튜버 demonflyingfox(데몬플라잉폭스)의 해리 포터 시리즈와 발렌시아가 AI 합성 영상을 계기로, AI를 이용해 각종 작품 및 인물을 발렌시아가 의상을 입은 모델들과 합성하는 밈이 생겨났는데, 그 유튜버가 이것을 이용해 음성을 만들어냈다. 그 유튜버는 각종 작품을 1980년대, 1990년대, 다크 판타지 영화, 야쿠자 영화 식 등으로 바꾸는 AI 영상을 만드는데 2024년 1월 21일 해리 포터 시리즈 한국 드라마 버전 패러디를 만들기도 했다.3.2. 게임 모드
엘더스크롤 5: 스카이림의 모드 제작툴로 사용되기도 한다. 전에 나온 xVASynth보다 훨씬 자연스러운 음성 데이터를 작성할 수 있으며, 감정 변화 등으로 인한 억양 조절이 조금 어색한 점을 제외하면 거의 차이를 느낄 수 없을 정도라 엘더스크롤과 폴아웃 초대형 모드 프로젝트에서 상당한 주목을 받았으며, 굳이 초대형 모드가 아니어도 동료 모드나 자잘한 소규모 모드 제작자들이 도입하여 활용한다. 사용 가능한 언어의 폭도 넓어 당장 xVASynth는 영어만 지원하지만 Elevenlabs AI의 경우 한국어나 중국어, 일본어 등도 무리없이 출력해낸다. 영미권 언어가 가장 자연스럽기는 하지만, 이는 학습시킨 샘플 데이터에 따라 달라질 것으로 보인다.이 툴이 공개되면서 xVASynth는 거의 사장되었다. 기존에는 xVASynth로 대사 음성을 넣은 모드도 Elevenlabs Ai로 음성 데이터를 교체하는 등의 업데이트들이 차츰 진행되고 있는 상황.
다만 용도가 게임에 국한된 것이 아니다보니 악용의 소지도 분명히 존재하며, 관련 문제도 상당수 포착되고 있어 사용에 주의를 요한다. 실제로 무단으로 AI 음성 생성 기술을 이용해 성인 모드에 성우 음성을 사용하는 사례가 발생했고, 미국 성우 협회(NAVA)까지 나서서 이 문제에 대응하겠다고 밝힌 상태다.