유튜브 음원이나 기존에 퍼블리싱 된 음원으로도 가창음성합성 모델을 만들 수 있습니다.

https://x.com/mitssi_p/status/1896896454196855215
에서 확인하실 수 있으며, 학습 모델은 다음과 같은 특징을 가지고 있습니다.

1. 디리버브 등을 하지 않고 이펙트를 살린 보컬을 학습 하는게 손상이 더 적다.
2. 이펙트가 많을수록 생성의 안정성은 떨어진다.
3. 생성의 안정성이 떨어지더라도 어떻게든 생성해서 원하는 결과물을 얻을 가능성은 높다.

이는 Voice Conversion 기반이 아니기 때문에 레퍼런스 목소리를 따로 녹음하지 않아도
고인이 되신 분들의 작품을 다시 제작할 수 있게 해줍니다.

믹싱된 음원을 활용하여 모델을 만들 경우 다음 사항을 고려해야 합니다.

1. 믹싱된 음원의 아티스트 저작권을 꼭 가지고 있어야 한다.
2. 원하는 방향으로 보컬 생성을 하기 위해서는 아이나우에 익숙한 전문가를 보유하거나, 목소리 생성을 아이밋에 맡기는 방향으로 간다.
3. 녹음실에서 녹음된 보컬이 아니기 때문에 모델 생성비가 조금 더 많이 들 수 있다.
4. 불렀던 곡에 전체적으로 코러스 화음이 많을 경우 모델 생성이 힘들어져 아이밋 내부에서도 되는 모델인지 힘든 모델인지 판단해야 한다.

가공 및 학습은 곡 선정 작업 부터 들어가서 보컬 분리를 거치는 작업이 추가되고, 미디라벨링의 난이도도 올라가게 됩니다.
또한 학습의 실패율이 존재하기 때문에 어떤 품질의 음원으로 작업하는지에 따라서 라벨링 및 학습의 난이도가 결정됩니다.

기본적으로 난이도가 있는 작업이기 때문에 모델 제작에 최소 700만원, POC 비용은 350만원이 소요됩니다.
어떤 보컬을 타겟으로 하는지에 따라 가격이 조금 변동될 수 있습니다.