자연스러움 한 점수의 맹점
8월 10일 공개된 연구는 TTS의 ‘자연스러움’을 하나의 점수로 보지 않고 10가지 언어학 기반 지각 차원으로 나눴습니다. 연구진은 훈련된 언어 평가자가 주석한 860개 발화로 차원별 메타 평가 벤치마크를 만들고, MOS 예측기 4개와 Audio LLM 평가자 4개를 비교했습니다.
저자 보고에 따르면 MOS 예측기는 주로 음향 신호 품질에 수렴했습니다. Audio LLM은 일부 오류를 찾았지만 프롬프트에 민감했고 모든 차원에 일반화되지 않았습니다. 어느 계열도 언어적으로 구조화된 다양한 음성 오류를 안정적으로 포착하지 못했습니다.
제품 평가에 주는 의미
음성이 깨끗하게 들리는 것과 단어·억양·리듬·언어 전환이 정확한 것은 다릅니다. 다국어 음성 에이전트는 종합 MOS 하나 대신 발음, 의미 보존, 운율, 숫자·고유명사와 코드 스위칭을 따로 검사하고, 실제 언어 사용자의 청취 평가를 포함해야 합니다.
연구의 경계
860개 발화와 선택된 8개 평가기에 대한 동료평가 전 프리프린트입니다. 수치는 모든 언어·음성·합성 모델에 자동으로 일반화되지 않지만, 평가 AI 자체를 다시 평가해야 한다는 실용적인 경고를 제공합니다. 연구진은 데이터, 주석 체계와 코드를 공개했다고 밝혔습니다.