중국 IT 기업 Tencent가 중국어·영어 동시통역 오픈소스 모델 Hy-SimulMT를 공개했다. 이 모델은 들어오는 음성을 끊김 없이 이어서 처리한다.

핵심 기능

  • 입출력 범위: 중국어와 영어 사이의 음성·텍스트 통역을 지원한다. 결과는 번역 텍스트와 음성 두 가지 형식으로 낼 수 있다.
  • 음성 복제: 실시간 음성 복제(voice cloning)로 원래 화자의 목소리 특성을 살리도록 설계했다.
  • 체험 경로: Tencent의 Hy Translate 앱에서 같은 기술을 써볼 수 있다.

공개 구성물

  • 모델 가중치
  • 추론 소프트웨어
  • 학습 도구

음성 생성과 음성 복제를 쓰려면 별도로 설정한 TTS(text-to-speech) 서비스가 필요하다.

Tencent가 밝힌 성능

Tencent는 장시간 오디오 벤치마크 RealSI에서 스트리밍 번역 지연이 약 3초라고 밝혔다. 번역 품질 점수는 비교 대상이던 다른 오픈소스 모델과 상용 API 5개 중 4개를 웃돌았다고 한다. 이 수치는 Tencent가 직접 보고한 결과이며, 독립 검증을 거친 것은 아니다.

한국 독자에게는 지원 언어 범위가 관건이다. 이 모델이 다루는 쌍은 중국어와 영어이며, 한국어는 소스에 언급되지 않았다.