이 신경망은 오디오와 텍스트를 모두 처리하는 독특한 능력을 자랑하며 100개 이상의 언어에 대한 텍스트-음성, 음성-텍스트, 음성-음성 및 텍스트-텍스트 변환을 포함한 다양한 번역 작업을 수행할 수 있다.

AI에 대한 비교적 개방적인 접근 방식과 일치하는 움직임으로 Meta는 연구 라이선스(CC BY-NC 4.0)에 따라 SeamlessM4T를 출시하여 개발자가 프레임워크를 구축할 수 있도록 한다. 이와 함께 Meta는 "270,000시간에 달하는 채굴된 음성 및 텍스트 정렬을 포함하는 현재까지 최대 규모의 개방형 다중 모달 번역 데이터 세트"라고 자랑스럽게 주장하는 SeamlessAlign을 소개한다. 이 포괄적인 데이터 세트는 Meta 외부 연구자의 미래 번역 AI 모델 교육을 촉진할 준비가 되어 있다.

Meta의 홍보 블로그에서 눈에 띄게 소개된 SeamlessM4T는 음성 인식, 음성-텍스트 번역, 음성-음성 번역, 텍스트-텍스트 번역, 텍스트-음성 번역을 포함한 다양한 기능을 자랑한다. 각 텍스트 번역 기능은 약 100개 언어를 지원하며, 음성 출력 기능은 약 36개 출력 언어와 호환된다.

Meta의 발표는 더글러스 애덤스(Douglas Adams)의 상징적인 SF 시리즈에서 바벨 피쉬(Babel Fish)를 장난스럽게 언급하면서 SeamlessM4T의 즉각적인 번역 기능을 귀에 대면 모든 음성 언어를 해독할 수 있는 가상의 물고기에 비유한다.

SeamlessM4T의 교육 프로세스에는 Meta의 연구원들이 SeamlessAlign이라고 알려진 총 470,000시간이 넘는 자동 정렬 음성 번역의 다중 모달 코퍼스를 생성하는 작업이 포함되었다. 그런 다음 이 데이터 세트는 사람이 라벨을 붙인 데이터와 의사 라벨이 붙은 데이터를 사용하여 정제되어 총 406,000시간의 하위 세트가 되었다.

Meta는 훈련 데이터의 소스에 대해 다소 모호한 반면, 텍스트 데이터는 NLLB(Natural Language Learning Benchmark)에서 사용된 것과 동일한 데이터 세트에서 가져온 것으로 알려져 있으며 Wikipedia, 뉴스 매체, 대본 연설 등 다양한 출처의 문장이 포함되어 있다. 반면에 음성 데이터는 공개적으로 사용 가능한 웹 데이터 저장소에서 가져온 400만 시간의 원시 오디오 풀에서 가져왔다. 특히 Meta는 이 컬렉션의 영어 오디오 100만 시간을 교육 목적으로 활용했다.

Meta가 머신러닝 번역 도구를 탐구한 최초의 AI 회사는 아니지만, 2006년부터 Google Translate의 머신러닝 통합과 GPT-4와 같은 대규모 언어 모델의 등장으로 오디오 처리 분야에서 새로운 혁신 영역에 진입했다. SeamlessM4T는 다중 모드 번역을 다양한 언어로 확장하여 이러한 추세를 확장한다. 또한 Meta는 여러 모델의 체인이 아닌 통합 AI 모델을 활용하는 SeamlessM4T의 "단일 시스템 접근 방식"이 오류를 최소화하고 번역 효율성을 향상시킨다고 주장한다.

SeamlessM4T의 기능에 대한 보다 심층적인 기술적 통찰력을 원하는 사람들을 위해 Meta는 웹사이트에서 자세한 정보를 제공했다. 또한 훈련에 사용되는 코드와 신경망 파일은 Hugging Face 플랫폼에서 액세스할 수 있다. AI 기반 언어 번역의 최신 진전은 기술 발전의 경계를 넓히려는 Meta의 약속을 재확인한다.