SpeechVerse vs. SOTA: Multi-Task Speech Models in Real-World Benchmarks

本文介绍了一种名为SpeechVerse的多任务语音和语言模型框架，通过联合建模语音识别（ASR）、语义理解（SLU）和语音副任务（如情感识别），展示了其在多个数据集上的优越性能。实验表明，与现有方法相比，SpeechVerse在大部分任务中表现出色，尤其是在端到端建模中优于传统的级联管道系统。