《计算机工程与科学杂志》发表论文赏析

基于多任务学习和知识蒸馏的多模态蒙古语端到端的语音翻译

来源:计算机工程与科学杂志2025年第12期北京时间:

作者:臧日成, 高光来, 飞龙

单位:(1.内蒙古大学计算机学院(软件学院),内蒙古 呼和浩特 010021;2.内蒙古大学蒙古文智能信息处理技术国家地方联合工程研究中心,内蒙古 呼和浩特 010021;3.内蒙古自治区多语种人工智能技术重点实验室,内蒙古 呼和浩特 010021)

摘要:端到端语音翻译技术,旨在实现从源语言到目标语言的自动转换,近年来在多个领域取得了显著进展。然而,在蒙古语的语音翻译方面,效果尚有待提升。其挑战主要源于蒙汉语音翻译数据集的稀缺,现有模型在处理蒙古语语音翻译任务时效果较差。为了克服这些难题,采取了以下措施:首先,收集并构建了一个大规模的蒙汉对照语音翻译数据集,以支持翻译模型的训练。其次,引入联合学习策略,通过编码器和解码器之间的参数共享,促进语音翻译与机器翻译任务之间的知识迁移。此外,为了缩小语音与文本之间的模态差异,采用了交叉注意力正则化方法,以增强模型对不同模态输入的理解和利用。通过知识蒸馏技术,动态更新机器翻译模型,进一步提升了语音翻译模型的性能。最后,集成语音合成模块,实现了从蒙古语语音到汉语语音的翻译。实验结果表明,所提模型在翻译准确率上取得了显著提升,与直接训练的语音翻译模型相比,其BLEU将近提升了2.00。

关键词:蒙古语,语音翻译;知识蒸馏;多任务学习,

基金资助:国家自然科学基金(62566045);内蒙古自治区科技计划(2025KYPT0041);内蒙古自治区一流学科科研专项(YLXKZX-ND-036)

2025年12期其他文献查阅:

2025年中国高性能计算机发展现状分析

基于多元混合编码的SRAM数字存算一体宏设计

基于静动态样本点重构的处理器功耗建模精度提升方法

面向天河超算的OpenFOAM不可压缩流体模拟算法优化

OpenLM:多平台高性能的大语言模型推理框架

基于MDS码和NMDS码的(几乎)最优可扩展码构造

网络战环境下的通信网络结构及负载配置研究

基于模糊神经网络的异构无线网络垂直切换算法

融合聚类和结构优化的属性访问控制策略评估

面向图像后处理的面部操纵对抗防御方法

基于多级对抗均值教师网络的夜间城市景观语义分割

改进YOLOv8的航拍图像小目标检测模型

混合多策略的麻雀搜索算法与应用

搜索结果多样化排序:新进展与展望

基于大语言模型的面向领域的非连续命名实体识别

基于多任务学习和知识蒸馏的多模态蒙古语端到端的语音翻译

基于ITCN-IDBO-SVM的间歇过程故障诊断研究

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!