《电子与信息学报杂志》发表论文赏析
作者:王洪昌, 咸凤羽, 谢子晖, 董苗苗, 鉴海防
单位:1.中国科学院半导体研究所固态光电信息技术实验室 北京 1000832.山东师范大学物理与电子科学学院 济南 250358
摘要:随着人工智能技术的快速发展,基于深度学习的计算机视觉、声学智能分析和多模态融合技术为生态监测领域提供了重要技术手段,广泛应用于鸟类物种识别与调查等业务场景。然而,现有鸟类数据集存在实采数据获取难度大、专业标注人力成本高、珍稀物种数据样本少且数据模态单一等诸多问题,难以满足大模型等人工智能技术在生态监测与保护领域的训练与应用需求。针对此问题,该文提出一种面向专业领域的大规模多模态数据集高效构建方法,通过多源异构数据采集、智能化半自动标注和基于异构注意力融合的多模型协同校验机制,有效降低专业标注成本并保证数据质量。该文设计了基于多尺度注意力融合的数据集校验方法,通过构建多模型协同校验系统,利用类别敏感权重分配机制提升数据集校验的准确度和效率。基于以上方法,该文构建了大规模多模态鸟类数据集BIRD1445,涵盖1 445种鸟类物种,包含图像、视频、音频和文本4种模态,共计354万个样本,能够支持目标检测、密度估计、细粒度识别等智能分析任务,为人工智能技术在生态监测与保护领域的应用提供了重要数据基础。
关键词:生态监测, 多模态, 数据集, 半自动标注, 多模型协同校验
基金资助:新一代人工智能国家科技重大专项(2022ZD0116304)