基于小样本学习的牛脸识别方法研究

来源：家畜生态学报杂志2026年第4期北京时间：

作者：胡宝加,赵建敏,李广泽,海日涵

单位：1. 内蒙古科技大学 自动化与电气工程学院，内蒙古 包头 014010；2. 华东交通大学 信息学院，江西 南昌 330000；3. 内蒙古农业大学 动物科学学院，内蒙古 呼和浩特 010000

摘要：深度学习依赖大量的标定数据，而牛脸标定劳动强度大，该文提出基于Tip-adapter的小样本牛脸识别方法，解决模型训练中依赖大量标定数据的问题。Tip-adapter由图像编码器、文本编码器和特征适配器3部分组成。首先，采用CLIP模型中的ResNet50作为图像编码器，用来提取图像特征。其次，制作牛属性（将有无牛角、花斑颜色等属性进行组合）文本，采用CLIP中的文本编码器提取文本特征。再次，构造特征适配器，利用检索图像在图像模态上的相似度和其在文本模态上的相似度计算多模态融合分类得分，进而计算多模态交叉熵分类损失，监督训练特征适配器。在图像、文本双模态信息监督下，增强特征适配器中牛脸属性语义的学习能力，进而降低对训练图像的依赖。该文采集并制作了MLCFace2023牛脸数据集，含牛447头，牛脸图像15 249张。该文提出的算法在该数据集上4-shot、8-shot、16-shot条件下的准确率分别达到了76.21%、88.22%和93.89%，均超出了无文本监督下的准确率。

关键词：牛脸识别；小样本学习；CLIP；多模态

基金资助：国家自然科学基金（32460858）；内蒙古自然科学基金（2023MS06014）；内蒙古自治区科技科技攻关项目（2021GG0224）；内蒙古科技大学基本科研业务费专项资金资助（088）