知识库问答场景中大语言模型私有化研究与应用实践

来源：计算机应用与软件杂志2025年第10期北京时间：

作者：丁咚, 杨文昌

摘要：针对企业在知识库问答场景中对大语言模型私有化部署的迫切需求,以上海卷烟厂为实践案例,详细探讨了运用检索增强生成(RAG)技术构建本地化知识库的方法与流程。研究结合开源的Qwen1.5-32B大模型与BAAI/BGE-large-zh-v1.5词嵌入模型,并在模型选型时充分权衡算力限制与模型性能表现,介绍了具体的构建方案。实验结果表明,所提出的RAG方案能够有效提升信息检索与问答的准确性,且INT4量化能在显著降低显存占用的同时,对问答效果影响较小,为企业在垂直领域安全、高效地进行大语言模型私有化部署与应用提供了具有参考价值的技术方案与实践指导。

关键词：大语言模型, 检索增强生成, 知识库问答