基于IPEX-LLM的本地轻量化课程教学智能辅助系统

来源：华东师范大学学报·哲学社会科学版杂志2024年第5期北京时间：

作者：张嘉睿, 张豈明, 毕枫林, 张琰彬, 王伟, 任而今, 张海立

摘要：提出并实现了一个本地轻量化课程教学智能辅助系统. 该系统利用IPEX-LLM (Intel PyTorch extention for large language model)加速库, 在计算资源受限的设备上高效部署并运行经过QLoRA(quantum-logic optimized resource allocation)框架微调的大语言模型, 并结合增强检索技术, 实现了智能问答、智能出题、教学大纲生成、教学演示文档生成等4个主要功能模块的课程灵活定制, 在帮助教师提高教学备课和授课的质量与效率、保护数据隐私的同时, 支撑学生个性化学习并提供实时反馈. 在性能实验中, 以集成优化后的Chatglm3-6B模型为例, 该系统处理64-token输出任务时仅需4.08 s, 验证了其在资源受限环境下快速推理的能力. 在实践案例分析中, 通过与原生Chatgml-6B和ChatGPT4.0在功能实现上的对比, 进一步表明了该系统具备优越的准确性和实用性.

关键词：智能辅助,计算资源受限,IPEX-LLM,微调,增强检索,