基于文本挖掘的互联网教育课程主题发现与聚类研究

来源：上海理工大学学报杂志2018年第3期北京时间：

作者：李梦杰

单位：上海理工大学 复杂系统科学研究中心, 上海 200093,上海财经大学 科研实验中心, 上海 200433,上海理工大学 复杂系统科学研究中心, 上海 200093,上海理工大学 复杂系统科学研究中心, 上海 200093,沪江教育科技股份有限公司, 上海 201203

摘要：如何通过有效的数据挖掘对互联网教育平台中的课程主题进行挖掘、聚类是当前互联网教育亟待解决的问题之一。实验基于文本信息对某互联网教育平台的1 472门课程体系的主题分布及类别进行了分析。采集了某平台1 472门课程的描述信息，进而通过自建词典和停用词库对文本进行切词分词，并通过TF-IDF对词频权重进行处理。利用LDA主题模型对课程的主题分布进行识别，发现了230个主题，并得到了每门课程在这230个主题下的文档-主题分布以及主题-词分布。进一步基于分布相似性函数对课程进行层次聚类，发现基于不同抽象层次主题的课程相互关联。最后将16个主题信息进行了可视化，这些主题分别从内容和数量两个角度反映出了课程的主题特征以及课程的聚合分布情况。

关键词：主题发现;层次聚类;互联网教育;文本挖掘

基金资助：国家自然科学基金资助项目（61773248，71771152）