基于新词发现的古典文学作品分词方法研究

来源：计算机技术与发展杂志2021年第09期北京时间：

作者：高嘉琦;赵庆聪;'

单位：1. 北京信息科技大学 信息管理学院,北京 100192;2. 绿色发展大数据决策北京市重点实验室,北京 100192

摘要：对于中文文本的分词研究来说,现有的分词方法和技术较多都是针对现代汉语,现代汉语的分词方法和体系已经很成熟,但对古代汉语的研究较少。 由于古文的特殊性,将现代汉语的分词方法技术直接用于古汉语时,无法得到分词准确的理想效果,目前对古汉语分词方法的研究还未形成成熟的体系。 文中提出一种基于新词发现的古典文学作品分词方法,即从大量古典文学作品语料中发现新词,构建古汉语分词词典,在此基础上再对古文文本进行分词。 以《 三国演义》 古文文本处理为例,验证了基于新词发现的古典文学作品分词方法能有效提高古文分词的准确率。

关键词：典文学;新词发现;分词;互信息;左右熵