基于多元判别分析的汉语句群自动划分方法

来源：计算机应用杂志2015年第5期北京时间：

作者：王荣波, 李杰, 黄孝喜, 周昌乐, 谌志群, 王小华

单位：1. 杭州电子科技大学 认知与智能计算研究所, 杭州 310018;2. 厦门大学 智能科学与技术系, 福建 厦门 361005

摘要：针对目前句群划分工作缺乏计算语言学数据支持、忽略篇章衔接词的问题以及当前篇章分析较少研究句群语法单位的现象,提出一种汉语句群自动划分方法.该方法以汉语句群理论为指导,构建汉语句群划分标注评测语料,并且基于多元判别分析(MDA)方法设计了一组评价函数J,从而实现汉语句群的自动划分.实验结果表明,引入切分片段长度因素和篇章衔接词因素可以改善句群划分性能,并且利用Skip-Gram Model比传统的向量空间模型(VSM)有更好的效果,其正确分割率Pμ 达到85.37%、错误分割率WindowDiff降到24.08%.同时该方法在句群划分任务上有更大的优势,比传统MDA方法有更好的句群划分效果.

关键词：汉语句群划分,多元判别分析,篇章分析,Skip-Gram模型,篇章衔接

基金资助：国家自然科学基金资助项目(61202281,61103101);教育部人文社会科学研究项目青年基金资助项目(10YJCZH052, 12YJCZH201).