基于跨语言语料的汉泰词分布表示

来源：计算机工程与科学杂志2015年第12期北京时间：

作者：张金鹏1,2，周兰江1,2，线岩团1,2，余正涛1,2，何思兰3

单位：1.昆明理工大学信息工程与自动化学院，云南 昆明 650500；2.昆明理工大学智能信息处理重点实验室，云南 昆明 650500;3.昆明理工大学理学院，云南 昆明 650500

摘要：词汇的表示问题是自然语言处理的基础研究内容。目前单语词汇分布表示已经在一些自然语言处理问题上取得很好的应用效果，然而在跨语言词汇的分布表示上国内外研究很少，针对这个问题，利用两种语言名词、动词分布的相似性，通过弱监督学习扩展等方式在中文语料中嵌入泰语的互译词、同类词、上义词等，学习出泰语词在汉泰跨语言环境下的分布。实验基于学习到的跨语言词汇分布表示应用于双语文本相似度计算和汉泰混合语料集文本分类，均取得较好效果。

关键词：弱监督学习扩展,跨语言语料,跨语言词汇分布表示,神经概率语言模型,

基金资助：国家自然科学基金资助项目(61363044)