层次概念的分布式表示和学习方法综述

来源：计算机技术与发展杂志2023年第10期北京时间：

作者：朱晓光

单位：徐州工程学院 管理工程学院,江苏 徐州 221018 Author(s): ZHU Xiao-guang School of Management Engineering,Xuzhou University of Technology,Xuzhou 221018,China 关键词: 层次概念;概念学习;分布式表示;统计语言模型;层次主题模型 Keywords: hierarchical concept;concept learning;distributed representation;statistical language model;hierarchical topic model 分类号: TP391 DOI: 10. 3969 / j. issn. 1673-629X. 2023. 10. 001 摘要: 层次概念能够有效解释语言模型的隐含知识,并且提升语言模型的结构化优化性能。 针对层次概念表示和学习模型的多样化发展,该文分析了层次概念表示的线性空间、概率空间和文本蕴含性质,梳理了概念学习模型的层次结构和优化原理,用于促进概念学习模型的应用效果。 通过阐述概念学习过程和语义空间的层次性质,归纳层次概念学习的四类计算模型:基于条件熵的文本层次概念抽取;建立语言资源的概念层次和神经网络的隐含层次之间的映射;通过迭代的随机过程拓展主题模型;在正则化因子中添加语义关系约束。 通过概念学习综述得出如下结论:层次性的语言模型广泛结合了显明和隐含的概念表示方法;统计模型和语言资源的语义映射是拓展层次结构的主要路径;层次结构具有双曲空间和嵌套球形结构;层次结构分析可以提升统计模型的解释水平。 Abstract: Hierarchical concepts can effectively explain the implicit knowledge and improve the structural optimization performance of　language models. Concerning the diversified development of hierarchical concept representation and learning models, we analyze thelinear space, probability space and textual entailment properties?of hierarchical concept representation, and sort out the hierarchicalstructure and optimization principles of concept learning models to promote the application of concept learning models. By expoundingthe hierarchical nature of the concept learning process and semantic space,four types of computational models for hierarchical conceptlearning are summarized, including text - level concept extraction based on conditional entropy, establishing a mapping between theconcept level of language resources and the hidden level of the neural network,expanding the topic model through an iterative stochasticprocess,and adding semantic relationship constraints in the regularizer. Through the survey of concept learning,the following conclusionsare drawn. Hierarchical language models widely combined explicit and implicit concept representation methods. Semantic mappingbetween statistical model and language resources are the main paths to expand hierarchical structures. Hierarchical structures aredistributed with hyperbolic space and nested spherical structure. Hierarchical structure analysis can improve the interpretation level ofstatistical models.

摘要：层次概念能够有效解释语言模型的隐含知识,并且提升语言模型的结构化优化性能。 针对层次概念表示和学习模型的多样化发展,该文分析了层次概念表示的线性空间、概率空间和文本蕴含性质,梳理了概念学习模型的层次结构和优化原理,用于促进概念学习模型的应用效果。 通过阐述概念学习过程和语义空间的层次性质,归纳层次概念学习的四类计算模型:基于条件熵的文本层次概念抽取;建立语言资源的概念层次和神经网络的隐含层次之间的映射;通过迭代的随机过程拓展主题模型;在正则化因子中添加语义关系约束。 通过概念学习综述得出如下结论:层次性的语言模型广泛结合了显明和隐含的概念表示方法;统计模型和语言资源的语义映射是拓展层次结构的主要路径;层次结构具有双曲空间和嵌套球形结构;层次结构分析可以提升统计模型的解释水平。

关键词：层次概念;概念学习;分布式表示;统计语言模型;层次主题模型