[硕士论文]基于神经符号计算的知识数据融合学习框架研究

Abstract

本文研究了基于神经符号计算的知识数据融合学习框架，旨在解决当前人工智能系统中的可解释性、泛化能力和推理能力等关键挑战。随着人工智能技术的快速发展，如何结合符号推理的可解释性与神经网络的学习能力，已成为实现下一代人工智能的重要课题。神经符号计算作为连接两种主要人工智能范式的桥梁，通过整合符号规则与深度学习模型，为构建更加智能、可信的系统提供了新的理论和技术框架。

本文首先系统性分析了符号计算与神经网络各自的优势与局限，指出传统符号系统虽具备强大的逻辑推理能力和良好的可解释性，但难以处理现实世界的模糊性和不确定性；而神经网络虽擅长从数据中学习模式，但其” 黑盒” 特性使得决策过程缺乏透明性，限制了在关键领域的应用。针对这些挑战，本文提出了三种层次的知识数据融合解决方案，分别面向深度神经网络、Transformer 模型和大规模预训练模型。

面向DNN 的规则知识融合框架。在面向深度神经网络的框架中，本文创新性地提出了双向知识蒸馏与伪标签迭代训练相结合的方法。通过引入规则知识指导模型训练，系统在低资源场景下显著提升了模型的可解释性与泛化能力。实验表明，该方法在命名实体识别和情感分类任务上取得了明显的性能提升，特别是在训练数据有限的情况下，规则知识的引入有效弥补了数据不足带来的泛化问题。

面向Transformer 的规则知识融合框架。针对Transformer 模型，本文设计了基于注意力掩码机制的规则知识融合方法，通过将规则逻辑嵌入多头自注意力机制中，实现了全局语义与局部规则的高效结合。实验结果显示，该方法在命名实体识别和文本摘要任务上带来了显著的性能提升，不仅提高了模型的准确率，还增强了其对长依赖关系的建模能力，使生成的文本更加符合语法规则和逻辑一致性。

面向预训练模型的规则知识融合框架。对于大规模预训练模型，本文提出了结合提示模板与规则知识蒸馏技术的框架，充分利用预训练模型的生成能力，进一步提升了复杂推理任务的表现。通过在数学推理、常识推理和通用推理任务上的实验验证，该方法展示了神经符号融合对预训练模型推理能力的显著增强作用，尤其在需要多步推理和逻辑约束的任务中表现突出。

综合实验结果表明，所提出的三种层次框架在不同任务和模型架构上均取得了显著的性能提升，验证了神经符号计算在知识数据融合中的有效性。本文不仅为神经符号计算的实际应用提供了系统性解决方案，还为构建可信、智能的知识融合系统提供了理论与实践支持。

Download