一、摘要
为融合现有政策知识问答系统设计范式与知识图谱缓解大语言模型生成幻觉方法,形成知识图谱增强的政策大模型知识问答系统构建范式,提升政策大语言模型知识问答服务的稳定性、准确性、智能性,文章分析了知识图谱增强的政策大模型知识问答系统运行机制,进而以科技政策数据为例构建了科技政策知识图谱、知识图谱增强的政策大模型知识问答系统,并构建问答测试集评估了其功能。结果发现,知识图谱增强的政策大模型知识问答系统运行机制分为政策知识图谱构建、大模型问答处理两环节;通过融合依据表层、内核知识要素建模的政策知识与BERT-BiGRU-CRF算法智能构建了政策知识图谱,进而依托Langchain-Chatchat和Django开源框架构建了知识图谱增强的政策大模型知识问答系统;测试结果显示,所构建系统可依托知识图谱语义分析用户提问、识别用户意图,并据此补全prompt模板以便大模型智能组织、生成答案,表现出良好的基础、动态、专题回答能力。
二、研究结论与发现
首先,遵循处理体系化、部署轻量化原则,分析了知识图谱增强的政策大模型知识问答系统运行机制,以分层解耦、整体揭示系统构建逻辑: 具体分为数据整合层 (采集、预处理政策数据)、 图谱构建层 (抽取政策表层、内核知识要素,并据此构建政策知识图谱)、问答处理层 (解析用户提问并据此检索知识图谱、丰富提示词,以辅助政策大模型语义理解用户提问、智能生成答案)、服务交互层。
其次,本研究依托Django框架、开源大模型应用Langchain-Chatchat框架,构建了Web式云端接入+本地问答处理的政策大模型知识问答系统:基于Django框架部 Web问答界面、后端知识图谱构建环节,以基于领域知识模型抽取政策数据集知识实体并构建政策知识图谱 (具体用正则表达法抽取表层知识实体,用BERT-BiGRU-CRF算法学习人工标注后数据集的内核知识特征并据此抽取实体,进而融合实体关系来构建知识图谱并存至 Neo4j);基于Langchain-Chatchat框架部署 ChatGLM3-6B模型,进而调用BERT-BiGRU-CRF算法提取用户提问中的关键信息,并据此检索政策知识图谱、补全prompt,以便大模型更精准理解问句、生成优质答案并返给用户。
最后,本研究自建科技政策数据集,并据此用精确率、召回率等指标测试了基于BERT-BiGRU-CRF算法抽取政策知识的效果;自建问答测试集并从基础能力、动态能力、专题能力、综合能力视角评测了所建系统的功能。结果显示:BERT-BiGRU-CRF算法可高效抽取政策知识,所构建系统的基础能力、动态能力、专题能力出色,但该系统在复杂问答环境下的综合能力不理想。
【注】本成果系湖北农业装备制造产业发展研究中心重点课题“农业装备领域科技创新知识图谱研究”(项目编号: CAEMI-2024Z1)的相关成果。