可控文本生成中的幻觉研究.pdf

摘要

幻觉问题是当前大语言模型领域实际应用落地需要克服的主要障碍之一。幻

觉是指生成的文本内容与用户输入、模型自身先前的输出上下文或现实事实信息

存在不一致的情况。然而，现有的幻觉评估指标在应对不同类型文本和语境时存

在一定的局限性，幻觉的缓解大多数研究强调探索新的模型架构和改进预训练目

标，需要工作量极大。因此有必要提出更为全面、灵活的评判标准，而由新的幻

觉评估指标也衍生出更有效的幻觉缓解技术，解决目前幻觉缓解技术的局限性，

降低幻觉控制的成本。本文关注自然语言可控文本生成领域中备受瞩目的幻觉问

题，通过深度学习和大型语言模型的强化学习方法，旨在提高文本生成的质量和

可控性。主要研究工作包括以下几个方面：

1.实词不确定性评估指标的提出：本文为解决不确定性幻觉问题，提出了实

词不确定性评估标准。通过分析实词在语境中的位置、语法结构和语义信息，构

建了更为细致的实词模型，通过综合考量实词的多方面特征，得到更为准确的不

确定性评估结果。

2.面向幻觉抑制的召回增强浮动概率解码算法：为应对大型模型不确定性导

致的幻觉问题，提出了基于召回增强的浮动概率解码算法。该算法利用外部知识

库和实词不确定性指标，通过检索增强生成（RAG）实现对知识的提前应用，从

而有效缓解大模型中潜在的幻觉问题。

3.选择注意力机制下的基于验证链提取的幻觉修正算法：进一步研究了不确

定性指标下的验证链提取，通过对模型不确定性高的地方进行有针对性的问题提

取和多轮验证，成功改善了生成文本的质量。提出了一套系统性的方法，包括关

键验证问题提取、多轮验证知识检验、事后RAG检索和幻觉修正，最终实现了高

质量低幻觉的回答文本。

综合上述研究工作，本文通过深入研究自然语言可控文本生成中的幻觉问题，

提出了一系列创新性的解决方案，并成功将这些理论成果转化为实际的系统应用。

通过系统实验验证，证明了所提出方案的可行性、有效性和实用性，将三方面的

创新性成果融入到具体实践中，将理论与技术研究成果转化为实际应用，从软件

工程的角度全面设计构建了幻觉控制问答生成服务平台，对提高文本生成的质量

和可控性，以及解决大型模型中的幻觉问题具有重要的理论和实际意义。

关键词：自然语言生成，文本生成，大型语言模型，文本幻觉缓解

ABSTRACT

Theproblemofhallucinationsisoneofthemainobstaclesthatneedtobeovercome

forthepracticalapplicationoflargelanguagemodelsinthecurrentfield.Hallucinations

refertosituationswherethegeneratedtextcontentisinconsistentwithuserinput,the

modelspreviousoutputcontext,orrealfactualinformation.However,existing

hallucinationevaluationmetricshavecertainlimitationsinaddressingdifferenttypesof

textandcontexts.Mostresearchonmitigatinghallucinationsemphasizesexploringnew

modelarchitecturesandimprovingpre-trainingobjectives,whichrequiresignificant

effort.Therefore,itisnecessarytoproposemorecomprehensiveandflexibleevaluation

criteria,andtheemergenceofnewhallucinationevaluationmetricsalsoleadstomore

effectivehallucinationmitigationtechniques,addressi