数据库系统的⾃然语⾔交互⽅法探索.pptx

数据库系统的?然语?交互?法探索FromDatabaseQuerytoNaturalLanguageQuery范元凯复旦?学博?后研究员2024.4.20

汇报提纲背景介绍生成-排序的NL2SQL翻译方法统一的NL2SQL优化框架大模型与NL2SQL模型交互式NL2SQL总结

汇报提纲背景介绍生成-排序的NL2SQL翻译方法统一的NL2SQL优化框架大模型与NL2SQL模型交互式NL2SQL总结

智能化数据分析一直以来是企业和研究机构追求的目标，通过这种分析可以更有效地挖掘数据中的价值，做出更明智的决策背景“ThefutureofBIisConversational.”-GartnerThere’sagrowingdisconnectbetweenbusinessleadersexpectingadata-drivenorganization,andemployeeswhoeitheraren’tcomfortablequestioningmetricsorleveragingdataanalysistodriveactions./solutions/ai-analytics/augmented-analytics数据分析成为实践中的一个主要瓶颈

NL2SQL的核心是通过语义解析理解自然语言查询，并将其转换为对应的数据库查询语句，可以在给定的数据库上进行数据查询操作NL2SQL技术的出现

NL2SQL需要解决的问题自然语言理解(NLUnderstanding)复杂语言中语义的解析视图剪枝(SchemaPruning)快速过滤不相关的数据视图结构视图链接(SchemaLinking)自然语言查询中提及或涉及哪些视图元素约束解码(ConstrainedDecoding)基于SQL语法的有效生成过程

NL2SQL难在哪？复杂的数据模型复杂的查询语言表达形式复杂的数据库查询操作海量数据的有效访问…

使用seq2seq框架实现o 分别在编码器侧、解码器侧进行模型设计基于深度学习的NL2SQL?法输入编码器解码器输出SQL查询自然语言问题数据视图BERT关系感知的Transformer架构中间表示(NatSQL)Coarse-fine方法RAT-SQL+NatSQLSQL查询自然语言问题数据视图GRAPPA关系感知的Transformer架构中间表示(线性代数)BottomUp解析器SmBoP/events/datahour/datahour-natural-language-to-sql-translation-the-challenges-evolution-and-future

开箱即用的大模型在自然语言和代码生成上预训练的基础大型语言模型微调后的大模型在特定任务上微调后的大模型，例如代码/SQL(CodeLlama,SQLCoder等)利用精心设计的提示信息通过上下文学习(In-contextlearning)实现NL2SQL过程LLM即NL2SQL模型

LLM即NL2SQL模型/abs/2402.16347

汇报提纲背景介绍生成-排序的NL2SQL翻译方法统一的NL2SQL优化框架大模型与NL2SQL模型交互式NL2SQL总结

大部分传统的翻译方法将NL2SQL视为一种语言翻译任务，并依赖通用的语言模型实现更好的自然语言的语义理解局限性:通用语言模型很难利用世界知识理解每个数据库中存在的独特结构和语义信息o 例如,现有的翻译方法出现的大部分错误都发生在一些复杂查询上现状:领域数据库中可能存在一些历史查询数据(查询日志)，模型无法有效使用STARTselectcount(amount) from...ViewtotalsalesthisyearNL2SQLModelsselectcount(amount) from传统NL2SQL翻译?法

?成-排序的NL2SQL?法-GARYuankaiFan,ZhenyingHe,TonghuiRen,DianjunGuo,LinChen,RuisiZhu,GuanduoChen,YinanJing,KaiZhang,X.SeanWang.GAR:AGenerate-and-RankApproachforNaturalLanguagetoSQLTranslation,In39thInternationalConferenceonDataEngineering(ICDE‘23)YuankaiFan,TonghuiRen,ZhenyingHe,X.SeanWang,