利用DeepSeek-R1构建简单的本地知识库.pdf
利⽤DeepSeek-R1构建简单的本地知识库
⼀简介
初期接触LLM即⼤语⾔模型,觉得虽然很强⼤,但是有时候AI会⼀本正经的胡说⼋道,这种⼤模型
的幻觉对于⽇常使⽤来说具有很⼤的误导性,特别是如果我们要⽤在⽣成环境下,由于缺少精确性
⽽⽆法使⽤。为什么会造成这种结果那,简单来说就是模型是为了通⽤性设计的,缺少相关知识,
所以导致回复的结果存在胡说⼋道的情况,根据⾹农理论,减少信息熵,就需要引⼊更多信息。
从这个⻆度来说,就有两个途径,⼀是重新利⽤相关专业知识再次训练加强模型,或进⾏模型微
调;模型训练的成本是巨⼤的,微调也需要重新标记数据和⼤量的计算资源,对于个⼈来说基本不
太现实;⼆是在问LLM问题的时候,增加些知识背景,让模型可以根据这些知识背景来回复问题;
后者即是知识库的构建原理了。
有个专⻔的概念叫RAG(Retrieval-AugmentedGeneration),即检索增强⽣成,是⼀种结合检索
技术和⽣成模型的技术框架,旨在提升模型⽣成内容的准确性和相关性。其核⼼思想是:在⽣成答
案前,先从外部知识库中检索相关信息,再将检索结果与⽤户输⼊结合,指导⽣成模型输出更可靠
的回答。
⼆RAG原理
简单概述,利⽤已有的⽂档、内部知识⽣成向量知识库,在提问的时候结合库的内容⼀起给⼤模
型,让其回答的更准确,它结合了信息检索和⼤模型技术;
分步骤来说,⾸先是检索阶段,当⽤户输⼊⼀个问题时,系统会从外部数据库或⽂档中检索相关的
信息或⽂档⽚段。然后,在⽣成阶段,这些检索到的信息会和原始问题⼀起输⼊到⽣成模型中,⽣
成最终的答案。这样,模型不仅依赖于内部知识,还能利⽤外部实时或特定的数据。
我们⽇常简单通过chat交互⽅式使⽤⼤模型如下图:
我们搭建了RAG后,整体架构如下图:
说明:
1.建⽴索引:需要将⽇常的业务知识,以⽂件形式给分成较短的块(chunk),然后进⾏编码,向
量化存⼊到向量化的库中;nomic-embed-text-v1模型就是做这个事情的。
2.检索向量库:根据⽤户的提问,到向量库中去进⾏向量匹配,检索出相似的chunk,作为提问的
上下⽂;
3.⽣成回复:将⽤户的提问内容和检索的块结合发送给⼤模型,⼤模型结合两者进⾏问题的回
复;
这样做有什么好处那?
1.由于⽇常的业务知识是保存到本地的,所以减少信息泄露的⻛险;
2.由于提问结合了业务知识,所以减少了模型的幻觉,即减少了模型的胡说⼋道;
3.模型的回复结合了业务知识和实时知识,所以实时性可以更好;
4.不⽤重新训练模型,微调模型降低了成本;
三实践
需要安装以下⼯具:
1.Ollama:⽤于下载和管理模型,前⾯⽂章介绍过;
2.DeepSeek-R1:我们本次要使⽤的LLM模型,前⾯⽂章也介绍过;
3.Nomic-Embed-Text向量模型:⽤于将⽂本库进⾏切分,编码,转换进⼊向量库;
4.AnythingLLM:开源AI私有化应⽤构建平台,即将多个模型搭配起来,共同构建⼀个私有化应
⽤;利⽤强⼤的内置⼯具和功能快速运⾏本地LLM,⽆需复杂的设置。Ollama和DeepSeek-
R1模型前⾯已经安装过了,就不再赘述,下⾯安装另外两个⼯具;
3.1Nomic-Embed-Text模型安装
简单介绍下,Nomic-Embed-Text模型是⼀个强⼤的嵌⼊式⽂本处理⼯具,将我们的业务知识(专
业点的叫法语料库)转成⾼纬度的向量空间中的点,以便后续进⾏相似度计算、分类、聚类、检索
等。听起来这个好像很⾼级,如果简单来看的话,其实底层原理也简单,⽂本相似度可以通过两个
⾼纬度向量的余弦值⼤⼩来判断的,余弦值越⼤的,两个⾼纬度向量靠的越近,相关性⼤,反之亦
然,当然也有复杂的算法。
余弦值计算
通过pull命令直接安装,⼤⼩为274MB,还是⽐较⼩的:
ollamapullnomic-embed-text
然后通过ollamalist查询:
mac@MacdeMacBook-Promodels%ollamalist
NAME
ID
SIZE
MODIFIED
nomic-embed-text:latest
0a109f422b47
274MB
17minutesago
deepseek-r1:1.