利用DeepSeek-R1构建简单的本地知识库.pdf

利⽤DeepSeek-R1构建简单的本地知识库

⼀简介

初期接触LLM即⼤语⾔模型，觉得虽然很强⼤，但是有时候AI会⼀本正经的胡说⼋道，这种⼤模型

的幻觉对于⽇常使⽤来说具有很⼤的误导性，特别是如果我们要⽤在⽣成环境下，由于缺少精确性

⽽⽆法使⽤。为什么会造成这种结果那，简单来说就是模型是为了通⽤性设计的，缺少相关知识，

所以导致回复的结果存在胡说⼋道的情况，根据⾹农理论，减少信息熵，就需要引⼊更多信息。

从这个⻆度来说，就有两个途径，⼀是重新利⽤相关专业知识再次训练加强模型，或进⾏模型微

调；模型训练的成本是巨⼤的，微调也需要重新标记数据和⼤量的计算资源，对于个⼈来说基本不

太现实；⼆是在问LLM问题的时候，增加些知识背景，让模型可以根据这些知识背景来回复问题；

后者即是知识库的构建原理了。

有个专⻔的概念叫RAG（Retrieval-AugmentedGeneration），即检索增强⽣成，是⼀种结合检索

技术和⽣成模型的技术框架，旨在提升模型⽣成内容的准确性和相关性。其核⼼思想是：在⽣成答

案前，先从外部知识库中检索相关信息，再将检索结果与⽤户输⼊结合，指导⽣成模型输出更可靠

的回答。

⼆RAG原理

简单概述，利⽤已有的⽂档、内部知识⽣成向量知识库，在提问的时候结合库的内容⼀起给⼤模

型，让其回答的更准确，它结合了信息检索和⼤模型技术；

分步骤来说，⾸先是检索阶段，当⽤户输⼊⼀个问题时，系统会从外部数据库或⽂档中检索相关的

信息或⽂档⽚段。然后，在⽣成阶段，这些检索到的信息会和原始问题⼀起输⼊到⽣成模型中，⽣

成最终的答案。这样，模型不仅依赖于内部知识，还能利⽤外部实时或特定的数据。

我们⽇常简单通过chat交互⽅式使⽤⼤模型如下图：

我们搭建了RAG后，整体架构如下图：

说明：

1.建⽴索引：需要将⽇常的业务知识，以⽂件形式给分成较短的块（chunk），然后进⾏编码，向

量化存⼊到向量化的库中；nomic-embed-text-v1模型就是做这个事情的。

2.检索向量库：根据⽤户的提问，到向量库中去进⾏向量匹配，检索出相似的chunk，作为提问的

上下⽂；

3.⽣成回复：将⽤户的提问内容和检索的块结合发送给⼤模型，⼤模型结合两者进⾏问题的回

复；

这样做有什么好处那?

1.由于⽇常的业务知识是保存到本地的，所以减少信息泄露的⻛险；

2.由于提问结合了业务知识，所以减少了模型的幻觉，即减少了模型的胡说⼋道；

3.模型的回复结合了业务知识和实时知识，所以实时性可以更好；

4.不⽤重新训练模型，微调模型降低了成本；

三实践

需要安装以下⼯具：

1.Ollama：⽤于下载和管理模型，前⾯⽂章介绍过；

2.DeepSeek-R1:我们本次要使⽤的LLM模型，前⾯⽂章也介绍过；

3.Nomic-Embed-Text向量模型：⽤于将⽂本库进⾏切分，编码，转换进⼊向量库；

4.AnythingLLM：开源AI私有化应⽤构建平台，即将多个模型搭配起来，共同构建⼀个私有化应

⽤；利⽤强⼤的内置⼯具和功能快速运⾏本地LLM，⽆需复杂的设置。Ollama和DeepSeek-

R1模型前⾯已经安装过了，就不再赘述，下⾯安装另外两个⼯具；

3.1Nomic-Embed-Text模型安装

简单介绍下，Nomic-Embed-Text模型是⼀个强⼤的嵌⼊式⽂本处理⼯具，将我们的业务知识（专

业点的叫法语料库）转成⾼纬度的向量空间中的点，以便后续进⾏相似度计算、分类、聚类、检索

等。听起来这个好像很⾼级，如果简单来看的话，其实底层原理也简单，⽂本相似度可以通过两个

⾼纬度向量的余弦值⼤⼩来判断的，余弦值越⼤的，两个⾼纬度向量靠的越近，相关性⼤，反之亦

然，当然也有复杂的算法。

余弦值计算

通过pull命令直接安装，⼤⼩为274MB，还是⽐较⼩的：

ollamapullnomic-embed-text

然后通过ollamalist查询：

mac@MacdeMacBook-Promodels%ollamalist

NAME

ID

SIZE

MODIFIED

nomic-embed-text:latest

0a109f422b47

274MB

17minutesago

deepseek-r1:1.