文档详情

利用DeepSeek-R1构建简单的本地知识库.pdf

发布:2025-02-16约3.43千字共10页下载文档
文本预览下载声明

利⽤DeepSeek-R1构建简单的本地知识库

⼀简介

初期接触LLM即⼤语⾔模型,觉得虽然很强⼤,但是有时候AI会⼀本正经的胡说⼋道,这种⼤模型

的幻觉对于⽇常使⽤来说具有很⼤的误导性,特别是如果我们要⽤在⽣成环境下,由于缺少精确性

⽽⽆法使⽤。为什么会造成这种结果那,简单来说就是模型是为了通⽤性设计的,缺少相关知识,

所以导致回复的结果存在胡说⼋道的情况,根据⾹农理论,减少信息熵,就需要引⼊更多信息。

从这个⻆度来说,就有两个途径,⼀是重新利⽤相关专业知识再次训练加强模型,或进⾏模型微

调;模型训练的成本是巨⼤的,微调也需要重新标记数据和⼤量的计算资源,对于个⼈来说基本不

太现实;⼆是在问LLM问题的时候,增加些知识背景,让模型可以根据这些知识背景来回复问题;

后者即是知识库的构建原理了。

有个专⻔的概念叫RAG(Retrieval-AugmentedGeneration),即检索增强⽣成,是⼀种结合检索

技术和⽣成模型的技术框架,旨在提升模型⽣成内容的准确性和相关性。其核⼼思想是:在⽣成答

案前,先从外部知识库中检索相关信息,再将检索结果与⽤户输⼊结合,指导⽣成模型输出更可靠

的回答。

⼆RAG原理

简单概述,利⽤已有的⽂档、内部知识⽣成向量知识库,在提问的时候结合库的内容⼀起给⼤模

型,让其回答的更准确,它结合了信息检索和⼤模型技术;

分步骤来说,⾸先是检索阶段,当⽤户输⼊⼀个问题时,系统会从外部数据库或⽂档中检索相关的

信息或⽂档⽚段。然后,在⽣成阶段,这些检索到的信息会和原始问题⼀起输⼊到⽣成模型中,⽣

成最终的答案。这样,模型不仅依赖于内部知识,还能利⽤外部实时或特定的数据。

我们⽇常简单通过chat交互⽅式使⽤⼤模型如下图:

我们搭建了RAG后,整体架构如下图:

说明:

1.建⽴索引:需要将⽇常的业务知识,以⽂件形式给分成较短的块(chunk),然后进⾏编码,向

量化存⼊到向量化的库中;nomic-embed-text-v1模型就是做这个事情的。

2.检索向量库:根据⽤户的提问,到向量库中去进⾏向量匹配,检索出相似的chunk,作为提问的

上下⽂;

3.⽣成回复:将⽤户的提问内容和检索的块结合发送给⼤模型,⼤模型结合两者进⾏问题的回

复;

这样做有什么好处那?

1.由于⽇常的业务知识是保存到本地的,所以减少信息泄露的⻛险;

2.由于提问结合了业务知识,所以减少了模型的幻觉,即减少了模型的胡说⼋道;

3.模型的回复结合了业务知识和实时知识,所以实时性可以更好;

4.不⽤重新训练模型,微调模型降低了成本;

三实践

需要安装以下⼯具:

1.Ollama:⽤于下载和管理模型,前⾯⽂章介绍过;

2.DeepSeek-R1:我们本次要使⽤的LLM模型,前⾯⽂章也介绍过;

3.Nomic-Embed-Text向量模型:⽤于将⽂本库进⾏切分,编码,转换进⼊向量库;

4.AnythingLLM:开源AI私有化应⽤构建平台,即将多个模型搭配起来,共同构建⼀个私有化应

⽤;利⽤强⼤的内置⼯具和功能快速运⾏本地LLM,⽆需复杂的设置。Ollama和DeepSeek-

R1模型前⾯已经安装过了,就不再赘述,下⾯安装另外两个⼯具;

3.1Nomic-Embed-Text模型安装

简单介绍下,Nomic-Embed-Text模型是⼀个强⼤的嵌⼊式⽂本处理⼯具,将我们的业务知识(专

业点的叫法语料库)转成⾼纬度的向量空间中的点,以便后续进⾏相似度计算、分类、聚类、检索

等。听起来这个好像很⾼级,如果简单来看的话,其实底层原理也简单,⽂本相似度可以通过两个

⾼纬度向量的余弦值⼤⼩来判断的,余弦值越⼤的,两个⾼纬度向量靠的越近,相关性⼤,反之亦

然,当然也有复杂的算法。

余弦值计算

通过pull命令直接安装,⼤⼩为274MB,还是⽐较⼩的:

ollamapullnomic-embed-text

然后通过ollamalist查询:

mac@MacdeMacBook-Promodels%ollamalist

NAME

ID

SIZE

MODIFIED

nomic-embed-text:latest

0a109f422b47

274MB

17minutesago

deepseek-r1:1.

显示全部
相似文档