0210训练本地部署DeepSeek模型【参考】.pdf
训练本地部署DeepSeek模型【仅供学习参考】
前置条件
完成ollama来本地部署deepseek的。
在c盘安装ollama
通过cmd终端运行ollamarundeepseek-r1:1.5b命令,安装deepseek大模型
模型文件安装在D:\ollama\models。
人工智能、AI、大数据方面的零基础,
只会javascript,或略懂一些php、python
准备一些.txt文件做为数据
目标:
想对deepseek-r1:1.5b进行训练
1.微调的准备工作
Step1:确认模型路径
我本人的模型文件安装在D:\ollama\models,
这是Ollama存放模型文件的目录
Step2:准备训练数据
做为读者的你也要准备一些.txt文件。
确保这些文件的内容是纯文本,每行可以是一个训练样本。
例如:
你好,我是小明。
今天天气真好。
你喜欢编程吗?
Step3:安装Python和相关工具
虽然你不会Python,但微调模型需要使用Python工具。
别担心,我会尽量简化步骤:
1.安装Python:
从Python官网下载并安装Python
安装时记得勾选“AddPythontoPATH”
2.安装依赖库:打开cmd终端,运行以下命令:
pipinstalltorchtransformersdatasets
这个的安装,非常缓慢
英文音标
torch:/tɔːrtʃ/
transformers:/trænsˈfɔːrmərz/
datasets:/ˈdeɪtəˌsɛts/
这三个Python库:
torch、transformers和datasets
它们是机器学习(特别是深度学习)和自然语言处理(NLP)领域常用的工具库
torch
是PyTorch的核心库,是一个开源的深度学习框架。它提供了用于构建、训练和部署深度学习模
型的工具和接口。
transformers
是HuggingFace提供的一个开源库,专注于自然语言处理(NLP)任务的预训练模型和工具
datasets
也是HuggingFace提供的一个开源库,用于管理和加载各种机器学习任务中的数据集(尤其是
NLP数据集)
这三个库的结合通常用于以下场景:
使用datasets加载数据。
使用transformers加载和微调预训练的NLP模型。
使用torch搭建和训练深度学习模型。
它们是NLP和深度学习领域开发者的主要工具链之一
安装过程中:
红框处显示:当前下载进度和预计剩余时间
9.2/204.1MB:表示当前已经下载了9.2MB,总共需要下载204.1MB
22.2KB/s:表示当前下载速度是每秒22.2KB
eta2:41:12:表示预计还需要2小时41分钟12秒才能完成下载
eta是EstimatedTimeofArrival的缩写,即预计完成时间
安装成功提示如下:
-上面是,安装了哪些东西-下面是,成功安装了哪些
piplist命令
piplist命令用于列出所有已安装的Python包及其版本号
查看列表中,是否有torch、transformers和datasets
2.加载预训练模型和分词器
2.1选择编辑器
推荐使用以下编辑器:
VSCode:功能强大,支持Python开发。
PyCharm:专门为Python设计的IDE。
JupyterNotebook:适合初学者,交互式操作。
记事本/文本编辑器:最基础的编辑器。
这里以VSCode为例。
2.2新建工作目录
1.在D:\ollama\目录下新建一个文件夹fine_tune_deepseek,用于存放所有