大模型在办公方向的实践与思考.pptx

在办公方向的实践与思考分享人：阿里巴巴钉钉李祎嵩钉钉文档DINGTALKDOCS

02钉钉AI助理架构03大模型训练的实践和思考04展望与思考01大模型在钉钉办公场景案例

大模型在钉钉办公场景案例

AI助理生成周报

文档翻译

文档LUI

文档LUI

白板涂鸦作画

白板图片风格迁移

白板智能海报

IM文件速读

IM视频速读

IM图片速读

钉钉AI助理架构

大模型训练的实践和思考

01大模型训练概述大模型训练的起手式

02大模型训练核心流程大模型训练的起手式SFT在业务上的思考核心流程标注数据，用于SFT根据人类反馈，训练奖励模型通过强化学习优化模型产品设计生成多张图片让用户选择点赞和点踩回流用户反馈数据

03SFT与RLHF大模型训练的起手式微调是指在已经预训练好的大模型基础上，使用特定数据集进行进一步的训练，使模型适应特定任务或领域。SFT可以激发模型解决问题的能力，让模型能够准确地理解用户指令，给出合理的输出结果。简单来说，微调主要目的是完成知识注入和指令对齐SFTSFT、训练奖励模型（RewardModel，RM)、强化学习（ReinforcementLearning，RL）。RLHFDPODPO的目的和RLHF一样都是可以让模型的输出更偏向于人类喜好，但是相比RLHF，DPO不依赖于明确的奖励建模或强化学习，性能和计算成本更加轻量级。

04SFT常用方法大模型训练的起手式LoRA在原模型旁边增加一个旁路，通过低秩分解（先降维再升维）来模拟参数的更新，在训练时只训练矩阵A和B。FullParameterFineTuning通过更新所有参数来最大程度地优化模型对新任务的理解和表现。FFT训练成本比较高，因为参数量和预训练的相同。Adapter-basedTuning一种以串行形式加入到原模型中的模块，使模型在推理时的速度降低了4%-6%，这使得在实际部署中往往不会考虑Adapter方法。PrefixTuningPrefixTuning在每个Attention层都加入PrefixEmbedding来增加额外的参数。

05数据更加重要大模型训练的起手式ChatmodelORbasemodel预训练模型选择数据过于领域的数据会灾难性遗忘，但也某些实际业务场景，可以通过意图识别+业务专属模型解决。数据过多可能导致过拟合文本数据中，短文本多用户交互，更多长文本均使用“文件”形式表达，“文档理解”尤为重要。参数LR、warmup、Epoch的目是让Loss更快收敛

文档格式转换钉钉文档转换为各种类型文档，长图、PDF、word、ppt..各类型文件的相互转换场景分析一：文档生成长图文档格式引擎

文档格式解析文档与大模型交互，文档还原度决定模型效果。超大文档、超长文档如何解决。场景分析二：文档速读场景文档格式引擎

场景分析三：文档问答场景RAG：文档理解、分片、向量化Query优化、召回策略排序策略架构/产品：先学习，在检索文档格式引擎

OOXML文档格式引擎

MarkuplanguagesOOXML核心OPC文档格式引擎

WordprocessingMLDocx是什么内存结构文档格式引擎

docx举个例子内存结构文档格式引擎文档格式引擎

PDF举个例子协议数据文档格式引擎文档格式引擎

大模型训练实践-AIPPT产品形态生成一个PPT训练模型生成PPT核心问题

大模型训练实践-AIPPTPPT内存结构训练目标

复杂场景的推理与训练基于分治推理方案，整体任务使用树描述遍历推理。推理具备拆解任务的dataset具备叶子结点独立计算的dataset具备任务回溯父节点的dataset训练

展望与思考

安全更加重要模型训练的数据安全模型应用的数据安全

大模型效果持续提升多模态迅速发展大模型成本持续降低

Thanks！钉钉文档DINGTALKDOCS

钉钉?证中国企业数字化升级之路

钉钉文档DINGTALKDOCS钉钉数字人开通体验文档格式转换、AI合作文档私有化部署技术交流钉钉微信