基于LLM+ChatBI的生成式AI应用宝典.docx

扫码关注公众号免

扫码关注公众号免下载资料

码

页码：2/155

目录

亚马逊云科技：LLMOps驱动生成式AI应用的运营化 3

京东电商搜索：大模型生成式检索优化实践 22

京东健康基于大模型的生成式推荐在电商标品推荐的应用 44

喜马拉雅基于大模型ChatBl实践探索 60

ChatBI：基于文心一言的生成式数据分析技术探索 70

面向生成式AI的向量数据库：架构，性能与未来趋势 84

有数ChatBI：大模型驱动下的数据分析技术探索和实践 103

火山引擎基于大模型ChatBI的演进与实践 129

页码：3/155

亚马逊云科技：LLMOps驱动生成式AI应用的运营化

导读：生成式AI的应用与大模型的开发是一个复杂的过程，涉及从模型选择、微调到部署和监控的全生命周期管理。通过精细化的角色划分，提供者负责构建基础大模型，调优者进行行业定制化优化，消费者则在此基础上应用模型解决实际问题。技术上，检索增强生成（RAG）和高效微调（如PEFT）等方法有助于提升模型的准确性和适应性。亚马逊云科技的生成式AI服务通过简化的API接口，支持用户快速调用和定制大模型，提供持续优化和监控功能，确保模型在实际应用中的稳定性和效果。整个流程需要严格的评估、反馈和优化，才能推动生成式AI在各行业中的有效落地和持续改进。

本次分享的主要内容包括：

1.生成式AI用例

2.MLOps与LLMOps

3.构建核心用例

4.调优之旅

分享嘉宾｜王宇博亚马逊云科技开发者关系负责人，首席布道师

编辑整理｜陈思永

内容校对｜李瑶

出品社区｜DataFun

页码：4/155

01

生成式AI用例

生成式AI能够不断向前推进，是因为其可以获得实际的落地应用。让我们从一个简单的例子开始探讨生成式AI的应用。

1.生成式AI用例：电子邮件摘要生成器

在工作中，我们会收到大量的电子邮件，尤其是涉及长时间跨度的原始邮件及回复，我们希望能够从中快速获取关键信息，以便于进一步判断和采取行动，这时电子邮件摘要生成器就可以发挥作用。通过大模型技术，可以快速生成邮件摘要，帮助用户有效获取信息。同时，针对邮件中的技术细节和最佳实践等信息，可以快速提取相关文档，以利于优化后续工作。除此以外，很多在线应用都增添了类似功能，例如商品评论摘要等等，都是利用大模型自动提炼出关键信息。

2.从小处着手，从大处着想

从上面的例子来看生成式AI如何落地。

页码：5/155

n核心诉求：用户希望通过大模型快速获得电子邮件的摘要，这需要将大模型

应用于信息提炼。

n扩张思考：摘要生成后，用户可能需要查阅相关文档、产品能力介绍、服务

说明等，这需要更复杂的关联功能来实现。

n未来规划：随着技术的进步，期望大模型能帮助用户解决更多的领域细节问

题。

02

MLOps与LLMOps

页码：6/155

将大模型应用到实际生产实践中并非一蹴而就，需要经过复杂的技术实现，包括

数据处理、模型评估、模型调优等一系列步骤。

n模型的适应性与可扩展性：大模型的一个主要挑战是其适应性和可扩展性。随着企业和项目的需求变化，如何让大模型在不同的场景中都能高效工作，是一个技术难题。例如，一个专为电子邮件摘要设计的大模型，如何在客户服务、技术支持或市场营销等多领域中都能产生有用的信息？这需要模型具有较高的泛化能力，能够根据实际场景灵活调整。

n成本问题：大模型的训练和部署通常需要庞大的计算资源，这使得它们在生产环境中的运维成本非常高。为了应对这一挑战，云计算和分布式技术的结合显得尤为重要，尤其是采用云端结合的架构来优化成本和计算资源的利用。

n隐私保护与数据安全：大模型在处理大量敏感数据时，如何确保用户隐私和数据安全是一个亟待解决的问题。尤其是在处理电子邮件或企业内部通讯时，数据泄露或模型训练过程中不当的数据使用可能带来巨大的风险。对此，需要加强数据加密、合规审查、去标识化等技术措施。

页码：7/155

MLOps（MachineLearningOperations）指的是高效的机器学习生产落地实践方案，是使机器学习运营化的能力。FMOps（FoundationMo