2024中国系统架构师大会：vivo大模型计算集群建设实践.pdf
文本预览下载声明
vivo大模型计算集群
建设实践
vivoAI架构工程师刘东阳
个人简介
刘东阳
•2018年加入vivoAI研究院
•担任vivoAI计算平台研发工程师，参与平
台从0到1建设，目前主要负责大模型训练
算力及稳定性建设
1、算力对大模型训练的重要性
目录2、大模型训练
显示全部
文档详情
相似文档
-
2024中国系统架构师大会：vivo大模型计算集群建设实践.docx
vivo大模型计算集群建设实践
vivoAI架构工程师刘东阳
个人简介
刘东阳
?2018年加入vivoAI研究院
?担任vivoAI计算平台研发工程师，参与平台从0到1建设，目前主要负责大模型训练算力及稳定性建设
目录
CONTENTS
1、算力对大模型训练的重要性
2、大模型训练对计算集群的核心诉求
3、vivo大模型计算集群的整体架构
4、vivo自研蓝心大模型训练的一些心得
算力对大模型训练的重要性
大模型训练需要消耗巨大的算力，算力的不足会影响大模型的迭代升级效率，成为大模型的发展瓶颈。
2020年，OpenAI团队在《Scal
-
2024中国系统架构师大会：打造弹性云应用：多云多 Kubernetes 集群流量方案.docx
打造弹性云应用
多云多Kubernetes集群流量方案
Flomesh高级云原生架构师张晓辉
个人介绍
张晓辉
Flomesh高级云原生架构师/布道师
资深程序员，LFAPAC开源布道师，CNCFAmbassador，云原生社区管委会成员，微软MVP，公众号“云原生指北”作者。
多年的微服务和云原生实践经验，主要工作涉及微服务、容器、Kubernetes、DevOps等。
Agenda
Kubernetes多集群与混合多云
混合多云的驱动因素
网络拓扑
多集群流量管理实践
混合多云的发展趋势
混合多云（HybridMulticloud）是指企业同
-
2024中国系统架构师大会：打造弹性云应用：多云多 Kubernetes 集群流量方案.pdf
打造弹性云应用
多云多Kubernetes集群流量方案
Flomesh高级云原生架构师张晓辉
个人介绍
张晓辉
Flomesh高级云原生架构师/布道师
资深程序员，LFAPAC开源布道师，CNCFAmbassador，云原生社区管委会成员，微软
MVP，公众号“云原生指北”作者。
多年的微服务和云原生实践经验，主要工作涉及微服务、容器、Kubernetes、DevOps等。
Agenda
Kubernetes多集群与混合多云
混合多云的驱动因素
网络拓扑
多
-
2024中国系统架构师大会：数据驱动实时全链路精细化运营实践.docx
SACC广州站/24
中国系统架构师大会
9南京口成都SYSTEMARCHITECTCONFERENCECHINA
9
南京口
成都
上海重庆
上海
架构演进1◎广州南湖假日酒店
架构演进
1◎广州南湖假日酒店
Hadoop
◎
广州云原生架构
广州
云原生架构sacc2015
分布式集群sacc20182024年3月16日
分布式集群
sacc2018
sacc2016
sacc2017sacc2013
sacc2017
sacc2014
数据驱动实时全链路精细化运营实践
广州趣丸网络科技有限公司数据产品经理：谢文恩
SACC
-
2024中国系统架构师大会：数据驱动实时全链路精细化运营实践.pdf
数据驱动实时全链路精细
化运营实践
广州趣丸网络科技有限公司
数据产品经理：谢文恩
主讲人：谢文恩
趣丸网络科技数据产品经理
多年互联网、汽车、泛零售相关大数据系统设
计以及项目实施经验；现负责趣丸集团数据应
用产品体系总体设计，主导趣丸集团智能运营、
标签画像、广告归因、AB测试等数据应用产品
设计与落地。
以上仅做部分展示
数据驱动精细化运营
-
《二零一六中国系统架构师大会-微信服务保障实践-吴广武》.pdf
微信服务保障实践
吴⼲武CADENWU
-
微信 运营系统负责⼈
微信
433天 8.1亿 6亿
监控报警
故障控制
监控什么？
业务
数据
业务问题多发的部分
功能逻辑
-
2024中国系统架构师大会：Alluxio 下一代高性能数据访问平台.docx
Alluxio下一代高性能数据访问平台
Alluxio核心研发工程师——麦嘉铭
现状:纷繁复杂的数据平台
大数据/AI之路的架构演进
同置(Co-located
同置
(Co-located)
(Disaggregated)
计算引擎HDFS紧密耦合在一起
计算引擎HDFS紧密耦合在一起
MR/
MR/HiveHDFS
HDFS
混合异构(Hybrid)混合云化部署
将需要弹性伸缩的负载和数据
将需要弹性伸缩的负载和数据迁移进公有云或者是私有云
支持更多计算框架
向对象存储过渡允许从传统大数据存储向对象存储过渡
向对象存储过渡
允许从传统大数据存储向对象
存
-
2024中国系统架构师大会：一站式向量检索平台.docx
平台介绍
关键场景实践
未来规划与探索
embedding
(-0.4136067032814026,-0.17186740040779114,...,-0.281367795440040)
ANNSEARCH
IVF-FLAT、HNSW、FLAT...
前言
03关键场景实践
04未来规划与探索
数字经济时代的到来，数据正在成为新的自然资源、新的战略资源，
海量数据的内容理解、高效检索成为业务系统的挑战
业务规模
数字经济时代的到来，未来数据量进一步增长：根据IDC的相关预测，全球数据圈将从2018年的33ZB增至2025年的175ZB，实现5倍以上的增长。预
-
2024中国系统架构师大会：一站式向量检索平台.pdf
embedding
(-0.4136067032814026,-0.17186740040779114,...,-0.281367795440040)
ANNSEARCH
IVF-FLAT、HNSW、FLAT...
数字经济时代的到来，数据正在成为新的自然资源、新的战略资源，
海量数据的内容理解、高效检索成为业务系统的挑战
业务规模
-
2024中国系统架构师大会：Alluxio 下一代高性能数据访问平台.pdf
Alluxio下一代高性能数据访问平台
Alluxio核心研发工程师——麦嘉铭
现状:纷繁复杂的数据平台
大数据/AI之路的架构演进
混合异构(Hybrid)
混合云化部署
-
2024中国系统架构师大会：Oracle OCI生成式AI解决方案.pdf
OracleOCI生成式AI解决方
案
某科技公司DBA总监尹海文
尹海文
OracleACEAssociate:Database（Oracle与MySQL）
10年数据库行业经验，现主要从事数据库服务工作
拥有OCM11g/12c/1c、MySQL8.0OCP、Exadata、CDP
等认证
墨天轮MVP、认证技术专家，ITPUB认证专家，OCM讲师
圈内拥有“总监”、“保安”、“国产数据库最大敌
-
2024中国系统架构师大会：Oracle OCI生成式AI解决方案.docx
OracleOCI生成式AI解决方
案
某科技公司DBA总监尹海文
尹海文
OracleACEAssociate:Database（Oracle与MySQL）10年数据库行业经验，现主要从事数据库服务工作
拥有OCM11g/12c/19c、MySQL8.0OCP、Exadata、CDP等认证
墨天轮MVP、认证技术专家，ITPUB认证专家，OCM讲师
圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号，非著名社恐（社交恐怖分子）
公众号：胖头鱼的鱼缸；CSDN：胖头鱼的鱼缸（尹海文）；
墨天轮：胖头鱼的鱼缸；ITPUB：
-
《二零一六中国系统架构师大会演讲-日志易》.pdf
海量日志实时搜索分析
提纲
日志的应用场景
过去的做法
现在的做法
日志搜索引擎
日志易产品架构
日志：时间序列机器数据
ª 带时间戳的机器数据
ª IT 系统信息
• 服务器
• 网络设备
• 操作系统
• 应用软件
ª 用户信息
• 用户行为
ª 物联网各种传感器信息
ª 日志反映的是事实数据
-
2024年系统架构师考试的实践性考核试题及答案.docx
2024年系统架构师考试的实践性考核试题及答案
姓名：____________________
一、多项选择题（每题2分，共20题）
1.以下哪些是系统架构设计中的关键因素？
A.可扩展性
B.性能
C.安全性
D.兼容性
E.可维护性
2.在微服务架构中，以下哪种模式可以减少服务之间的耦合？
A.事件驱动
B.服务间调用
C.API网关
D.数据库共享
E.负载均衡
3.以下哪种技术可以实现分布式系统中的数据一致性？
A.分布式锁
B.分布式事务
C.最终一致性
D.原子性
E.一致性哈希
4.在容器化技术中，以下哪种技术可以保证容器之间资源隔离？
A.虚拟化
B.容器编排
C.容器镜像
D
-
《二零一六中国系统架构师大会-业务架构变革之道-阮森灵》.pdf
业务架构变革之道
京东⾦融 阮森灵
目 录
1 为何要业务架构变革
2 业务架构变革的特点
3 京东支付的架构实践
4 业务架构的变革之道
为何要业务架构变革
p 互联网支付发展与挑战