电子行业深度报告:AI新范式,云厂商引领与内需为王.docx
目录
ScalingLaw2.0,CSP的私域数据成为关键 3
关于ScalingLaw的争议,从数据规模到数据精度 3
CSP的三大利器:私域数据、推理需求、从云到端 5
CSP异军突起,百舸争流的算力竞争时代开启 9
从外采到自研,CSP的算力升级之路 9
CSP算力供应链新变革 16
端侧:豆包出圈,互联网巨头入局AI终端 28
字节豆包先行,加速端侧落地 28
AI终端空间广阔,SoC是影响体验的核心硬件 32
投资建议 36
行业投资建议 36
相关公司梳理 36
风险提示 40
插图目录 41
表格目录 41
ScalingLaw2.0,CSP的私域数据成为关键
关于ScalingLaw的争议,从数据规模到数据精度
大模型的摩尔定律,算力需求指数级增长
ScalingLaw是AI产业发展的通用规律,在ScalingLaw下,大模型对算力的需求以每年10倍左右的速度增长,甚至超过了摩尔定律下半导体晶体管密度的增长速度。AI大模型的算力需求在过去几年呈现快速增长的态势,Transformer算力需求在2年内增长750倍,平均每年以接近10倍的速度增长。以OpenAI的GPT为例,GPT1在2018年推出,参数量级为1亿个,OpenAI下一代推出的GPT5参数量级预计达到10万亿。
图1:AI大模型对算力的需求超过摩尔定律
资料来源:CSDN,
数据成为瓶颈,ScalingLaw放缓
大模型的ScalingLaw表明,计算量、数据量、参数规模三个因素的增长能够不断提升大模型的性能。在任意其他两个指标不受限制的情况下,大模型的性能和另一个因素都呈现幂律关系,在大模型过去的发展过程中,算力、数据量、参数规模三个指标均没有达到上限,ScalingLaw仍然在发挥作用,大模型的性能也在持续改善。
图2:ScalingLaw的三要素:算力、数据量、参数规模
资料来源:EliasZ.Wang《ScalingLawsforNeuralLanguageModels》,
然而公开数据量的有限性制约了ScalingLaw进一步发挥作用。据IDC,2018年全球数据总量为39.9ZB,预计到2028年,全球数据总量将达到393.8ZB,CAGR增速为25.7%,该增速远远低于ScalingLaw下大模型参数和算力需求每年10倍左右的增长速度。PabloVillalobos等人的研究表明,在2028年左右,大模型能够获得的数据量级将达到上限,受限于数据量,ScalingLaw将会放缓。实际上,由于大模型自2022年底以来的加速发展,数据量可能在2028年以前就会达到天花板,从而限制ScalingLaw发挥作用。
放缓 图3:2018-2028年全球数据量 图4:大模型ScalingLaw将在2028
放缓
资料来源:IDC, 资料来源:《Willwerunoutofdata?LimitsofLLMscalingbasedonhuman-generateddata》PabloVillalobos等,
ScalingLaw2.0,高精度私域数据的强化学习
当下传统的ScalingLaw受限于数据量,私域高精度数据或成为ScalingLaw2.0的核心要素。12月15日,在NeurIPS大会上,OpenAI前首席科学家Ilya在公开演讲中提到,由于目前“我们已经达到了数据的峰值,未来不会再有更多的数据”,当前AI模型的预训练方式可能走向终结。Ilya的发言认为当前传统的ScalingLaw即将失效,新的ScalingLaw,即在特定领域的强化学习将发挥更
重要的作用。想要在特定领域训练出垂直化的“专家大模型”,数据的数量不再成为衡量数据好坏的唯一标准,数据的精度、准确度等指标更为重要,私域数据、人工标注的数据可能成为下一阶段大模型发展过程中的核心竞争力。
图5:低精度的训练数据增多可能反而对模型性能造成
损害
图6:使用更高精度的数据将减小因数据质量不佳而对
模型性能造成的损害
资料来源:《ScalingLawsforPrecision》, 资料来源:《ScalingLawsforPrecision》,
CSP的三大利器:私域数据、推理需求、从云到端
CSP:掌握私域数据,延续ScalingLaw
私域数据成为延续ScalingL