T ISC 0076—2025 人工智能 大规模预训练模型总体技术要求及评估方法.pdf

ICS35.240

CCSL70

团体标准

T/ISC—

00762025

人工智能大规模预训练模型总体技术要

求及评估方法

Artificialintelligence—Technicalrequirementsandtestingmethods

forlarge-scalepre-trainedmodel

（发布稿）

2025-03-14

2025-03-14发布2025-04-14实施

中国互联网协会发布

T/ISC0076—2025

目次

前  言II

引  言III

1范围1

2规范性引用文件1

3术语和定义1

4符号和缩略语3

5概述4

6大模型系统参考架构4

6.1参考架构4

6.2系统角色5

7大模型系统技术要求5

7.1基础设施层5

7.2数据层6

7.3模型层7

7.4应用层8

7.5系统安全9

8大模型能力评估方法9

8.1评估框架9

8.2评估指标10

8.3评估数据集要求12

8.4评估流程13

附录A（资料性）评估指标14

A.1客观评估指标14

A.2主观评估指标16

A.3主观指标评分方法16

附录B（资料性）评估数据集18

B.1通用评估数据集18

B.2行业评估数据集21

附录C（资料性）通信行业评估示例22

C.1确定评估对象22

C.2确定评估能力项、任务项及评估指标22

C.3确定评估数据集和评估方式24

C.4输出评估结果24

I

前  言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

本文件由中国互联网协会归口。

本文件起草单位：中国移动通信集团有限公司、中国互联网协会人工智能工作委员会、中国信息

通信研究院、北京智源人工智能研究院、中石油（北京）数智研究院有限公司、中国石油化工集团有

限公司、国能数智科技开发（北京）有限公司、石化盈科信息技术有限责任公司、南方电网人工智能

科技有限公司、新华三技术有限公司、上海燧原科技股份有限公司、北京百度网讯科技有限公司、中

移（苏州）软件技术有限公司、海光信息技术股份有限公司、华为技术有限公司、浪潮通信技术有限

公司、中科寒武纪科技股份有限公司、摩尔线程智能科技（北京）股份有限公司、广州趣丸网络科技

有限公司、上海天数智芯半导体有限公司、中讯邮电咨询设计院有限公司、麒麟合盛网络技术股份有

限公司

本文件主要起草人：冯俊兰、邓超、邓凯、金镝、贾云飞、曹汐、秦日臻、张诗雨、聂锦燃、朱

妍、燕江依、樊威、刘颖、杨熙、刘速、吕庭龙、赵学良、官锋、陈胤、韩嘉航、卢志良、任正国、

万晓兰、李韬、梅敬青、王思善、高浩、张航、马德营、张颖、贺群、张其仁、于超、