GPT:GPT与对话系统设计.docx
文本预览下载声明
PAGE1
PAGE1
GPT:GPT与对话系统设计
1GPT简介
1.1GPT模型的历史与发展
GPT,或GenerativePre-trainedTransformer,是由美国人工智能研究实验室OpenAI开发的一系列预训练语言模型。GPT的历史可以追溯到2018年,当时OpenAI发布了GPT-1,这是第一个基于Transformer架构的预训练模型,它在自然语言处理(NLP)任务上取得了显著的成果,如文本生成、问答和翻译。
1.1.1GPT-1
GPT-1采用单向Transformer架构,这意味着它只能看到输入序列的过去部分
显示全部