LOADING STUFF...

CHATGPT前世今生

ChatGPT11个月前发布 张3Phone
0
一、GPT与ChatGPT的基本概念

GPT是技术模型的统称,而ChatGPT是在GPT模型下推出的的AI应用工具。

1、GPT模型

GPT(模型),全称是Generative Pre-Trained Transformer模型,可以看到里面一共3个单词,Generative生成式、Pre-Trained预训练、和Transformer。

1.1 Generative生成式

在机器学习里,有判别式模式(discriminative model)和生成式模式(Generative model)两种区别。生成式模型相比判别式模型更适合大数据学习,后者更适合精确样本(人工标注的有效数据集)。要更好实现预训练(Pre-Training),生成式模式会更合适。

1.2 Pre-Trained预训练

先通过大量的无监督预训练(Unsupervised pre-training),【注:无监督是指不需要人介入,不需要标注数据集(不需要教材和老师)的预训练。】再通过少量有监督微调(Supervised fine-tunning),来修正其理解能力。

1.3 Transfomer模型

简单来说,传统模型RNN对顺序依赖存在,而可以并行、速度更快的Transformer模型可以替代当前的递归模型,消减对输入输出的顺序依赖。

Transformer模型问世后,也是迅速取代了RNN的系列变种,成为主流的模型架构基础。

 

2、ChatGPT应用工具

ChatGPT, 简单的说就是AI聊天机器人。是一种专注于对话生成的语言模型下的AI工具。

通过学习大量现成文本和对话集合(例如Wiki),ChatGPT能够像人类那样即时对话,流畅的回答各种问题。(当然回答速度比人还是慢一些)。并且实现连续对话,极大的提升了对话交互模式下的用户体验。

 

二、GPT技术发展和演进

GPT从开始至今,其发展历程如下:

 

1. 2017年6月,Google发布论文《Attention is all you need》,首次提出Transformer模型,成为GPT发展的基础。 论文地址: https://arxiv.org/abs/1706.03762

GPT之T-Transformer模型的两大革命性意义:

①摆脱了人工标注数据集(大幅降低人工数量 )

这个关键障碍就是:过往训练我们要训练一个深度学习模型,必须使用大规模的标记好的数据集合(Data set)来训练,这些数据集合需要人工标注,成本极高。打个比方,就是机器学习需要大量教材,大量输入、输出的样本,让机器去学习、训练。这个教材需要量身制定,而且需求数量极大。好比以前要10000、10万名老师编写教材,现在只需要10人,降低成千上万倍。那么这块是怎么解决的呢?简单描述一下,就是通过Mask机制,遮挡已有文章中的句段,让AI去填空。好比是一篇已有的文章、诗句,挡住其中一句,让机器根据学习到的模型,依据上一句,去填补下一句。

这样,很多现成的文章、网页、知乎问答、百度知道等,就是天然的标注数据集了(一个字,超省钱)。

②化顺序计算为并行计算,巨幅降低训练时间

除了人工标注之外,RNN的重大缺陷,就是顺序计算,单一流水线的问题。Self-Attention机制,结合mask机制和算法优化,使得 一篇文章、一句话、一段话能够并行计算。

 

2. 2018年6月,OpenAI 发布论文《Improving Language Understanding by Generative Pre-Training》(通过生成式预训练提升语言理解能力),首次提出GPT模型(Generative Pre-Training)。论文地址: https://paperswithcode.com/method/gpt 。

提出GPT模型的核心主张1-预训练(pre-training)、核心主张2-生成式(Generative)。GPT相比原版Transfomer的模型改进,下面是GPT的模型说明,GPT训练了一个12层仅decoder的解码器(decoder-only,没有encoder),从而使得模型更为简单。

GPT模型的训练规模:GPT采用了一个名为BooksCorpus的数据集,包含了超过7000本未发表书籍。

 

3.2019年2月,OpenAI 发布论文《Language Models are Unsupervised Multitask Learners》(语言模型应该是一个无监督多任务学习者),提出GPT-2模型。论文地址: https://paperswithcode.com/method/gpt-2

GPT-2模型相比GPT-1的核心变化:

GPT-2的时候,OpenAI将有监督fine-tuning微调阶段给直接去掉了,将其变成了一个无监督的模型。

同时,增加了一个关键字**多任务(multitask)**,这点从其论文名称《Language Models are Unsupervised Multitask Learners》(语言模型应该是一个无监督多任务学习者)也可看出。

 

4.2020年5月,OpenAI 发布论文《Language Models are Few-Shot Learners》(语言模型应该是一个少量样本(few-shot)学习者,提出GPT-3模型。论文地址: https://paperswithcode.com/method/gpt-3

GPT-3的突破式效果进展描述:

①GPT-3在翻译 、问题回答和完形填空中表现出强大的性能,同时能够解读单词、句子中使用新单词或执行3位数算订。

②GPT-3可以生成新闻文章的样本,人类已然区分不出来。

 

5.2022年2月底,OpenAI 发布论文《Training language models to follow instructions with human feedback》(使用人类反馈指令流来训练语言模型),公布Instruction GPT模型。论文地址: https://arxiv.org/abs/2203.02155

在GPT-3的基础上,基于人工反馈(RHLF)训练一个reward model(奖励模型),再用reward model(奖励模型,RM)去训练学习模型。

①对GPT-3进行**fine-tuning(监督微调)**。

②再训练一个Reward Model(奖励模型,RM)

③最后通过增强学习优化SFT

 

6.2022年11月30日,OpenAI推出ChatGPT的AI聊天机器人,并提供试用,全网火爆。

ChatGPT和InstructionGPT本质上是同一代际的,仅仅是在InstructionGPT的基础上,增加了Chat功能,同时开放到公众测试训练,以便产生更多有效标注数据

 

7.2023年3月15日,OpenAI宣布了GPT-4。这是其AI语言模型系列中的最新产品,可为ChatGPT和新Bing等应用程序提供支持。

GPT-4是一个超大的多模态模型(large multimodal model ),也就是说,它的输入可以是文字(上限2.5万字),还可以是图像。

GPT-4 在专业和学术能力的 benchmark 上已经达到了人类水平。例如模拟律师考试分数占所有应试者的前 10%,而 GPT-3 的测试结果为倒数 10%。

ChatGPT和GPT-4之间的区别是很微妙的。只有当任务的复杂性达到足够的阈值时,差异就出现了,GPT-4比ChatGPT更可靠、更有创意,并且能够处理更细微的指令。

 

三、AI技术的商业潜能

AI 2.0将在六大领域加速点燃商业潜能,进入提升生产力的应用井喷期。

 

第一个领域是,AI 2.0 +电商/广告。

AI 1.0和AI 2.0都有个特色,就是可以“千人千面”,每个人看到同一个产品,它的描述和图片可以完全不一样。所以,AI 2.0时代,电商及广告将更为AI大数据驱动,能够做到实时测试和动态调整,甚至把几分钟前的社会热点融入广告内容,最大程度提高转化率。抖音为什么火?虽然抖音更多的视频是人拍的,但这些视频用AI推荐引擎精准地推给每个用户,所以每个人看到的是不一样的,这就是“千人千面”。

所以,AI 2.0可以针对不同受众量身定制和实时生成内容,真正实现“千人千面”的营销。

 

第二个领域是,AI 2.0 + 影视/娱乐。

AI可以根据大众的喜好定制电视和短视频内容,使其创作的内容更容易吸引大众的眼球,获得更好的收视率和口碑。AI +多模态的创作,将成为下一世代的娱乐主流,AI辅助创作会逐步形成全新的创意产业生态价值链。

 

第三个领域是,AI 2.0 + 搜索引擎。

未来的搜索引擎将由传统的检索模式,变成“提问-回答”的模式。下一代的对话式搜索引擎,将成为全球科技巨头角逐的“AI 2.0 圣杯”,当今搜索广告商业模式也将迎来变革。但由于人们对搜索结果有“精准”的期待,如今的技术要做好问答式搜索还需要很多进步。

 

第四个领域是,AI 2.0 + 元宇宙/游戏。

AI 2.0将大大降低游戏和元宇宙等虚拟世界的内容生成的成本。例如AI可以成为实时聊天伴侣,增强互动的乐趣,提高娱乐性,激励用户参与,最大化游戏时长。

GPT很早之前的应用就是玩文字游戏,还有元宇宙,最近不太火了,其中一个原因就是产生元宇宙内容价格昂贵,但AI 2.0可以使成本大大下降,推动元宇宙发展。

 

第五个领域是,AI 2.0 +金融

更快、更准确、更智能的内容生产方式,将大幅度提高财经新闻和市场研究分析的及时性与产出量。但由于财经内容的严肃性,人工进行事实核查和验证仍不可或缺。AI 还可以将金融信息的生产和金融产品的上线自动化,提高金融机构信息流及交易量的效率和质量。

 

第六个领域是,AI 2.0 +医疗。

AI能够快速精准分析患者的整体健康状况,吸纳所有数据、生物特征、体检、病史和个人模型预测,成为医生们的得力助手,大幅加速科学诊断和治疗决策。借助AI能够进行更有的放矢的药物研发,实现个性化的医疗分诊和诊疗方案,推动“个性化医学”的到来。

 

 

参考资料:

1. https://www.freebuf.com/articles/others-articles/352202.html十分钟理解ChatGPT的技术逻辑及演进(前世、今生)

2. 陈巍:ChatGPT发展历程、原理、技术架构详解和产业未来 (收录于GPT-4/ChatGPT技术与产业分析) – 知乎 (zhihu.com)

3. 李开复最新万字演讲:AI 2.0是绝对不能错过的一次革命 – 知乎 (zhihu.com)

4. 从GPT-1到ChatGPT及最新的GPT-4,GPT系列技术的发展过程简介 – 知乎 (zhihu.com)

 

 

© 版权声明
广告也精彩

相关文章

暂无评论

暂无评论...