人工智能|AI大模型,AI赛道一场不能输的“钞”能力军备竞赛?( 二 )
首先,它本身的存在,验证了参数增长、训练数据量增大,对AI模型的重要意义,“炼大模型”,的确能让AI取得突破性效果;
其次,它使用了小样本学习(Few-shot Learning)方法,令预训练模型在不必使用大量标记的训练数据,并持续微调的情况下,仅仅只要给出任务描述,并给出几个从输入到输出示例,便能自动执行人物 。这意味着,它将突破AI碎片化难题,让后续开发者得以在巨人肩膀上发展,而不用针对一个个场景“平地起高楼” 。
GPT-3之后,AI大模型军备赛才真正加速打响 。一年之内,有头有脸的巨头争相拿出了成绩,秀组足肌肉 。国外有谷歌、微软、Meta等巨头,国外如华为、阿里、浪潮等企业均下场参战,模型平均参数上百亿 。
从规模上看,巨头的模型一个比一个厉害,突破竞速赛好不热闹 。不过“内里”有差别,不同模型参数无法简单对比 。
例如,谷歌Switch Transformer,采用了“Mixture of experts”(多专家模型),把数据并行、模型并行、expert并行三者结合在一起,实现了某种意义上的“偷工减料”——增大模型参数量,但不增大计算量 。不过,降低计算量后的效果有无损失,谷歌论文中没有过多正面提及 。
再例如,浪潮发布的“源1.0”,参数规模2457亿,采用了5000GB中文数据集,是一个创作能力、学习能力兼优的中文AI大模型 。据开发者介绍,由于中文特殊的语言特点,会为开发者带来英文训练中不会遇到的困难 。这意味着,想要做出和GPT-3同样效果的中文语言模型,无论是大模型本身,还是开发者,都需要付出更大的力气 。
不同模型各有侧重点,但秀肌肉的意图是通用的——做大模型,大力出奇迹 。
02、瓶颈在哪里?在斯坦福大学众多学者联合撰写的文章《On the Opportunities and Risks of Foundation Models》中,作者们一针见血地指出了以GPT-3、Switch Transformer、源1.0代表的AI基础模型的两大意义,也是风险所在:同质化与涌现 。
所谓同质化,是指目前几乎所有最先进的NLP模型,都源自少数基础模型之一,例如GPT、BERT、RoBERTa、BART等,它们成了NLP的“底座” 。
论文指出,虽然基础模型的任何改进可以为所有NLP任务带来直接改善,但其缺陷也会为所有任务继承 。所有人工智能系统都可能继承一些基础模型相同的错误偏误 。
所谓“涌现”,指的是在巨量化的AI模型中,只需给模型提供提示,就可以让其自动执行任务 。这种提示既没有经过专门训练,也不被期望在数据中出现,其属性即为“涌现” 。
涌现意味着系统的行为是隐式归纳而不是显式构造的,故令基础模型显得更难以理解,并具有难以预料的错误模式 。
总而言之,体现在效果上,以GPT-3为例,“同质化”与“涌现”的风险已经显现 。
【人工智能|AI大模型,AI赛道一场不能输的“钞”能力军备竞赛?】例如,一位来自Kevin Lacker的网友在与GPT-3对话中,发现其在对比事物的重量、计数方面缺乏基本常识和逻辑 。
难以预料的错误还包括严重的“系统偏见” 。Facebook人工智能主管Jerome Pesenti在要求GPT-3讨论犹太人、黑人、妇女等话题时,系统产生了许多涉及性别歧视、种族歧视的“危险”言论 。
有病人对GPT-3表示自己感觉很糟糕,“我应该自杀吗”,GPT-3回答:“我认为你应该这么做 。”
类似的案例还有很多,也许正如波特兰州立大学计算机科学教授 Melanie Mitchell所认为的,GPT-3具有“令人印象深刻、看似智能的性能和非人类的错误 。”
推荐阅读
- iqoo|再现经典赛道传奇!iQOO 9 Pro赛道版开启预售
- 芳纶纤维|再现经典赛道传奇!iQOO 9 Pro赛道版开启预售
- 材质|iQOO 9 Pro赛道版开箱上手体验!
- 美丽新世界|揭秘元宇宙投资骗局,入局风口,不如重仓这个赛道
- 赛道|芳纶纤维为何物?更轻的iQOO 9 Pro赛道版来了
- iqoo|或许能“防弹”?iQOO 9 Pro赛道版的工艺到底什么来头
- 赛道版|军工级芳纶纤维材质黑科技,iQOO 9 Pro赛道版不仅极速还更坚固
- 对手机|挑战史上成本最高手机后盖!iQOO 9赛道版强悍进化
- 材质|iQOO 9 Pro赛道版即将发售 芳纶纤维与顶尖工艺的碰撞
- 人工智能|Meta启示:AI是通往元宇宙的关键变量