人工智能|对标GPT-3、AlphaFold，智源研究院发布超大规模智能模型系统“悟道1.0” 大数据|java|编程语言|人脸识别

文章图片

文章图片

出品 | AI科技大本营（ID:rgznai100）
3月20日，北京智源人工智能研究院发布我国首个超大规模智能模型系统“悟道1.0”。“悟道1.0”由智源研究院学术副院长、清华大学唐杰教授领衔，带领来自北京大学、清华大学、中国人民大学、中国科学院等单位的100余位AI科学家团队联合攻关，取得了多项国际领先的AI技术突破，形成超大规模智能模型训练技术体系，训练出包括中文、多模态、认知、蛋白质预测在内的系列模型，勇闯通用智能发展前沿，构建我国人工智能应用基础设施。同时，与龙头企业共同研发工业级示范性应用，加快大规模智能模型应用生态建设。

文章图片
从“大炼模型”迈向“炼大模型”，“悟道”模型旨在探索通用智能会上，智源研究院院长黄铁军教授介绍了“悟道”模型研发的初衷。据他介绍，本轮人工智能浪潮的基本特点是“数据+算力+算法=模型”，模型浓缩了训练数据的内部规律，是实现人工智能应用的载体。近年来人工智能的发展，已经从“大炼模型”逐步迈向“炼大模型”的阶段，通过设计先进的算法，整合尽可能多的数据，汇聚大量算力，集约化地训练大模型，供大量企业使用，这是必然趋势。

文章图片

【人工智能|对标GPT-3、AlphaFold，智源研究院发布超大规模智能模型系统“悟道1.0”】智能模型不仅要规模大（主要体现为参数量），还要智商高，才能满足各种应用需要，这需要突破大量技术挑战。例如：如何使得预训练模型具备像人类一样的符合逻辑、意识和推理的认知能力？如何实现对图、文和视频等多模态数据和信息的理解和建模的统一？如何将中文融入预训练模型，推动中文应用背景下的人工智能的发展？如何使得预训练模型深入融入自然科学研究，在目前基础上进一步实现对超长/复杂蛋白质序列的建模和预测？

文章图片

会上，“悟道”模型技术委员会主任、智源研究院学术副院长唐杰教授介绍了“悟道”模型的战略布局及阶段性成果。据介绍，“悟道1.0”先期启动了4个大模型的研发：面向中文的预训练语言模型悟道·文源、首个公开的中文通用图文多模态预训练模型悟道·文澜、具有认知能力的超大规模预训练模型悟道·文汇、以及超大规模蛋白质序列预测预训练模型悟道·文溯。
在科研方面，“悟道1.0”模型正在逐步搭建并完善超大规模预训练模型技术体系，取得了多项国际领先的AI技术的突破：在基础性能方面，在自然语言理解和生成、跨视觉和文字的理解与检索等多项任务上取得更好表现；针对预训练模型有效使用，提出高效算法；进一步实现规模和性能的扩增中面临的挑战；以及建设并开放了全球最大中文语料数据库WuDaoCorpora。

文章图片

应用生态“三步走”：探索“悟道”大模型生态发展在模型研发的同时，智源研究院也在同步探索“悟道”模型的应用生态建设模式。据唐杰教授介绍，后续“悟道”模型将以开放API（应用程序接口）的形式对外提供服务，用户通过申请并经授权后可以基于模型API开发各类智能化应用。另外，也会开源模型的社区版本，服务我国AI科研发展。
下一步，“悟道”模型应用生态建设分为三个主要阶段，分别关注示范应用、API生态及社区运营维护等。第一阶段为示范性应用搭建，将构建面向电子商务、智能文本服务、垂直领域以及数个独立的示范性应用，将开放几个高质量的应用Demo，支持用户在平台页面上使用及测试。第二阶段为API及平台生态构建，将设计多个API，支持对模型的不同请求方式，构建支持高并发、高速推理的API接口，分别支持企业级用户、个人独立开发者对模型或特定功能的请求。第三阶段为社区运营及迭代，将逐步增量扩大在线评测，构建开发者及使用者社区，建立完善的使用反馈机制，并作为模型迭代的参考标准，同时加强社区维护及管理，加快模型迭代。
目前，智源研究院已启动第一阶段的示范性应用搭建，正与快手、搜狗、360、阿里、智谱华章、一览群智、循环智能、新华社等机构就模型的应用进行洽谈，联合构建一批工业级示范性应用。
下一步，智源研究院将加强用户的开发，做好用户服务，与AI龙头企业共同研发更多工业级示范性应用，并将加快推动API生态构建及社区运营迭代工作，通过举办学术交流、技术挑战赛等活动提高“悟道”模型的影响力，吸引更多AI企业、研究机构、个人开发者等开展基于模型的应用开发工作，推动构建国际领先的超大规模智能模型应用生态。
此外，为了更好地推动“悟道”大模型的研发，保持研发过程中技术的领先性，此次发布上，还同时成立了由北京大学鄂维南院士等9位来自学术界和产业界的顶尖科学家组成的“悟道”大模型技术委员会。