记者 | 崔鹏
近日,百度集团副总裁吴甜与界面新闻等多家媒体分享了百度“文心大模型”的最新进展。
吴甜表示,2022年是“文心大模型”产业落地关键年,目前“文心大模型”已大规模应用于百度内部的各类产品,包含搜索、信息流、小度智能屏、百度地图等,而“文心大模型”的个人、企业开发者数量已超过6万人。
随着数据井喷、算法进步和算力突破,泛化能力和通用性强的预训练大模型正在成为人工智能发展的关键方向,并成为人工智能产业应用的重要推动力。
人工智能技术要想在传统产业升级转型的过程中实现普及,需要与各行各业的差异化场景深度融合,而大模型能加速这种融合的进展:它通过集中提供通用算法模型,打造技术底座,让大多数企业的标注数据更少、开发效率更高、应用成本更低,从而大幅降低人工智能的应用门槛。
2019年3月,百度发布中国首个正式开放的预训练模型ERNIE1.0;2021年12月,ERNIE 3.0升级为知识增强千亿大模型“鹏程-百度文心”。
在吴甜看来,“文心大模型”作为产业级大模型,核心价值在于驱动人工智能的规模化应用,吸纳更多开发者参与其中。
所以,为了进一步降低人工智能的应用难度,“文心大模型”还为开发者提供了工具平台,配套易上手的大模型开发、轻量化、部署工具,让各行各业的开发者都能低门槛实现人工智能的应用。
吴甜介绍称,通过大模型与国产深度学习框架融合发展,百度已经构建出自主创新的AI基底,能驱动人工智能的规模化应用。
百度方面表示,支撑“文心大模型”高效分布式训练的关键技术,是百度飞桨平台自主研发的端到端自适应分布式训练框架与4D混合并行技术。
吴甜告诉界面新闻等媒体,基于百度飞桨平台与百舸集群,“文心大模型”在算法、框架、算力层面实现了自主创新。
百度官方还称,目前公司多个大模型已经处于领先水平,包括全球首个百亿参数中英文对话大模型PLATO-XL、聚焦中英文场景大规模OCR结构化预训练模型VIMER– StrucText、中文跨模态生成模型ERNIE-ViLG等。
来源:界面新闻