英伟达Jim Fan:构建开放世界中的通用智能体

科技动态 2024-03-26 09:47 阅读:20

英伟达一直致力于研究具身智能和AI智能体,从AlphaGo、MineCLIP到Voyager、Eureka、Groot,不断探索着在开放世界中构建通用智能体的可能性。最近,他们推出了多模态具身智能系统Nvidia VIMA,这一系统可以在视觉文本提示的指导下执行复杂任务、获取概念、理解边界,甚至模拟物理学,标志着AI能力的显著进步。

Jim Fan在演讲中指出,训练基础智能体的过程类似于训练ChatGPT,只是ChatGPT是在大量文本数据上进行扩大,而基础智能体则接受实体化提示词和指令提示词作为输入,输出行动指令,需要在大量环境中进行扩大。因此,英伟达正在推进Groot项目,旨在为人形机器人打造基础模型。选择人形机器人的原因是因为这是最通用的形式,我们所生活的世界是为了适应人类和人类的习惯而形成的,因此在足够先进的人形机器人硬件上可以实现我们日常生活中的所有事情。

Groot项目的目标是通过海量环境训练获得通用性,并与各种基础设施共建生态。未来,新的人形机器人将搭载Jensen Thor芯片,并有望在边缘计算设备上驱动Groot。Jim Fan强调,Groot是在OSPO上诞生的,这是一个新的计算调度系统,用于在DGX上提升模型的规模,在OVX上进行模拟,以适应各种技能和环境,并在模拟与真实的场景间无缝迁移,利用GPU加速的模拟环境进行大规模扩展训练。

最后,Jim Fan表示,GEAR实验室是一项以使命为驱动的研究,通用AI之路任重道远,GEAR实验室正在不懈努力朝着这一使命前进。通过不断的研究和实践,英伟达希望能在开放世界中构建通用智能体,为人类带来更多的便利和可能性。