发布信息

世界模型研究爆发:南大、Yann LeCun、李飞飞、谷歌及Odyssey的最新突破

作者:软荐小编      2024-12-21 14:03:02     139

世界模型爆炸!

近年来,与世界模型相关的研究成果不断涌现。我们报道过的有南洋理工大学周志华团队的世界模型Whale、Yann LeCun团队的世界模型研究、李飞飞世界实验室的空间智能研究、Google强大的世界模型Genie 2以及新开源的生成物理引擎可以模拟一切的创世纪。

事实上,大约在 Genesis 开源发布的同时,一家名为 Odyssey 的初创公司也向世界推出了他们的世界模型 Explorer。同时,他们还宣布皮克斯动画工作室创始人、图灵奖得主艾德·卡特穆尔 (Ed Catmull) 已加入公司董事会并进行投资。此前,11月13日,该公司宣布完成1800万美元A轮融资。

出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_

据介绍,与精灵2类似,Explorer也可以基于单张图像生成高质量的3D世界。从该公司发布的演示来看,其生成的世界的质量和细节确实非常出色。

_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资

从 Odyssey 的博客介绍来看,Explorer 服务于 Odyssey 的目标或利基领域:“我们(与皮克斯)有着共同的信念,即技术必须为故事和讲故事的人服务。在这个 AI 时代,尤其如此。”简而言之:故事为王。他们希望为电影、游戏和其他领域带来“下一个重大技术突破:生成世界模型”。

与其他具有令人惊叹的演示效果的生成模型一样,Explorer 也吸引了很多人的好评。

_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资

探索者:生成世界模型

“最好的故事带我们进入新的世界。”在《玩具总动员》、《头脑特工队》、《星球大战》、《沙丘》、《阿凡达》、《指环王》、《侏罗纪公园》、《荒野大镖客:救赎》和《最后生还者》中与其他杰作相比,艺术家们花费了数万个小时使用 3D 创作工具手动制作细节丰富的世界。这些世界充满了独特的人物、风景和音乐。这些耗时的过程既是电影、游戏等的主要推动因素,也是瓶颈。

Explorer可以简化这个过程。只需一张图片,您就可以获得非常逼真且细致的 3D 世界。

尽管 Explorer 仍处于早期阶段,但除了支持全新的应用程序或娱乐形式之外,它已经承诺显着加快电影和游戏兼容世界的创建速度。

Odyssey在博客中展示了很多例子,这里我们摘录了一些供读者评价。提示词:地下车间,一辆肌肉车被白布覆盖

出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_

出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_

提示语:2000 年代的办公室内部

出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资__出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资

提示词:日本花园,绿叶茂盛

Explorer声称有几个优点。首先,它可以生成逼真的世界,这是该模型的核心优势之一。

出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_

提示词:伦敦的一条街道。砖墙

探索者还可以生成移动的世界。该公司表示,尽管仍处于研究早期阶段,但生成世界运动(全部为 3D)拥有令人兴奋的前景,它允许艺术家以新的、更现实的方式生成和操纵运动,此外还提供对生成的视频模型的精细控制。难以复制。

_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资

提示词:厨房里的一家人。下雪了

出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_

提示词:宁静的珊瑚礁

Explorer 还可以生成高斯图。在过去的 18 个月里,许多世界顶尖的计算机图形和视觉研究人员都将注意力集中在高斯溅射上。很容易理解为什么溅射能够以令人难以置信的、几乎难以察觉的真实细节再现场景。许多人相信这可能成为 3D 表示的主要形式。 Explorer 还使用溅射作为世界表现的一种形式。

出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资__出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资

由 Explorer 生成的世界也可供进一步的人工编辑。

创意工具提供商已经注意到高斯溅射的势头,并在 Unreal、Houdini、Blender、Maya、3D Studio Max、After Effects 等中添加了对溅射可视化和操作的早期支持。

这意味着您可以使用这些工具加载甚至编辑由资源管理器生成的世界。用 Blender 编辑的世界

_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资

_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资

用虚幻编辑的世界

该公司表示已在制作流程中尝试了 Explorer:“为了测试 Explorer 是否已准备好用于生产使用,我们最近与伦敦的 Garden Studios 合作。我们将 Explorer 生成的世界传输到他们最先进的虚拟制作阶段(用于录制故事片、电视、广告、音乐视频等),并且很高兴确认我们生成的世界可以用于当今的现实世界制作流程。”

当然,Explorer还处于早期阶段,很多地方并不完美。该公司还指出了一些需要优化的地方:

目前,Explorer尚未公开,但有兴趣的读者可以尝试自行申请试用:

奥德赛:一家想用科技讲故事的AI公司

奥德赛显然是一家很早就确立了方向的初创公司。

_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资

公司有两位创始人,分别是奥利弗·卡梅伦(Oliver Cameron)担任首席执行官,杰夫·霍克(Jeff Hawke)担任首席技术官。

_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资

两位创始人的X头像

其中,Oliver Cameron曾参与Cruise和Voyage自动驾驶汽车的开发,而Jeff Hawke则主导了Wayve自动驾驶深度学习模型的开发。而他们的团队招募了来自 Cruise、Waymo、Wayve、特斯拉、微软的人员,meta 《Dune》是与许多曾从事过《孢子》、《模拟城市》、《模拟人生》等电子游戏的 NVIDIA 研究人员和工程师共同开发的, 《异形:隔离》和《汤姆克兰西》系列。 2、《哥斯拉》、《造物主》、《复仇者联盟2:奥创纪元》、《阿丽塔:战斗天使》和《侏罗纪世界:堕落王国》等电影。此外,团队的多名成员还获得过英国电影和电视艺术学院奖。

出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_

可见该公司在自动驾驶研发方面有着非常雄厚的背景。他们在11月份的博客中也提到了这一点:“事实上,我们90%以上的技术人员大部分职业生涯都在Cruise度过,而Wayve、Waymo和特斯拉都从事自动驾驶汽车的开发。这段经历让我们对构建世界模型的问题有了独特的见解。”但这一次,他们想要构建的不是一个在3D世界中导航的模型,而是一个生成世界的模型。

为此,他们考虑解决的第一个问题是收集真实世界的数据。汽车可以做一些工作,但也有一些地方汽车不能去,比如森林、洞穴、步道、海滩、冰川、公园等。最终,他们想出了一个解决方案:人体采集。

出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资_

是的,你没看错!具体来说,这将使用连接到极高分辨率多模态传感器的轻型背包计算机。该设备重 25 磅(约 11.3 千克),电池续航时间长,配备 6 个摄像头、2 个激光雷达和一个 IMU。这些传感器结合在一起,以 13.5K 分辨率和丰富的细节捕捉 360 度的世界,并且每次全景捕捉中都包含物理上准确的深度信息。更重要的是,由于人类可以精确控制传感器,因此可以确保捕获生成模型可能需要的每个角度。

现在我们知道 Explorer 的真实感来自何处。

据了解,奥德赛于今年7月12日宣布完成种子轮融资,由谷歌风投领投。今年11月13日,宣布完成1800万美元A轮融资,由殷拓创投领投。其官网还列出了一些投资者信息,从中我们还可以看到杰夫·迪恩的名字。此外,还有OpenAI、DeepMind、Midjourney等AI公司的部分研究人员参与投资。

出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资__出手即王炸?照片级真实度生成式世界模型,还获得皮克斯投资

您认为Explorer的生成世界模型的表现如何?您是否期待使用 Explorer 生成的世界制作的电影或游戏?

参考链接:

文章内视频链接:

相关内容 查看全部