1600代码造出水下曼哈顿, Fable 5让Karpathy看呆了
一头熊站在河边,一口咬住跃起的鲑鱼。
鱼在它嘴里拼命挣扎。
这个画面,直接把 看呆了。
他看完这一组3D视频后,在推文中说:
真的是极其令人难以想象, 在这之前, 我居然没有察觉到, 模型居然能够打造出这般精彩的、丰富异常的以及具备极高可玩性的世界。
还撂下一个新词:。
这实在是美妙至极, 堪称属于顶层级别的!每一回出现全新模型层级之时, 总会有着某种崭新事物于本质层面达成跨越从而带来令人惊喜的内容。
今年5月刚加盟,加入的正是预训练团队。
6月, 《寓言5》首次发行, 三天之后只因美国那出口管制的一纸文书便被紧急叫停, 直至7月1日刚开始解除禁令。视频创作者, 乃是AI评测平台Arena.ai 的 Peter。
他借助Fable 5, 一口气完成了63个高难度的3D生成工作, 这些生成几乎全都基于三维图形库three.js做成, 而且多数都是一次就成型的。
一个多月之前, 那时想着要让AI一下子就塑造出那种可以走进去游玩的、能够呈现3D效果的世界, 这简直就如同是根本不可能实现的幻想一般, 非常荒诞离奇。然而至今, Fable 5竟然一口气就能够创造出多达63个类似的世界了。
于是, 不由在视频里发出感慨, 就连实验室当中的人, 都还尚未完全弄清楚它究竟能够做些什么。
1600行代码,一座活着的水下曼哈顿
先说视频中最令人印象深刻的那个。
坐落在水下的是整个曼哈顿, 其中中央公园, 还有摩天楼, 以及街道纹理, 细节丰富得令人难以相信。
把代码翻出来看了一下, 发现有1600行。就仅仅是这1600行, 却支撑起了一座处于存活状态的水下之城。
寓言5所生成的曼哈顿, 站在那里看, 整一座岛都能被收入眼底, 几万栋楼无一不是各有其轮廓, 全部是由1600行代码支撑起来的。(图源: Peter 视频)
这样的世界,一共做了63个,分成6大主题。
有着横跨欧亚两岸的伊斯坦布尔, 历经2000年变迁的伦敦, 宏伟的金字塔, 庞贝曾有火山喷发, 车流穿行的金门大桥, 在巨型3D世界里, 它们一个一个都被搭建了出来。
具备一次成型特点的伊斯坦布尔, 它横跨欧亚两个大洲, 呈现出层叠延伸直至入海的态势。(图源: Peter 视频)
视频来源为Peter的, 有一个由Fable 5生成的、是一座用糖果制作的巧克力工厂的可食用王国。
具有可上手进行游玩性质的场景存在, 其中包括纽约屋顶跑酷, 还有把整座城进行拆解来玩的物理游乐场, 另外有仪表盘各项指标都完备齐全的飞行模拟。
最令人难以想象的, 是步入世界名画之中。梵高的星空, 莫奈的睡莲, 一幅幅铺展开创造出一条能够穿行的3D世界。
另外存在着一种属于不可能范畴的视角, 其中一种情况是, 在有雨的环境里, 身高仅一毫米的蚂蚁对花园进行着打量, 并且, 它刚一睁开眼睛, 便碰到了一座金山。
名为Fable 5的作品, 将视角压低至一毫米的高度, 使得草叶看上去如同长成了高耸的山峰, (图源为Peter的视频)。
森林里萤火虫同步闪烁, 尼亚加拉大瀑布属于自然奇观, 熊吃鲑鱼的场景令人震撼, 这些皆在此类。
最后, 呈现的是元素以及宇宙, 当中有被劈开的红海, 还有正在诞生的火山岛, 另外还有直插云霄的太空电梯。
可改写为: 由Fable 5 生成的红海, 从中被劈开, 人朝着两道水墙之间走进去。(图源: Peter 视频)
依其观点, 单个场景是否具有观赏性, 向来并非难题所在。困难之处在于, 模型是否能够同步驾驭数量众多的元素, 促使这些元素相互之间达成协调一致的状态。
相对较弱的那种模型, 常常在前百分之八十的部分表现得有模有样, 然而到了最后的百分之二十那就全面崩溃了, 而剩余下来的用于调试错误的时间反倒变得更长了。
你没法照抄一幅画,它得先看懂
要是讲建造城市还存在着逻辑能够有所凭借, 那么接下来的这一批画作, 才是致使一人接连说了好几个“难以置信”的。
梵高的《星空》。
这样一幅画, 你没有办法进行照抄, 画布满是厚颜料, 存在堆叠情况, 一道道的笔触, 会卷成漩涡。
《寓言5》的做法是, 用一根根彼此独立的线条, 于三维空间当中重新拼组成那片星空, 接着让你飞进去, 在漩涡之间进行穿行。
Fable 5将梵高的《星空》拆解成一根根、一条条立体的线条, 于三维空间当中重新进行拼接组合, 使得你能够飞入会旋动的星群以及漩涡之间。(图源:Peter 视频)
同样被「打开」成能够展开漫游的世界的, 有加诸于水面上的莫奈睡莲, 还有呈现在画面里的葛饰北斋浪花。
觉得, Fable此次格外通晓 将一事阐释清晰, 于演示之际从而讲透 此运行之道。该 解释效力, 原是曾经 未料。 的。
当然,这些世界并非「一句话」变出来的。
喂给模型的, 是那种又长还特别细的规格文档。多数案例一次就成型了, 不过, 也存在一部分, 做了一到两轮的微调操作。
真正的分水岭所在之处在于, 过去需要经过十几轮才能够磨制出来的东西, 当下一个HTML文件, 多数情况下一次就能够跑出来。
魔法背后,也有短板
直言不讳地讲出来, 他自己的这一批实例是经过筛选挑出来的。他制作产生的总体数量比所进行展示的数量多出了大概两成, 去除掉了存在明显漏洞的, 这才留存下了这些63个。
游戏,是它的弱项。
他坦白说出那几个具备可玩性质的场景, 声称“玩30秒便会感到腻烦”, 存在一个关于罗马帝国的版本, 他嫌弃其太过具有卡通风格倾向。
更微妙的是, 他感觉模型有时好似在偷懒, 还藏着实力, 非得反复催促它更有野心, 它才肯拿出真本事。
当《寓言5》上线之际, 于Arena.ai自身的Agent Arena榜单之上, 凭借着有史以来最为巨大的优势, 占据了榜首位置。
Arena.ai官方宣称, 此项榜单所衡量的, 乃是模型于数百万回真实任务当中切实达成目标的能力。
这场探索,才刚刚开始
再回到视频中那条狗熊捉鲑鱼的场景。
奇怪的是, 鱼被咬住时会挣扎, 这是个没人要求的细节, 一个仅从互联网学习的大模型, 怎么就晓得这些呢?
对于已经知晓的情况, 那又该如何去把这般的理解, 转化为xyz坐标, 转化为网格, 转化为变换, 转化为动画, 转化为效果, 转化为交互, 甚至转化为一个个微型故事呢?
这个问题, 已不再局限于「AI画得好不好」, 而是深入到了「它到底懂了多少」这一层面, 有了新的落点。
然后发出了感慨, 说道, 要是再往上增添一到三个模型层级, 那将会造出些什么, 真的是让人不敢去设想啊。
同样也对AI的迅猛发展感到惊叹不已, 不要让半年前的模型羁绊住自己。你可能对3D并不在意, 然而你手上终究存在着一件事情, 是过去的模型无法做到的, 而如今的它却能够达成。那就去尝试一番。
连造模型的人,都还没摸到它的边界。
这场探索,才刚刚开始。
参考资料:
