本次访谈主要探讨了数据在驱动人工智能,特别是大模型和机器人(具身智能)两大领域发展的核心作用与当前挑战。嘉宾谢臣基于其在自动驾驶仿真和机器人合成数据领域的创业经历,指出数据问题本质上是智能的“教育”问题。他认为,对于大模型而言,互联网预训练数据已相对充足,当前瓶颈在于如何通过后训练和高效评测(类似“因材施教”)来提升模型能力,这需要越来越多领域专家提供高质量反馈。而对于机器人产业,数据则处于“荒漠”阶段,严重缺乏物理世界的预训练数据和规模化、低成本的评价能力。他提出,仿真和合成数据是解决机器人数据瓶颈的唯一规模化路径,并将从“加速器”演变为产业发展的“前提条件”。访谈还分析了产业格局,认为大模型团队更关注通用智能和零样本泛化能力,而机器人公司更专注于具体场景落地。长远来看,可能形成大模型商提供“大脑”、数据商提供“教育”与评测、本体商和场景商负责落地应用的四方协作生态。总体而言,数据,尤其是高质量、可规模化的合成数据与评价体系,正成为制约AI,特别是具身智能迈向下一阶段的关键瓶颈与破局点。
Transcription
4585 Words, 50149 Characters
Chinese Hello 大家好,我是小郡
2016年除了嘉宾访谈
我们也很希望推出一些由内部人事带来的产业单级
那今天就是这样的一次尝试
我们知道数据算力算法是驱动人工智能的三架马车
今天这期节目我们邀请我们的反场嘉宾
光轮智能的创神监CU现成
这图通过一级节目来完整的聊聊着其中的一架马车
数据问题
我们尝试来做一个数据的产业总数
大约模型的数据遇到的是壮强的难题
机器人的数据則处在一片荒漠之中
数据产业究竟是如何硬转的
一些人正在探索的仿真数据数据进去的
有将如何改变产业的格局呢?
那接下来就是我对谢臣的访谈
如果大家对更多的产业化题感兴趣
欢迎在评论区里留言
起来我们在二零二六年和AI共同进步
从你的视角告诉我们谁变得更激进了?
我觉得自己肯定是更激进了
我觉得阿里也
我觉得偶盘人爱
我觉得地卖也觉得更激进了
对我觉得因为答
我觉得也更激进了
这是五家绝诸机型大脑的采对
对其实某种层面上我人派也应该属于这一类
其实最有效的数据是先失败再成功的数据
我觉得就是说到了中局可能
整体上来讲就跟马斯克说的
咱们人可能就在一个仿真里头
Hello Steve先给观众朋友们打个招呼
谢谢小郡的邀请
我叫 Steve 朱文明叫谢臣
我是光轮智能的创神C.O Steve其实之前来过我们的博客节目
但是因为我们今天是第一次录视频博客
所以还是请 Steve先给我们做个自我介绍
并且讲讲共产的经历
我最早是在北大物理读的本科
然后去个人表大学的商学
读了一个量化金融的博士
然后与很多我觉得在科技圈
尤其是在巨身圈创业的力量不一样
我其实刚撇了以后的经历有一些复杂
其实在电商做过动态定价的AI算法的负责人
电商哪家公司
其实当时叫摘刀抗
它是一个希望去颠覆雅马迅的一家新星的创业的公司
然后很迅速的取融了很多钱
最后其实被沃尔马受购
那当然在这个之后
其实我还做过产品经理
就也负责过产品
所以其实我一直是在算法以及落地
之间就再去思考我的下一步
直到2018年的时候
我特别幸运去了归谷
加入了Cruise
那是当时可能最领先的
或者最领先的维尔的两家
一家是微贸一家是Cruise的L4的自动价值公司
去Cruise去负责自动价值的访真
那这也是我第一次在整个行业真正的去验证了访真
以及合成数据
他们并不是一个玩具
他们真正可以有效的
去支持到算法的眼睛
在这个之后
我去了这个音伪达
在音伪达负责自动价值访真
其实也就是在音伪达的时间
也就是2021年
我刚加入
我就发现了一个可能很颠覆我的一个认知
我发现在音伪达
他们就是在车端的芯片
Orin最大的客户不是微贸和Cruise
而是魏晓宁
这个给我的一个很大的一个震撼
让我意识到可能自动价值的下一代
不会在美国
不会在归谷
而会在中国
那我必须要回国
所以其实刚刚加入音伪达六归月的时间
我就鞋家戴口
回国
加入了未来
到未来去负责他的自动价访真
在这我也特别感谢我的太太
他当时给我很大的一个支持
就抛弃了可能在美国的很多的工作
朋友 经历
然后和我一块回国
那当然就是说回国了以后
我再未来真正的去
从一个主机场的角度去实践这个访证
把它搭建成了一套的这个数据庇还
可以支持到
比方说自动价是算法的合成数据
训练以及大规模的评测
合落地
那当然这个时候我也产生了很多的一个思考
就是说访真他到底只是一个加速器的一个作用
是一个紧张天花的一个作用
还是说他是一个更加偏第一性的
他是一个更加偏一个前提条件
我那个时候就越来越感觉到自动价时
可能访真更多的是一个加速器
而对于机器人 剧身制等
他可能更会是一个先学条件
有了这个思考了以后
特别是赶上了大模型的这个眼镜
那么在2023年
我后的连创严海波
一起决定成立过温智能
那其实出发点就是希望用这个访真
用合成数据
来加速机器人这个产业
为什么你刚毕业的工作经历会相对其他人也更砸一些
你当然在寻找什么
很好的问题
我觉得其实我个人也在寻找
就是说我能够对哪一个行业
对哪一件事
能够产生最大的一个贡献
这贡献可能不是一个紧张天花
而是说我真正可以成为一个前提条件
来真正改变一个行业
那我其实本科是学物理的
物理其实很难
我刚加入北大物理的时候是年纪100世名
我可能花了三年的时间
每天晚上可能两点钟睡觉
包括韩属价都没有回过家
都在学校
最后可能是进了年纪前五
这个经历给我的感受就是说第一
确实是通过努力
你确实是可以去做得更好
但是第二的话其实天赋还是最关键的
我觉得我可能还是缺少了对于物理的天赋
后来去金融也是看到了
当时可能从物理从数学走的最好的这些同学
可能都去了金融这个行业
但是真正去读了博士里好财发现
这个行业其实开始欠缺了一些创新
且对这个社会可能没有太大的一个
从我角度来讲真正的一个贡献
那我希望更加投身到一个科技行业
那么去了科技行业了以后
其实我也是在寻找我最有价值的地方
我认为从产品端来讲的话
我特别希望去做一件事
真正能让他有效的去做地
就是给用户来提升价值
但是其实做了一段时间又发现
这件事可能缺少了一些技术的难度
一些实质的挑战不够颠覆形
所以确实是抱着这些的想法
我在不断地去寻找
那当然我觉得我最幸运的就是可能
从18年开始
我真正地找到了
我觉得最有意义的事情
且我认为他可能能够成为一个产品
能够成为一个商业模式
那这个就是访真
我记得我好像见过你的某一个师兄弟
应该也是北达武力系的
然后他说你是很少见得在北达武力系读了本科
然后很快就去个人比达读商学院的
你觉得你的特质跟你同龄人有什么不一样
我觉得我的特质的话
就是说
我可能希望做一件事
要不然就不做
要做就能够做到最好
这个最好是一个可能在国际上
能够做到第一名
第二名或者说
除了我之外就没有人能够做得更好
这样一个级别
另外就是说
我觉得还有一个特质就是
我比较希望去找一个区分部
去哥伦比达大学商学员
其实一方面是因为我的学习
各方面可能确实是比较好
但是其实最主的原因是
我想清了我不是合作物理
那我其实觉得在那个时间点
和我的同龄人比的话
我觉得可能我的思考会更多一些
因为我不断地再去找
就是说我在哪一个方面可能能够有真正的一个优势
能够与别人不一样
你找到了吗
我认为其实当时是没有找到
那我认为现在我找到了
其实我没有讲的是
我在本科的时候也创国业
我在博士的时候也创国业
我在本科其实经历更加复杂一些
在大三的时候到了年纪前五了以后
我就开始放飞了
因为我觉得就是这个
他飞到了年纪前五
对
这个成绩足够
我来去出国申请一个名校
那后面的成绩就没有那么关键了
那这个时候我就再想
那我确实的是什么
我确实的可能是真正的这种设团的体验
国际的经历
因为我可能寒窗苦度
我在这个三年的时间
而我的同学们可能
就都有各种各样的不一样的经历
那所以呢我就当时就申请
去哥伦比较大学去交换了一年
那在那一年其实是给我感受很深
当时是金融危机
那我确实也08年的时候
那确实也是这个
感受到了很多不一样的这个世界
学到了很有意思的课程
教了很多的朋友
同时也让我看到
像我这样的人很希望去
有这种在本科出国的经历
那很有可能北大、清华
很多这种高校的同学们
他们也都希望有这样一个经历
能够在本科的时候
就希望好地就感受一个这个世界
找到他们下一步的方向
所以我当时就组织了这样一个
学习团
教练团
那么等于是在北大的时候
当时就半个几次
带了很多的同学们
当时出国当美国
包括其实在博士的时候
我当时也有点先不住
也创了个也
在博士的时候
当时就是我养了一只狗
他的名字叫土豆
他是一个特别可爱的一只八哥
在他三个月的时候
被查出来有新疆病
让我就很伤心
由于对他的爱
然后也由于就是说
跟很多的狗友去交流
我发现可能一方面为了土豆
一方面为了狗友这个社区
可能需要一个应用
一动应用
来帮助大家更好的去维系
大家之间的关系
也让大家更好的去
维系他们跟狗这样的一个人间
所以我当时就
下载了很多的APP
可能下载了有500多个APP
在我的手机上
然后一个一个的去尝试
自学设计
自学鞋带码
然后把这个APP开发出来
第一次科技创业
第一次科技创业
然后做了一个狗友的应用
当时这个狗友应用
其实还在北美是拍明
可能是前三的狗友的社交应用
基本上都是五分的这个类伴
其实还是比较火的
但是我觉得一个问题就是
我当时其实没有去思考商业模式
所以做完了以后
其实也很难去商业化
其实当时有几个规矩的VCE
给我TermShit
希望给我这个投资
但是当时我也接近这个博士的毕业
我想了想就还是算了
因为可能这个确实也不是我一生
希望去追求的一个方向
同时我觉得没有一个商业模式
我也不希望去拿投资人的钱
去浪费他们的钱
也浪费自己的时间
所以我后来就把这个公司给关掉了
做了多少时间这个公司
这个公司大概做了三年的时间
三年到不是毕业
到不是毕业
以前面工作经历非常的仔
是不是因为你一些PASS很多事情
你发现很多事情写不适合自己
没错
其实我觉得不同的人不一样
我举一个例子
我觉得可能巴菲特和狼狼
他们很幸运
一方面我觉得他们很棒
他们能力很强
一方面他们很幸运
他们可能在十岁的时候
就找到了他们擅长什么
对吧可能巴菲特在十岁的时候
发现他特别喜欢股票
他也擅长投资
狼狼可能在十岁的时候
发现他擅长谈谈钱
我觉得我其实花了很多的时间
发现自己不擅长什么
我必须得去通过试错
才能知道自己不擅长什么
但是我可能就没有那么幸运
我可能花了很长的时间
才真正发现自己擅长什么
擅长的是
我认为我擅长的是
基于一个更加颠覆性的技术
科技打造一个产品
并且用这个产品去真正的支撑一个产业
我觉得这个是我擅长的
为什么你最后选择在访真这个领域
算是深耕吧
而且也很快从去领委达
只有六个月
然后就加入未来
其实你后面换的其实也挺快的
就是在每个公司工作时间都不久
是的
我觉得首先是我相信访真的魔力
这个其实是我当时去Cruise的时候
发现的
在我去领导Cruise的访真之前
实话是说访真是一个玩具
或者说它更多的是Cruise
给投资人展示的一个Diamot
那么它其实是用这个游戏引擎
用这个比较传统的这套的技术美术
去打造了这个看起来很真的一个世界
车
然后用它去生成了很大量的数据
但是这个数据的其实
算法的团队
比方说当时感知的团队
并没有办法有效地去用到它
或者说其实用了以后
其实效果训练出来的模型的效果
是降低的而不是升高的
其实Ciu也比较转的一个人
它叫Cao
它比较转的一个人
它拉我过来就是希望让我去解决这个问题
当时给我的时间可能是三个月的时间
那当时其实压力也比较大
第一步其实我可能跟别人不一样
就说我的背景比较复杂一些
我借物理的背景
我有量化
我还有AI的背景
所以我第一步做的事其实不是去提升访真
而是去评价访真
得到了一套评价的准则的以后
第二步才真正地用声称是AI
以及访真的一个集合真正地去提升它
同时与算法有效地去迭代
真正地去把这个数据
味道了算法了以后真正看到了一个提升
这个点是我真正地看到的一个
很特殊的一个时间点
它让我真正地相信了这件事
当然我当时为什么去因为打
是因为当时一方面就是说因为打老黄
他们确实看到了我在自动前方访真做得不错
他们确实在找这样一个负责人
但是第二就是说从我的角度其实
我也在不断地给自己
抛反力也在设论之自己
就是凭什么我就认为我是访真做的最好的
因为其实当时那个阶段
微贸有微贸自己的做法
Cruise有Cruise自己的做法
整个行业还没有完全收链
所以也很难说谁对谁错
我觉得因为打他的优势就是
他作为一个供应商
我认为我从一个
我认为我已经具备了L4的这个角度了
我在去微贸可能意义不大
但是我如果去一个供应商
我能够从供应商的角度去看
应该怎么去做法征
所以这个时候我去21年的时候
那个时候可能一万人
但是他的自动价是团队
已经发展了几年的时间了
其实因为打在自动价史上投入还是比较高的
那时候从Cruise调到因为打是一个主流选择吗
其实当时我觉得很多人还没有看懂因为打
实话是说我当时也没有那么看懂
知道我进入了因为打
我才看懂他
现在后悔离职吗
没有后悔离职
对但是就是说我确实当时在因为打内部的时候
当时真正让我感觉到因为打是一家极其硬科技的公司
我当时记得我跟我太太说
我说其实不要小看因为打
他不是一个游戏卡的公司
他不只是一个GPU的公司
他是一个加速计算的平台的公司
他是一个全站的一个公司
这个是我当时真正在内部的时候看到的
那当然就是说我觉得在因为打其实让我看到了
从供应商角度应该如何去做法征
但是我为什么去未来一方面我觉得是会过
另外一方面我觉得我希望从一个客户角度
从一个因为如果说我认为将来最大的访真的需求
会是来自于主机场
因为他们都会自言自己的自动价史
那么我应该从一个主机场角度
真正看应该如何去利用访真
同时我觉得我也很难去回答我自己
另外一个问题就是为什么这件事一定要出来做
是不是在理好做就够了
所以我觉得我需要从多方的视角
真正让我自己真正的理解透
这件事真正在外部做有这么一个机会
你说访真不是玩具那访真是什么呢
这是一个很好的问题
实话是说我最早的时候我一直关访真叫时间机器
假如说没有访真可能自动价史要花
15年的时间有了访真
每周五年的时间可以达到
我以为他是一个家促器
为什么这么说
因为自动价史最主要的数据来源
还是来自于真实的时间来自于车开回来的数据
他的数据好才急
他的数据很好才急
他其实本质来讲是一个被动的
因为都是买了车的司机
对吧然后开回来的数据
他其实更加希望通过访真做的是两件事
一件事是补充一些编较的场景
就是俗称的Corncase
那么可能是路上的一些比较偶发的事件
还有一个是用访真去做一些评测
因为在访真里头可以有更好的一个重复性
那么可以重复地去验证
他们算法的有效性做回归的测试
但是我当时的想法是
访真难道只可以作为一个时间机器吗
有没有可能
他对于AI对于后面AI的发展会类似于英伟达的卡一样
没有英伟达AI就不会发展
而不是说有了它
它只会发展得更快
在这个时间点上我就开始去看机器人这个产业
当时其实我觉得在英伟达
因为我出动很大的一件事就是
我当时有机会跟Jansson当时有机会跟
因为达的可能Alpnews的几个Leader
有不要深入的交流
我当时感受到其实因为达在下一盘大棋
它其实真正测众的是机器人的访真
这件事它把它做成了一套平台
因为它特别相信通过合成数据
通过访真这个是唯一的路径来真正的让机器人
将来可以部署到世界各地
我当时其实也越来越认为这个确实是后面的一个大棋事
在这样一个阶段我认为就是说
我真正应该出来去创业做的
不是一个自动架式的访真
合成数据
而是去真正作为整个机器人产业的数据的这个基建
整个机器人产业的数据的这个眼情
为什么要在外面做为什么不去在某一家公司
做为什么这些机器人公司不是自己来做这件事情
怎么说呢其实我也是花了很长的时间去理解
我觉得在这其实更多的还是要去想这件事的难度
它的市场的机会以及我觉得可以于比方说这个行业的一些公司去类比
比如说像SKAYO AI这样的公司去类比
我认为当这个市场的机会足够大
它的难度相对的大在这样的一个情况的时候
我仍然在外部做其实有更大的优势为什么
因为其实你可以招到更好的更优秀的人
人才 举一个例子就是在Cross可能最好的算法的人才
很难给到访真团队
他一定会给到感知的团队或者当时的预测的团队
对吧 那么在WeMo可能最好的数据的人才
并不见得会给到数据的基建团队
可能会给到算法团队
而在SKAYO AI 对吧
他会吸引到全世界最优秀的算法的人才和数据的人才
来为他去打造一套数据的飞轮
我觉得一样的道理
就是我认为其实只要这件事足够的难
这件事他的商业的机会足够的大
我认为他就应该在外面做
除非就是说这件事可能比方说如果他只是一个自动架式的访真
对吧 那我觉得确实有可能
这件事并不值得完全全在外面去做这件事
其实我们今天这个节目是想聊一个很专业相对逆迟
但是也很本质的一个话题就是数据
因为现在不管是大约模型还是区生质
还是说Botics都非常关切数据问题
不过两边的阶段可能是不一样的
大约模型遇到的是数据状强了
没有更多的数据了
互联网数据都已经吃完了
那对于Botics来说数据仍然是一片荒漠
在你看来你觉得数据问题有多重要
他是本质问题吗
数据的问题其实我认为他对于AI是一个本质的问题
我觉得如果从第一项原理上去思考的话
我其实认为数据可能应该跟
人的教育的行业去类比
就是数据对于模型
或者数据对于智能
我觉得有点类似于教育的行业
对于人的学习
数据约等于教育
我认为数据对于智能是极其关键的
因为我认为就是数据对于智能
就要类似于咱们人去获取知识
来不断地去自我提升
我认为知识对于人的智能是极其关键的
第一性的需求
所以同理我认为数据对智能至关重要的一件事
你会怎么定义数据
我觉得我可能更多才是从AI数据发展的不同阶段
来帮助咱们去想一下
怎么去定义AI数据这件事
我认为最早的数据
更多的类似于是在最早的机器视觉的阶段
当时李菲菲教授去定义了Image Knight
这个时候的数据更多的是一个数据级
对吧
他是一个静态的
包括图片
包括相对的真值标注的一个数据级
这个是最早的一个阶段
他是一个静态数据级的一个阶段
那么我觉得与人的教育类比的话
他其实可能更多的是一个偏一次性的
填压式的一个教育
比方说一次性的买了一些教材
提供给了一些同学们去学习
在后面的时候
其实我觉得就到了SKAY OAI真正的去工业化
数据的生产这件事
这个时候我觉得数据可能更多的是一个
基于大规模的工厂式的流程
包括后面的工艺对吧
把它相对高时效性的大规模的
保证质量的去生产出来
所以它更多的是一个工厂的生产
大规模数据的一个流程
在这个时候我觉得油道类似于是一个偏量
饭式的教育
再往后其实就到了
我觉得大远模型的时代
那大远模型的时代我人数据
由于可能预讯练
已经把整个后原网的数据
都给用够
那么数据的重点
开始转移到后训练
以及评价这个阶段
那么更多的是基于越来越多的高阶的这些人
比如说能力很强的工程师
物理学家
数学的金牌
律师
医生
那么基于他们一方面来说去出体
然后提供评价标准
二
基于这些体就以及考核
这个大模型的这些反馈
发现相应的问题
又针对这些问题
去给他们更多的信息
给他们更多的经验
传授
帮助他们去提升
在这个时候
我觉得数据
就更加类似于是
比方说教育的这个
更加高阶的一个阶段
就是这个诗者
所以传道
受业结构也
那是一个老师
根据你的这个
因材识教
根据的能力
根据你的阶段
基于一些对你的评价
发现了一些问题
并且基于这些问题
给你足够的
有经验的传授
反馈
来帮助你去提升
所以我认为这个其实是数据的一个演变
那当然我认为从据身来讲的话
它的数据又更加的复杂
比如说在大元模型的时候
数据可能是更多的是在数字的世界
那么基于从评价的角度出发
给到这个模型更多的反馈
而据身
其实我认为来讲
可能更多的会在
物理的世界
那无论是在真实的物理的世界
还是在访真的物理世界
基于评价
基于信号
提供更有效的经验的传授
以及反馈
对
那么这个我认为可能是数据发展的不同的阶段
那么从这个角度来讲
我觉得数据可能更多的应该被定义为
它是一个能够帮助你去学习的信号
以及相应的这些经验的传授
所以它从一个近海的数据
可能慢慢的变成一个教育的系统
对
我觉得这个其实也很有意思
比如说我还记得最早的时候
我在自动价史
当时其实数据的团队
他们提供的数据级
其实是没有什么反馈的
没有什么反馈的
比如说可能更多是算法团队
提出了一些需求
对吧
然后数据的团队去交付
然后算法团队
后面再提出更多的需求
对吧
咱们去看现在的很多的数据标注业
自动价史的数据标注业
我觉得还是在这样一个阶段
对吧
其实这些数据的厂商
公司或者说内部的团队
他们其实对算法的状态是没有了解的
他们更多的是被动性的去接受
算法提出的需求
并且提供相应的数据的交付
但是咱们再去看
比如说大元模型这个产业
当然一个是scale
但是后面的比较说像mokr
像search
他们更多的是找了更多高级的人
去给他的模型的客户的算法
提出了更多的评价
通过这些评价去给这些
他们的客户提供反馈
并且继续这些反馈
针对性的提出了更多
刺激了更多的数据的需求
又帮助这些客户
提供了更多的这些数据的需求
来帮助他们的算法去提升
这样的一个庇还
在这个阶段
其实数据商是对客户的算法
是我觉得是很了入之长的
因为其实真正的评价方
变成了数据商
所以我觉得
这个其实就很像学生和老师的关系
对吧
比方说如果是一个量饭式的教育
那么可能老师对学生可能
并没有太多的了解
它只不是一个填压式的一个教育
而对于一个更加高级的
比方说大学的教授
或者是比方说物理奥塞班的这个老师
与学生的关系
那他们可能是更加有针对性的知道
我认为数据其实在朝有针对性的知道
这个方向去眼睛
我们经常会在行业里听到几句话
一个教授就标注
一个是有多少人工
有多少数据
你们给大家形象化的解释一下
这两句话背后所运喊的工作量
就是它的工作具体包含哪些事情
它是一个怎么样的工作流程
我想说就是说
数据其实也在演变
它可能从最早的数据标注
到现在的可能是更多的数据的采集
那我在这儿我可能举一些例子
比如说从数据标注业来讲的话
比如说最早的SKLA去提供自动价值
它这个数据
那它可能是哪到了客户的
比方说它的各种传感器的信息
那它可能做了更多的清洗的工作
更做了更多的切片的工作
在这个基础上
它可能有自己的一套工具链
那当然可能还更多的是一个人为主的一个流程
去积预这些工具链
积预它的一些规范流程
比如说这里画个寬
这个是自行车那个是行人
包括可能更加实序性的这些数据
把他们标注出来
然后可能经过层层的标注
再往后发展可能是首先是自动化的标注
其次是人在还的这个致减
这样最终把数据生产出来
这个可能是一个比较传统的自动价式的
算法标注
这样一个产业
它需要多少人历啊
它需要很大的一个人历
包括现在其实我觉得自动价式的标注行业
其实还是
当然我觉得它从客户端已经有很多的自动化的算法了
但是其实咱们比较说去看
整个产业可能有很多的基地
可能很多的省市都有很多的标注基地
每个基地可能就有这个成千上万人
在做这个标注行业
所以整个市场上我估计可能会有
我撥去
我估计可能会有十万人几十万人
再做人工标注这件事情
我这么多人
对 是很多的人
当然就是说这个我实话说
我认为还是在上一代的这个数据
它更多的是基于套规范准则
让人去基于这套准则去提供标注信息
但是我人下一代的数据提
其实人在这里头提供的是经验的传说
我举一个例子
并说大元模型的数据
无论是mokr还是sir制
这个可能是翻去的两个
现在比较新新的数据商
那么他们是为大元模型提供后训练
以及评测的数据
包括BTSR1Hive
就是包括不断地去模型去交互
给他们去提供反馈
以及他们去出很多的体系
又给一些答案
来让客户的算法
一方面去评价他们
一方面让他们去用更好的RL的翻评
去提升自己
在这个时候其实
这些人都是很有经验的人
或者说很贵的人
你可以看他们的时期
都是在100美金以上的时期
他们提供的更多的是一个元式的数据
他们提供的不是一个标注
并不是说在有的数据上
他们在提供一层标注
而是说他们直接的去给这个数据
去提供反馈
或者说直接去生成新的数据
那能举个例子
举个例子
比如说就是一个问题
你对AI的数据的看法是怎么样的
对吧
那么可能算法先生成了自己的看法
比如说可能GPT
先生成了自己的看法
那么如果这里还有一个数据的专家
那么它可能就会根据
GPT的看法给它提供相当的反馈
对吧
同时它可能还会去出更多的体
更多的男士的角色
没错
它是一个老师的角色
它会出更多的体
同时它可能还会提供更多答案
包括比如说举一个例子向编程
你可能有十重方式
能够把这段程序给它编出来
那哪一个是好的
哪一个是坏的
哪一个是模糊的两壳的
这些都要相应的给它体验出来
给到算法
所以这个时候就跟之前的数据就很不一样
之前的数据比如说
自动价史或者说最传统的机器视觉的数据
可能你需要提供的都是正确的信息
对吧
就完美的正确的信息
这是最好的
但是其实在现在的数据
比如说大元模型或者巨身
其实没有严格的正确
也没有严格的完美
每个人可能它的回答都是不一样的
对吧
但是可能这些
不同人的这些的分布
这些多样性
以及它的里头的这些逻辑的关系
以及甚至是的一些错误的数据
都会是机器有价值的
我举一个例子
就是我们服务巨身客户的这个数据
最早的时候可能包括我们的客户
也是全球最顶尖的巨身的大脑的公司
他们可能给我们的需求就是
你要提供完全正确的
完美的
进于访真机器人去执行一个常常的任务
比如说做一个披萨
从冰箱里头把这个冰拿出来
然后往上面去放各种各样的调料
以及各种各样的水果
这个蔬菜
肉
Taste等等
最后把它放到烤箱的口去
按键
你要把它完美的做出来
这一个常常的任务是一个有效的数据
但是后来我们的客户包括我们
一块通过迭代发现
其实最有效的数据是先失败
再成功的数据
比如说我在里头我可能要放一片模糊
但是我拿出来模糊
我切片了以后
我没有抓牢
这个模糊掉到桌子上了
我在把它减起来再放回到这个披萨上
这个数据
我们可能可能叫复样本
或者要纠正的数据
这个数据往往是更有效的
所以其实当模型的放化能力提升了以后
它更可以从促踪去学习这些任势回来
它更接近于人的学习过程
没错
它更基于人的学习过程
前段时间我们有一个播客聊过一个观点
就是广密说他们认真化时间研究了
给Frontier Lab
鬼谷那些Frontier Lab做数据标注的公司
最大的提干是
如果模型数据分布里面没有这类数据
这类任务就是不成功的
只有压缩过这类数据可能才会成功
所以今天的模型还是一个巨大的压缩去
所以它提出数据级模型模型及应用
你政客这个观点
就是说所有的数据都应该持续练到模型的压缩过的
我认为就是说在这其实广密提到了一个很好的一个
我觉得现在现阶段的一个问题
就是模型的放化能力还是不够的
怎么去定义放化能力
我觉得就是英文叫Jeroshoot
中文其实就是零样本的能力
零样本的学习的能力
就是我没有给你看过这个样本
没有见过
没有见过
但是你能够把它做出来
对吧
比如说假如说你的机器人的训练里头
并没有见过做Pissar的视频
但你可能见过
并不是说切菜的
你可能接过做汉堡的
但是给你做Pissar的任务
你能够给它做出来
这个是零样本的能力
现在我认为从巨深的角度来讲的话
零样本的能力还是比较欠缺的
在这样一个情况下
确实你需要什么样的任务的执行率
你就需要去补充什么样的任务的数据
在现階段是
我认为这个是合理的
但是我认为就是说数据及模型
这个观点我认为在长期
我认为可能它不是一个本质的一个观点
因为我认为本质上来讲
模型的架构还是需要去提升的
我认为一个模型如果不具备架构上
如果不具备零样本方化的能力
我认为这个模型它不是一个真正通往
通用智能的一个模型
那我在举一个例子
其实人的算法也是不一样的
举一个例子可能普通人的学习的算法
和马斯克的学习的算法也是不一样的
马斯克的学习的方式可能是更多的是
从第一程原理出发
基于它可能比较广播的知识
以及举它的实践
去迅速的去千亿新的知识出来
来帮助它去更好的理解这个事物
我认为它的模型可能会比普通人的模型
要更加的有效很多
在我看来就是说智能其实现在
一方面我认为肯定是需要更多的有效的高质量的数据
但是另外一方面我觉得还是在模型上需要更多的提升
所以这里讲的是加过和算法的问题
本质上还是它不够聪明
本质还是它不够聪明
我认为就是奋化性还是需要算法的加够来带来的
当然就是说存在一个Skating Law的模式
时间点就是说可能你的数据量
必须得堆道一定很大的一个数据量
才能够看到它的奋化性的出现
就是足够聪明了
其实我们现在也服了可能全世界最大的几个大模型的团队
那么通过我们跟他们的合作
我们其实是发现在剧身这儿
我认为就是说这一段哨头脑力就是零样本的这个能力
我人已经逐步地开始出来了
所以我认为在这的话其实我还是不要乐观的
在哪些场景会出现这种零样本的趋势
对我觉得可能倒不是场景倒是团队
我大概说一下我的看到的一个不同点
可能比方说在六个月以前
我们的大模型的客户和我们的机器人的客户
他们可能对于数据的需求
无论是从量从他们的具体的定义角度来讲
都是不要相近的
但是可能最近这六个月可能发生了制的变化
那么我发现大模型的客户
他们可能最关注的现在就是零样本的能力
他们怎么去他们相信的是什么
他们相信的是Skeleton脑
他们相信的是用一个足够有效的算法
用足够多的高质量的数据
可能这个数据更多是一个本体无关的访真
以及人类数据
基于访真的评测
大规模的评测来帮助他们去实现一个相对简单的笨题
比如说机械并
都不是轮式底盘的机器人
或者是这样说这个族式的机器人
就是机械并
加转是否可以实现足够有效的零样本的潜艺的能力
大模型团队
大模型团队为什么要去做硬件相关的事情
他们其实恰恰是因为不想做硬件相关的事情
所以他们选择的是最简单的机械并
比如说你要去做人型或者要去做这个轮式
其实会复杂很多
因为你要去有很大的维护的工作
每一个本体其实都有很大的一个调试
但是大模型团队用机械并用来做什么
其实现在最主要的这几个大模型团队都在做剧身的标诶
大模型团队也在做标诶
大模型团队才做标诶
不是只有
居身智能或者是宗教省团对战作为要
对 这个其实是我觉得最关键的一个点
就是咱们去看比如说D-Mine 就是坦姐 对吧
比如说因为打 比如说OPEN AI
他们作为要想通往哪里
我认为他们肯定是最高优的关注在通用的智能这块
他们的底层左击就是要做居身的大脑
首先一定要有放画性 对吧 不见得这个大脑的能力那么强
比如说我一定要是一个零槽手
可以去上一个螺丝丁
但是我应该是能够做出来一个大脑
他比方说在十种一百种不同的任务上讯息量以后
有另外有五个任务没有见过 他可以去做内部另外五个任务
这个我认为是大模型团队
他们对这块的一个关注点
他们关注的是零样本的放画的能力
对 而另外一方面从机器人客户来讲的话
他们其实越来越多的去落一刀具体的场景
对吧 在这个上面他们很关注到自己的本体
对吧 本体的复杂性可能是有轮式可能是有足式
可能有手 手上可能还要穿感器
那么他们可能很关注在是否可以把这一些具体的任务
给他置信好 给他落地好
所以这两类客户他们其实从最早的时候
关注点可能比较类似
但是现在其实关注的点其实很分化
包括在举一个例子比如说大模型团队
他们可能首先关注的是这些最容易获取到的数据
比如说家居的
比方说其他的一些商超等等之类的场景
可能一些工厂来帮助他们去提升这些放花线的认知
对吧
而这个机器人的客户可能他们有具体的落地的路径
他们可能有的是去酒店
有的去不同的工厂的这些车间
比较车辆的工厂的车间
他们有的可能比方说是去杀墨 去给太阳能
去换太阳能板
他们更多关注的是在具体的业务场景的这些数据
我是要为有一个认知缺口
就是大模型团队这些做VA的团队和大模型团队
做LM团队应该是两个团队对吧
他们之间是什么样的协作关系
其实不同的公司不一样
往往是两个不同的团队
但是其实他们是一个我认为合作极其紧密的团队
其实在这我觉得可能会包括大模型的大原模型的团队
大模型的世界模型的团队 还有大模型的VA的团队
那么他们其实是一个我觉得极其共生协作的一个关系
比如说VA其实往往会用到一个基础的模型
如果说你的这个公司已经是全世界前五的大模型的能力
那么就完全可以用自己的接触模型去做
如果没有呢
如果没有我就就不要困难一些
所以我其实从我们角度来讲的话
我们可能合作的这些公司数据量最大的
往往都是同时具备大原模型的团队
世界模型的团队 还有VA团队这样的这个团队
来做的这件事
如果没有的话它肯定就会用其他的
两个时候可能会用千万或者可能会用其他的这些开源的模型
那当然这是其一
第二的话就是说他们对于数据的理解
我认为是极其到位的
比如说不只是纯粹正确的数据
也包括糾纱的这个数据
糾纱里好在改正的数据
这个认知其实很多都是从大原模型来的
对其实因为它更加像人
另外就是说对于数据量是否可以接受
对于数据的即可程度也是远也不一样的
因为如果说你已经见过了很大量的一个需求
你对于这件事的预期数据量的预期会很高
而如果说这个团队之前它的所使用的数据量比较小
它也很难一下子去开一个很高的数据量的口子
它的Batch的事完全不一样的
第三个点我其实认为是一个InfoShr
就是它的这些训练的基础设施
我觉得卡是很相关的一个点
以及就是RL就是强化学习的这套的基础设施
是很相关的一个点
我举一个例子可能机器人公司几千张卡已经很多了
但是大模型团队可能都是大几万张卡
所以这个是一个至少一个数量级的一个体生
另外就是强化学习的基础设施
这件事其实很难自言
很难为了巨深的模型去做一道强化学习的大规模的并行的基础设施
而这些大模型团队往往自己都已经有最好的这套基础设施
可以拿来激用
它只不是从大元模型的这个场景千一到了去微调
VIA而已
所以LLM大元模型团队是在做我们所谓的那个通用的大脑
没错
VIA团队是在做这个机器人大脑
但是它大概率不是从头开始迅的
它是基于了那个大约模型的大脑
没错
那世界模型团队呢
这是新出现的吗
其实我们也看到我们的一些客户
他们可能再用他们的世界模型
或者说他们希望将来用这个世界模型
来作为一个机做模型来做后面的标识
因为我觉得世界模型其实有了更多的对于物理世界的预测
理解能力
而基于这个在加上相应的ActionHeight
对吧
那么就可以做出来更优质的这个标识
其实我认为世界模型和标识是一个
很有意思的一个相互共生的一个关系
那世界模型可以作为机做给到标识
那标识其实又作为一个落地
给到世界模型先的反馈
这个是相很关键的一件事
那我举一个例子
如果我认为一件事
它的评判标准会越来越接近
可能这两件事将来就会是一件事
那比如说我认为在巨身
可能现在最棒的这个评测级
叫Behaver
Behaver是李菲菲教授
做的这套基于访真
为巨身打造的一套这个评测级
它都是比较难的常常的这些任务
以及这些很难去踩踢的这些数据
去做到的
那么我个人因为很有信
就是在12月份的这个Nyps的一个峰会
来帮助这个今年就是第一次
Behaver Challenge来搬奖
那么我发现一个很有意思的一个情况
就是其实去打Behaver绑的这个团队
也有世界模型的团队
他们其实就是基于他们底座的世界模型
基于这个Action Hide
然后去也就演去上了这个绑
也做得也很好
这个是一个另外一个就是
另外一个我觉得很有意思的一个工作教E-Nact
它其实也是基于Behaver这套的评价体系
本质上来讲是评价VLA的评价体系
作为一套去评价世界模型的评价体系
这个也是离非非团队做的
所以你可以看就是同样的一个Bunchmark
它又可以去作为评价VLA的标准
又可以去作为评价世界模型的标准
那如果评价系统越来越一致
很有可能将来这两件事会越来越
我觉得会越来越相关
那世界模型踢带的不是VLA
是世界模型踢带的其实是大约模型吗
我认为世界模型可能更多的会是在云端的一个大闹
而VLA我觉得它会是在端测的一个大闹
我觉得这个可能是一个在场线
他们也会是一个共生的一个关系
那大约模型呢
我认为大约模型本质上来讲
大约模型在数字世界已经具备了一并世界模型的能力
但是它其实缺乏对物理世界的理解
我认为世界模型是有物理世界的理解能力
以及预测能力的
而我认为巨身的VLA可能更多的是需要在物理世界
有更加精确的有效的以及高效的一个行动力
所以我认为这三者可能还是不太一样
但是这三者可能后面的训练的基础设施
它的底层的这个基座会越来越去统
以层的基座会越来越去统
它可能会成为一个统一的非常大的大闹
对
所以可能未来世界模型是那个云端大闹
VLA是那个端测的大闹
然后数字世界可能有个大闹就是大约模型的大闹
对
听起来现在是有两股势力
一个是做大闹的公司
一个是做本体的公司
对
以类是做大闹公司
以类是做本体的公司
你觉得这两类公司哪个会成为一个
就是在这个游戏版图上更重要的一股势力
我人家可能长线都会比较重要
但是我大概说一下我的一个观察
这个观察就是数据幣环这件事
或者数据引擎这件事
就是特斯拉其实发明了数据引擎
对它安整这个概念
它更多的是因为它要取落地它的
FST自动价值的这套系统
那它可能当时已经具备了有上百万两出
在路上可以全天后的
基于司机对吧
基于这些用户去开回来的数据
去訓練他們的雲端的大腦
又基於他的雲端的大腦的不斷的提升
去部署到端策更好的自動駕駛的能力
近而形成了一個數據飛輪
這套數據引擎
就特撒到數據引擎它的底層邏輯
其實本質上來講是一個本體相關的底層邏輯
就是自動駕駛商或者說這個歐陽
它因為在全世界部署了最多的自己的車
它就可以從自己的車上收回來最多的數據
又基這些數據可以訓練最好的大腦
所以這些歐陽他們自己就是最大的大腦上
對吧
但是我認為對於巨生來講
這個邏輯可能會被顛覆
為什麼呢
因為從巨生來講
這個世界上並不具備
比如說上百萬台的機器人
部署在端策
然後在自動化的執行各種各樣的任務
或者說在端策的憂忍
去搖操他們去執行各種各樣的任務
如果有人去搖操的話
帶來的成本又過高
這個也不是一個可規模化的一個路徑
在這樣一個情況下
我認為它一定整個數據的架構
會去符合數據進塔
那就是最小的數據量
會是基於在端策真實部署的機器人
去踩積回來的數據
真機數據
真機數據
沒錯
那麼中間的這部分的數據量
會是基於訪針去生長的數據
而下面的數據會是譬如互聯網
或者是人的第一類市角的數據
下面這兩類數據
訪針和人的第一人稱市角的數據
他們的特點是什麼
他們都不需要基於本體
不需要基於一個硬件的本體
就可以回來數據
且他們的規模化能力要遠遠高於
真實的機器人的部署
這樣就會發生一件什麼事
我覺得這樣就會發生就是說
最多的巨深的數據一定不是本體商提供的
對吧
在這樣一個前提下
我認為特斯拉的數據必須還
在巨深就不成立了
相當於就說不會存在一個本體商
它自己是最廣泛應用的本體
同時它又可以做全世界最好大腦
我覺得這件事底層就不太會成立
那我在舉一個例子來佐證這件事
特斯拉
他們是在做機器人
對吧
就是optimus
它在做機器人
但是optimus的大腦其實是安排給XAI去提供的
對吧
而並不是讓特斯拉自己去提供
一樣的一個道理
一定會是一個大模型商去做這件大腦
在這樣一個情況下
我覺得大模型商
他們會是利用更多的本體無關的數據
去訓練這個大腦
而本體商可能更會是利用大模型商
提供的大腦
去做微調部署以及落地
在這樣一個情況下
我覺得可能還會有兩類不同的公司會接觸進來
一類就是數據商
我認為數據商
其實它也經歷了不同的演變
從最早的可能在靜態數據級的時候
它和客戶可能純粹的是一個
就是假方一方的關係
到SKAYO AI Search McCrure
和客戶可能更多是類似一個Puttership的一個關係
到後面我覺得需要基於數據商去提供評測
又基於評測去提供更多的反饋
又基於這些反饋去刺激客戶的需求
拿到更多的數據
又基於這些數據
順來更好的模型
然後這樣在基於數據商去跑更多的評測
因此我認為就是數據商
和大模型的廠商
會越來越多的形成一個共生的一個關係
因為就是大模型商需要數據商給他們更加有效的評測
更加有效的數據
而數據商又需要基於大模型商
給他們提供基於模型更好的數據驗證反饋
來幫助他們去跌代自己的數據的生產聯路
所以這兩邊我覺得會是一個共生的一關系
所以我覺得數據商在裡頭會很關鍵
還有一個我認為就是長景商
這個往往是被大家忽視的長景商
或者就是就是長景公司
長景公司比如說歐陽
他就是一個長景公司
他自己就具備很多的機器人需要去落立的長景
在他的車間在他的工廠
包括比如說醫療的集團
他有很多的自己的長景
需要去部署到機器人
包括農業的公司等等
就算是工業
這就是巨大的一個機會
所以我認為這些不同的長景級的公司
他們都有大規模不屬落地機器人的需求
我們其實現在服務的客戶
可能有很大的一個比例
已經開始是這些長景級的客戶
在這樣一個情況下
我覺得會是四者的一個相互的協助
第一個是大魔形商
他們更多的是會基於本體無關的
就是數據商提供的數據
不斷地去衝刺Skilling Law
放話然後提供大腦
把大腦提供給本體公司
本體公司可能再基於更多的長景和數據
去落地到長景上
而長景公司他們也有更大的一個自主權
因為其實他們可以選擇A硬件公司的硬件
也可以選擇B硬件公司的硬件
甚至他們自己有很強的一個字眼能力
他們也可以自己開發硬件
比如說我認為可能很多的歐監
都會開發自己的機器人
因為他們對量產
對質量的管控
對硬件的穩定性
對成本的控制可能有更好的一個理解
他們也可以基於大魔形的這個大腦的能力
去給自己的長景直接去落地
所以我認為後面可能是這四者的一個聯繫
說回我們剛才講的那個禮廣面觀點
你覺得不能說數據及模型
那從長遠來看你覺得什麼機模型
我認為還是要回到第一程原理
看看人事如何去學習的
那我覺得可能系統性的學習的能力
我覺得這個地層應該是一個模型
本質上來講我覺得大魔形
就不能說是知識寂模型
對
我覺得不能說是知識寂模型
我覺得應該是一個不斷提升的系統機能力
因為其實每一次系統機能力的提升
可能也會帶來對於數據的新的需求
我舉一個例子
小孩的學習可能看一些畫本就夠了
但是馬斯克或者是
比如說巴菲特的學習
可能就有更加針對性的
高級的這些知識以及這些信號
相當於有一絲教可能
對
當然就是說我認為這個絲教
它不應該是以人為重心的
它應該是以系統為重心的
只有這樣才可以提供足夠規模化的絲教
足夠規模化的煙川生教
我們播課其實一方面
了過很多大原模型的嘉賓
一方面了過很多肉包Tix領域的嘉賓
你覺得這兩個領域面對今天面對的數據問題
不同是什麼
他們階段分別到了什麼階段
我認為這個糧責還是挺不一樣的
我覺得從大原模型角度來講的話
他們的預訓練的數據是足夠的
因為本質上來講是整個互聯網的數據
對 所以這款是很多的
他們面臨的其實更多的是一個
後訓練以及評測的一個問題
那麼後訓練和評測本質上來講
就有點類似於是煙川生教
需要找越來越高階的老師
給他們提供這些煙川生教
其實這些老師往往在不同的行業裡
對吧 比如說可能是最好的工程師
可能是可能是數學的金牌
可能是最好的律師
可能是最好的醫生
而且越來越多的煙川生教會變為
就是說出題
兩說可能普通的老師是在
通過自己的示範來教育學生
而越來越好的老師可能是
去問越來越難的問題
來激勵學生自己去尋找答案
所以我認為本質上來講
這個是大園模型
他們在面臨的數據的問題
是找越來越好的人
又基於他們可能去出越來越難的體
基於這些體以及基於這些
先號這些更多的經驗的傳授
來去不斷地去提升模型的能力
而對於這個巨生來講的話
我覺得它現在的問題可能在兩端
第一端就是在預選領
其實現在缺乏了足夠的預選領的數據
這個預選領數據我覺得需要有
物理的這個世界
無論是真實的物理的世界
還是訪真的物理世界
以及它所需要去交互的這些的資產
比如說電腦
比如說咱們在這兒的咖啡杯等等之類
同時它需要有這些經驗的傳授
比如說人或者是一個機器人
在這兒該如何去操作不同的物體
與這個物理的世界如何去交互
以及在這兒相應的語言的定義
還有就是相應的評價高準
這個知識在哪裡是好的
在哪裡是不好的
對吧
然後給到相應的這些學習的信號
這個我認識很關鍵的一個預訊鏈的需求
在這兒其實我覺得現在
整個行業還是缺乏最規模化的預訊鏈的數據
來幫助整個巨深
來達到一個經過預訊鏈裡
後一個機座模型的一個基礎能力
這個我覺得是奇奇怪建的一個缺失
第二個的話我覺得就是評價能力
這個點其實我覺得很多人可能沒有想到
比如說自動駕駛或者大圓模型
為什麼他們的模型提升會那麼快
自動駕駛本質上來講是因為它的評價是免費的
怎麼說這件事
因为自动下车的评价是通过它在端测部署的
叫Shythomose 就是中文叫影子模式
那其實就是把他的算法
部署在撤捆
在他的訪真世界裡頭
去跑線的算法
他並不去做相應的真正的執行
但是會把他所輸出的信號
和開車的司機所操作的信號去做對比
當遇到了一些不同的地方的時候
把這個作為一個反饋拿回來
因為比方說如果說這個人是一個老師的話
當學生和老師有一點差異的時候
很有可能這個時候是學生做錯的時候
所以這個是一個機器
便宜連架或者免費的一個信號
拿回來
來幫助自動駕駛來評價他們
相應的這個情況
以及這個信號也包括相應的示範
也包括相應的經驗
告訴他們當你這錯了以後
老師是怎麼做的
人是怎麼做的
來讓你去基於更多的模仿的學習
去提升自己
我認為大緣模型其實
也有這樣一個影子模式
這個影子模式就是
當這些大緣模型已經上線了以後
與用戶的交互
對吧
其實
比方說咱們在用GPT
用不同大緣模型的時候
咱們也給它不同的反饋
這些反饋其實也是一個免費的影子模式
來幫助他們去告訴他們哪裡好
哪裡不好
給他們一些示範
幫助他們去提升
這也是一個免費的一個評價
而對於巨身來講的話
現在並不具備這樣一個
大規模的評價的能力
我認為這個一定要基於訪針去提供
在巨身在機器人
他不具備一個
就是在真實世界
去提供影子模式的一個基礎
他唯一可以的這件事
就是基於訪針
去規模化
評價
並拿到更多的信號
又把這些信號給到
巨身的大腦
讓他們不斷地去提升
所以我認為評價這
其實也是
就是巨身
就模型他們對於數據的一個核心的確實
所以機器人的數據收集問題
比大原模型可能是結構性的難
對 我覺得要難很多
可能是幾個數量級的難
如果足夠多的數據是100分
你覺得大原模型
今天數據能到多少分
你覺得機器人數據能到多少分
我其實覺得可能很難去
定義這個100分
我舉一個例子
其實人的學習是無知競的
所以從人的角度來講
你其實可以看越有能力的人
他可能
學習能力更強
他其實每天設立的數據會更多
而不是更少
對 當然就是說
我覺得
如果從一個概念上來看的話
我覺得可能
大原模型在預訓練
可能已經到第二了
我覺得他們可能更多的是
在後訊聯合評測
我其實覺得在後訊聯合評測
我認為大原模型可能還有很
長的一個路要走
我估計可能大原模型現在
可能到了60分
但是真正的要往上去提升
我最還有很大的一個空間
就是在後訊聯合評測的階段
我認為對於據身來講的話
假設100萬個機器人
所回來的數據是一個起點
這個起點可能都不是100分
是一個60分
我覺得現在
都沒有1萬台機器人
無論是在真實
或者訪真
或者是人類的數據
能夠去提供這類的數據
所以我認為其實
如果從這個角度來講
可能0.6分都不到
0.6分都不到
對
你這個其實給大家一個指觀的感受
是的
但我覺得今天大原模型的數據問題
隨著它從插報走到了
AZN的階段
AZN方面也會更加的缺乏數據
因為
因為
AS沒有見過真實人類工作的
所以
它也需要找大量的人類專家
在真實的
基於真實的工作環境去收集數據
你覺得AZN的今天遇到的數據問題
是不是跟RoboticS are有點像
對
我覺得這個
這個點特別好
我覺得其實
機器人
就是在物理世界的AZN
而這大原模型的AZN
其實是在數字世界的AZN
那其實我覺得他們遇到了問題
其實很像首先
他們需要一個環境
其次就是說他們需要先進的經驗傳授
另外他們也需要先的評價
或者評價的這些信號
來幫助他們去提升
咱們去可以去看到
就是說
對於大原模型的AZN
其實現在有一個
很關鍵的一個
針對他們的數據產品
叫RRO應付
就是服務強化學習的環境
這個環境
本贊是一個虛擬的環境
但它不是一個
比如說物理訪針的環境
它更多的是一個數字世界的環境
比如說
可能是一個虛擬的
DD
網站
虛擬的京東的網站
虛擬的一個溝污網站
虛擬的一個邊城網站
虛擬的一個邊城的環境
來幫助他們
能夠在這個裡頭去
不斷的基於
一些定好的
這些的重工的指標
這些定義
以及這些考題
不斷的基於強化學習
去翻聽自己
不斷去試錯
也不斷去提升自己
這個其實是
我覺得
AZN
在這個
數字世界
他們現在
所需要的最主要的
這個數據的產品
那對於這個
據深來講的話
其實剛才
如果所說
其實現在
還沒有到真正的AZN階段
對吧
現在其實還是在一個預訊鏈
以及在一個評測階段
就這兩頭的問題是最大的
依舊是沒有足夠的預訊鏈
能夠讓這個
模型達到一個相對基礎的一個能力
一個是沒有足夠好的
規模化的評價
可以幫助
這些大模型商
不斷地去衡量
他們的基礎能力
不斷地提升
那在這我在說一個細節
就是為什麼
BehaverChallenge
就
李飛飛的
BehaverChallenge這件事這麼重要
因為其他的這些
學術局的Bunchmark
其實這些
我們的這些客戶
最棒的這些大模型商
他們都已經把他們的Bunchmark
可以打爆了
據深的Bunchmark
其實比較容易
都被打爆了
那其實足夠難的是Behaver
那Behaver
100到T
可能現在最高的分數
成功率是26%
所以還有一段路要走
當然就是說
這個更多是一個學術局
而對於
比方說
In the Street
那麼他們需要的是
更加大規模的
高質量的
Behaver
來幫他們去挑戰
他們
就模型的基礎能力
那當然
在這個兩個電的基礎上
其實後訓練
就會變得很關鍵
就是當
預訓練的基礎能力
達到一個相對的標準了以後
後訓練通過強化學習做後訓練
就會變得足夠的重要
那麼我被也看到
我們的一些客戶
在跟我們
在基於訪針
去做後訓練的
強化學習的翻聽這件事
那本質上來講
這件事就和
數字世界的大原模型的AZN
很像
那數字世界的大原模型
在一個
虛擬的網頁端
對吧
虛擬的編程端
去不斷的試錯
來做翻聽
而
這個物理世界的AZN
本質上來講
在訪針的環境裡頭去
基於定義好的
這些成功的指標標準
他們以及大規模的場景
他們對不斷的去試錯
在翻聽自己
那只不過就是說
這件事
我覺得相對於
預訓練和評測來說
現在可能還是一個刺憂的一個問題
其實剛才我們對於
整個數據好像做了一個買品
那這是很像的
我以為想來
要送向
就數據這個產業
它在人工智能的
領域裡面
它是一個分支
它在這個生態裡面
大概佔據一個什麼樣的位置
我們也來聊聊
數據產業的前世今生
我覺得數據的產業的發展
其實和每一次
模型的學習的犯事的發展
其實有很相關的這個關係
比如說
我可以把它定義為
最早的時候數據產業
可能其實點是
李菲菲的Emitry Knight
它是
即使一個訓練級
它也是一個評測級
那它服務的更多的是機器視覺
那它提供的是這些
照片以及像這些真值的標註
那它更多的是一個
淨態的一個數據級
它給到的都是正確的答案
所以在這個時候
我覺得數據產業更多的類似
與一個填壓式的教育產業
那在往後就是到了
這個自動駕駛
SKAYO我覺得可能真正開創了
一個工業級的數據產業
就是從最早的淨態的
可能很難去控制時間
比方說Emitry Knight確實是
有幾年的時間去開發出來的
而SKAYO可能真正的
可以去工業化的工廠級
對吧
大規模的人力運營
去管控質量
管控效率
管控交付時間線
來去交付這些數據
那這個我覺得可能
更多是偏一個量範式的
一個教育行業
在往後我覺得到了
這個就是大原模型的這個數據產業
這個時候我覺得
就是說它的核心的邏輯發生了變化
從最早的時候
可能是用戶提出需求
你來交付
對吧
然後一個偏工廠行的
但還是相對出放性的一個交付
變成了一個可能更加的是
一個評測驅動型
就是幫助客戶發現問題
然後去刺激新的需求
然後針對性的交付
所以這個時候
其實比如說
從SKAYO給自己的定義來講的話
可能從這個時候管他
自己就開始教成了DATA方距
那就叫類似於是學習
台積件的金圓廠
這樣一個模式
本質上還是一個工廠
但是它有更多的流程
更多的規範
更多的No號
更多的Prasize
這些是它的SKAYSAUCE
對吧
但是我認為就說在往後
我認為的發展其實就會更加不一樣
為什麼呢?因為我覺得
在這個時候就是說在大園模型RHF評價的時候
它還是一個一人位中心
比如說Mokor 色質也是一樣
都是越來越優秀的人位中心
去提供反饋
去提供更多的經驗的傳售
我認為對於巨生來講的話
它所需要的數據量要遠遠大園模型
所需要的數據量
在這個時候我很難去想像
比如說1000倍的SKaleMokor 色質
它們可能已經在全球有大幾十萬人
可能100萬人這樣規模
1000倍這個規模去提供數據
我認為這個事一件很難去規模化
也很難高效的一件事情
所以我認為在這個時候
一定會發生一個轉變就是以人位中心
變成以系統為中心
這個系統是一個印情
它基於可能在端策的不同的人
它基於它的訪針
它的工程的能力
去放大這些人的信號
這些人的經驗
讓它們來有效的去支持到巨生模型的眼鏡
而且我覺得這件事也一定是以一個以評測去動
而不是以訓練去動的一件事
所以我覺得這個可能是一個數據產業
我認為可能以步以步的一個演變
剛才我們講到標數據的人
或者說收集數據的人
它的實心大幅的提升
人數有減少嗎
人數其實沒有減少
這個其實很有意思的一件事
其實我最早的時候也想了很多這塊的問題
就是說是否有一天
要不然就是算法的學習的效率大大的提升
要不然就是這個人模型的能力
越來越高就會越來越不需要頂尖的人的認知
但是當目前為止其實還沒有
我覺得這個點上很像最早的時候DipSix出來
然後大家說TestTime scaling這件事
一旦出來了以後很有可能預訓練
或者整體上對英偉大卡的需求量
就會大大的降低
但是其實大家發現
當TestTime scaling出來了以後
到刺激了更多的AI應用的需求
AI Agents的需求
到反向的增加了這個英偉大卡的需求
我覺得很有可能是這樣
我覺得一個比較直覺的一件事
就是可能越有能力的人
他越愛學習
他其實每天讀的書的量不是減少而是增加
我覺得很有可能後面會是這樣一個情況
當然他會增加到一個階段就是說舉一個例子
可能AI的模型能力太強了
到最後的時候可能這個世界上
他已經搭到了一個諾本獎的水平
那已經沒有幾個人可以交他了
那在這個時候我認為他需要做的就是
自我的不斷地提升
就跟人一樣
哎沒錯
我認為他其實會很像人
就是說人可能在小的時候
可能更多的是看很多的畫本
而有老師的延傳生教
到後面的時候可能更多是自我的不斷地提升
或者說我覺得有很多的這個人
他並不是去與別人去對比
他是為與自己去對比
我每天今天能夠比昨天進步多少
我覺得一樣大我地
我覺得AI也會到這個階段
那在這個階段他真正需要的什麼
我覺得他可能需要的是一個環境
一個成功的一個標準
不斷更新的成功的標準
對吧
然後基於自己的經驗
然後基於RL幫助自己不斷地去提升
我覺得他會達到這個階段
而這個階段其實也是我認為
對於訪針
對於合成數據
很關鍵的一個階段
因為這個時候
他永遠需要物理的環境
他永遠需要評價的指標
這個我覺得會變成他可能到那個時候
最需要的事情
他需要的是學校老師考試
這是這個階段
他下一個階段很就是自我學習
沒錯
對
他永遠需要一個環境
一個背景
一個環境
以及相應了這些成功的定義
這個數據的產業
他摧上哪些關鍵的人和公司
首先我覺得李飛飛是真正的定義了
AI數據這件事
我覺得他的這個貢獻是極高的
那在這個之後
我覺得真正工業化
我覺得這個SKAYOAI
我覺得是真正的去引領了工業化
的這個AI數據的浪潮
而且我覺得他其實引領了兩次
第一次是自動駕駛
他創意的階段
其實當時
真正整個行業
規模化的AI數據的需求
就是在自動駕駛
他把它作為了一套
流程化的產線工廠
來真正可以可靠的交付自動駕駛
到標註的數據
以及後面可能在21年22年的時候
記住到了GPT2
記住到了RRAHF
那麼來最早的去服務到了
這個大模型的這個數據
尤其是後訓練和這個評測的這個數據
基於評測驅動的這個數據
這個產業
我覺得這個是機器關鍵的
當然可能還有一些
就是在評測驅動的這個數據
後來去演變的
比如說像Sirge 像Mokor
我覺得這個都是相同的一類的公司
你剛才也提到對於Robotics
來說訪真非常的重要
你就訪真到底在這個行業裡扮演一個
什麼樣的角色
你覺得還是一個加速器
加速的工具
還是一個更底層的東西
對 我覺得這個問題很好
其實這個也是
我覺得我從業以來
就是做訪真以來
我就一直在思考的一件事
對
那我可以很肯定地說
我認為訪真對於機器人
他是一個必備條件
沒有訪真這件事肯定做不成
那我的出發點
我覺得更多是在幾塊
第一就是說
剛才咱們提到了數據必還這個概念
我認為就是說機器人的數據必還
和自動價值會完全不一樣
因為機器人沒有這麼多真正的機器
在端策在部署
有基於人的示範
去拿回來大規模的這些的數據
他必須要基於訪真
才能夠採回來足夠規模化的數據
他是個必須像
所以他是一個必須像
第二我覺得另外一個
我覺得極其的一個必須像
就是就不要說在數據上
我覺得一個是訪真
還有一個是人類的數據
我覺得這兩個會是
本體無關數據的主要的來源
而對於這個評測來說的話
我其實想不到除了訪真之外
任何一種來源
我認為大規模
就我提的不是一個小規模的評測
比如小規模的評測
我可以在實驗試機邊
或者在一個場景
我去建立一些的樣機
實態二十台
去做一些的就是算法的推理評測
我覺得這是可以的
但是我不可能
比如說在如果我要去落地加劇場景
我同時在一千個家庭
甚至可能更多的家庭
比如說去評價
比如說成千上萬個不同的這個任務
隨時拿回來信號
同時我可以重複性的去測量
比如說我可能就是每天我的算法都會演進
那我能不能每天都測量多變
來去真正的讓我可以更精緻的
知道每一版算法的這個演進
這個我認為唯一的方案只有通過訪針
對
那當然另外一個
我覺得很有意思的一個觀察
就是我們服務的客戶
其實我們最早的時候
服務的客戶都是這種強的訪針的比例味
那他就是相信合成數據
就是相信訪針
那他用我們的合成數據去訓練他們的大腦
當時會有一些可能最頂級的這個
這個訪針來最頂級的大模型團隊
他們就是真實流派的
他們絕對不願意去嘗試任何的訪針
但是其實咱們再看
我們過去的可能三個月的時間
過去的三個月的時間
基本上他們都成為我們的客戶
來規模化評測這件事
是你們找他們還是他們找你們
他們來找我們
對
所以這個是一個
有誰啊
這就不方便說
對
但是這個我覺得是一個很有意思的一個信號
就是實話說
當時最早的時候
我是主動地給他們發了很多的有見
那他們說
我知道你們是訪針最棒的
如果我要做訪針
我一定會來找你
但是我現在可能還沒有到這個時間點
但是可能過去的三個月都來找了我們
他們共同意到的問題是什麼
他們沒有辦法去規模化他們的評測了
這個是他們的核心的問題
就是他們認為他們的算法有足夠的足夠好
就是他們
他們之前都是通過真基數據
之前都是通過真基數據
或者通過一些訪針的
就是評測級
就是這些學術級的Benchmark
去打
但是在真正印的水
其實沒有太大的意義
因為他們太簡單了
他們不夠規模化
比如說可能我們有一些去落地家庭場景的
這些的大腦的團隊
他們可能跌衣服
他們可能做家務已經做得很好
那他們希望就是說
能夠有一千個不同的家居的場景
可以隨時地去評價他們
包括這些最關鍵不是場景
而是這些任務
以及這些評價標準
可以幫助他們去隨時地去評價他們自己
這個是他們
不可能通過真基去獲得的
聽上去想要做大腦的內衣波人
可能是最早擁抱訪針的對嗎
沒錯
然後那些就是一開始是從一個場景裡走出來的
謝謝您們!
可能是比如說是跌衣服
或者是在商超裡
讓他們有一個做什麼事情的機器人的公司
是比較慢用保防陣的
當他們需要放化的時候
他需要防陣是這個意思嗎
我認為就是說
反正有兩種
比如說不要傳統的
就是這種支持的RL
對吧
這種這種防陣
那比如說可能全身的
就是父胞的肯錯
或者Local Motion
就是說如何讓一個
人性機器人更有效的去行走
讓他能夠站得標稟
讓他可以去做一些
全身控制的任務
這個時候可能
這些機器人公司會去
很擁抱防陣
他們其實是最早用防陣的一批
只不過這塊的防陣的需求量標小
他可能在一台
本地的機器上
去跑RL
就可以實現
跑三化學習就可以實現
而不是一個大規模的需求
而我認為對於大規模的需求
就會如你所說
更多的是這類大模型商
大腦公司
他們需要去泛化
他們需要去規模化
他們的數據
或者規模化他們的評測
在這兩個點上
他一定會被一個點
至少一個點卡住
他一定會用防陣
所以他們是最早用抱那批人
沒錯
你剛才說
近三個月開始出現變化的
應該是在垂直場
緊做機器人的公司
也不是
就是說大模型團隊
其實也會分為
一上來就是堅定的
訪真派的團隊
也會有一些
最早的時候就是徵機派
我就相信徵機的數據
但是可能到了一定階段
他會發現
我壓軟走不通這件事
那我一定要防陣
所以我認為
就是說過去三個月
我們最多的增長
我覺得第一是
基本上可能所有大模型
團隊以及他們的世界模型團隊
在這可能
就是一個公司
可能不只是一個團隊在
根本合作
可能有VIA的團隊
有世界模型團隊
都在根本合作
因為其實某種層面上
可能有很多VIA團隊
他們可能在基於世界模型的基礎
對吧
到這個時候
沒準確世界模型團隊
用我們可能能夠用得更好
對
可能VIA用我們的評測
世界模型用我們的數據
這個是一個
我們可能看到的
很多的一個現象
這三個團隊對數據的需求
不一樣嗎
不太一樣
比如說可能世界模型團隊
並不見得
一定要去
去有那麼強行動的數據
對
他一定要更好的
物理的這種限制
對吧
這種光定
然後
他需要有這種
可以幫助他們
可以更好的去預測
在物理世界
這個下一件事情的發生
但是他並不見得
一定要有第一人視角
或者第一個機器人的視角
在裡頭去與物理去交互的數據
而VIA可能更多的是一個行動派
他必須得有這種行動的數據
那可能是他自己的本體
可能是其他的本體
跨本體甚至是人的行動的數據
所以這個
我覺得還會有些的區別
但是整體上
就是說從評價角度來講
他們可能也都很需要訪針
因為他們需要在這些
足夠物理真實的環境中
能夠要不然去確認
他們的預測能力足夠準確
要不然他們的行動能力
可以實現這些不同的任務
你知道中國也有很多
就是要做機器人大腦的
不管是大公司也好
還是雙眼公司也好
我跟他們交流下來
我直觀上感覺好像
訪針他要小於軍機台
因為他們普遍給出的理由
是因為真技數據好方法
訪針數據不好方法
你覺得為什麼會出現這個現象
為什麼在中國的機器人團隊
訪針派似乎不多
我認為其實幾個點
第一就是說
我認為
這個就是這類公司
本張來講他們還是機器人公司
機器人公司
我就咱們去看他們的商業模式
它的底層還是要去賣本體
所以如果他要是一個訪針派
我就他就很難去
來肯定是他的客戶
去買他們的本體
為什麼
他們的客戶其實很多的
就是我覺得國內很多的
真機派的商業模式
還是去賣一個蔬菜中心
對吧
我買過來用你的機器人來採集數據
來採集數據
然後來不斷地去提升
所以他需要相信真機數據
才能賣本體
對
就是否則
我認為就是說
他其實我就本身上來講
還是一個屁股決定腦袋的事情
我覺得他需要去
真正的提倡一個真機派
才能夠更有效的去把這些
機於真機數彩
這樣一個商業模式去跑通
當然其實提到真機數彩
我認為真機數彩一定是需要的
我並不否認真機數彩
而且我人現在的量也是需要的
我認為他在增長時辨
可能這個量也是必須的
但是關鍵就看他會增長到什麼一個階段
我覺得根據數據進行
其實最小的量應該是
真機的10超的機器人的本體的數據
真機數據
沒錯
他的成本最貴
他的成本最貴
但是最關鍵的是他最難規模化
他都不是成本的事
比如說你怎麼去進入到不同的場景
很快速的去規模化這件事
這個是很難的一件事
你如何去換新的場景
很多
我覺得大部分的真機的數彩
現在如果你去他們的數彩中心
你會看到他們
他們也在用訪真
怎麼去利益
他在用現實世界的訪真
他拿的是一個假的香蕉
他拿的是一個假的蘋果
他並不是拿的是一個
真的香蕉
一個真的蘋果
他的場景可能變換很小
可能都是在這個桌面級
可能或者說一些
一家的這種的方式的搭建
他很難像訪真一樣
去規模化到可能更加廣闊的
多變的足夠物理真實的這些
場景的應用
所以我覺得這個是一個
我覺得就核心的一個不同點
另外其實從我們的角度
我認為就是說
真機派真正在做預訓練級的大模型
其實我也聽了就是談接的那一期
我不要同意談
就談接著看法
就是說我覺得可能不太合理
就是說純粹地做一個巨深的大模型
他一定是基於一個機座的
對吧
那在這個時候我認為就是說
更應該是一個大模型公司
來去基於他們機座的能力
再基於更多的數據
先是預訓練再是後訓練
來做出更好的標A來
所以我覺得從這個點上
我覺得可能機器人公司
可能也沒有多少機器人公司
真正在做這件事
就真正在做一個預訓練級的一個大模型
所以他需要的數據可能就沒有那麼多
他需要的數據沒有那麼多
談接說的一個觀點我印象很深
因為我也是跟他說就是國內偵機派
或者說偵機數據有更好的放花性
他說訪針數據帶來的是
心情rear的問題
不是放話的問題
放話的問題應該通過深圳
極大量的訪針數據來解決
對
你同意他這個觀點嗎
我是同意的
說到這裡我們定義一下訪針吧
因為訪針的定義現在也是模糊的
以前可能是說的是物理訪針
現在也把一部分的視頻深圳
認為是訪針
你怎麼定義訪針
我其實還是希望更加嚴格的去定義一下
那麼我認為訪針的話
我認為他更多的是需要在一個
足夠物理準確的一個環境中
可以可負現的
就以及可以可修正的去產生相應的行動
並且觀測到其結果
我認為這個才需要是一個訪針
那我當然解釋一下
就是說物理準確就是說
他的環境以及你所交互的這些物體
我認為他們需要足夠的
與真實世界的物理去對標
那這個對標不只是一個看起來像
不只是一個在幾合上向
他的可能摩擦力
他的可能更多的這些物理參數
也要足夠的去對起
這是第一
第二可負現就是說
假如說我去跑100變訪針
我有一個足夠高的一個系數
不見得一定是100
可能是95
99
我的這個結果是相同的
我覺得這個是很關鍵的一件事
另外一個就是說
當我去在我相同的環境
相同的其實點改變我的行動
我可以看到可能所改變的這個結果
我覺得這幾個點都是足夠需要的
那咱們再看一下視頻模型
視頻模型我認為就是說
他可能更多的是一個對下一針的一個預測
他可以看到一些
我覺得世界的變換
對吧但是一他可能很難去負現
他可能很難去負現
那如果很難去負現
我就很難去做大規模的可靠的評測
第二就是說他沒有行動
他很難有足夠準確的行動
那這個點我也很難去
要不然就做評測
要不然就產生數據
對第三就是說
當我改變了一些
在出示狀態的條件的時候
他是否可以產生其他的這些行動
這個也是很難的一件事
所以我覺得普遍的視頻模型
現在還不能衝置為防徵
當然就是我認為世界模型
是有機會真正的成為防徵的一類的
世界模型成為防徵的一類
對
那麼怎麼去理解這件事
就是說我人世界模型
他的底層其實是一個生成模型
所以他的優勢是可以更加廣泛的生成
相對真實沒有我覺得
沒有防徵的物理真實真實
但是相對真實
這樣的對於世界的預測
甚至是我認為後面接觸了機器人
對於下一步的本體的行動
我覺得這個是可行的
這件事在未來的可能一段時間是可行的
但是我認為訪針和世界模型
我認為他們並不是一個誰會取代誰
的一個關係
我認為他們兩者更多的會是一個共生的一個關係
怎麼去理解這件事
比如說我們其實服務的客戶有可能有一個很大比例
都是世界模型的客戶
其實世界模型的客戶
他們為了他們的預測能力
逐步的去提升
就物理的光電能力
逐步的去提升
他需要有更好的物理的數據
來幫助他們去提升
對吧
他需要有更加真實的物理
他需要有更加踢進人的行為的行動
來幫助他們去提升
所以在這的話
其實訪針會去幫助他們
另外一方面
其實由於世界模型
他可能具備更好的一個生長能力
所以他又可以幫助訪針的數據
幫助的訪針的結果
去做更好的一個範畫
或者說用訪針基於世界模型
去做更好的一個光電
良者結合
有更加準確的生長式的一個輸出
那從我們的角度
我們可能過去幾個月
我們和我們的世界模型的客戶
可能越來越多的形成一個共生的一個關係
共生的一個關係就是說
他們在用我們的數據
我們在用他們的模型
良者一塊能夠把這件事做得更大
我覺得這個可能是一個後面
就是說訪針世界模型
他們良者相互的一個關係
我聽起來訪針世界模型一種手段
我覺得其實很難說誰是誰的一個手段
我覺得訪針並不是世界模型的一個自己
或者世界模型也不是訪針的一個自己
我覺得他們倆可能應該是共同去達到更大的一件事情
這件事就是為了智能
去提供更好的學習的能力
現在這三個團隊
每一個團隊都跟你們合作最多
世界模型不要A和LM
我覺得世界模型合作要合作更多
而是因為你們做的是肉包庭相關的事件
沒錯
因為我們更多的還是關注在一個物理的環境
立透一個行動的經驗
以及相應的這些評價的準則
在這
我覺得我們做的相對表少的
是表說一個數字化的一個環境
就是LM就這一些
世界模型和標誼會相互突定嗎
我覺得他們其實在短期是一個很共生
我覺得相互依賴的一個關係
我覺得將來我覺得有可能在有一天
良者可能會合而唯一
但是其實本質上來講
我覺得可能在很長的一段時間
我覺得他們兩者都是相互依賴的一個關係
我們能不能把Robotics這個行業對標以前智能駕駛來想
因為以前在宗駕是維貿和特斯拉之爭也延續了很長時間
今天的這些Robotics大腦公司似乎都在走維貿那條路
但是今天來看好像特斯拉成為一個更主流的路線
當然維貿也做得很好
你是怎麼看待這個問題的
以及你覺得基金人領域的維貿和特斯拉是誰
你為什麼覺得現在可能大腦公司更想維貿這條路
因為他們不清本體
收集很多的數據
感覺基金人公司更像特斯拉
啊 李靖你意思
我可能觀察到的情況就是說
我先說一下就是我覺得可能這件事會跟自動駕駛很不一樣
就是我人家可能不見得會follow特斯拉或者follow微貿
我覺得這個原因就是說剛才我提到的他的底層的數據裸計
如果底層的數據裸計是基於一個基於本體的數據幣幻
作為90%90%以上的數據量
那麼我認為他一定會follow要不然就是特斯拉
要不然就是微貿的裸計
那麼我覺得
那麼在一個相對更垂直的場景裡在做這個事情
沒錯 相對更垂直的場景且他們的智能相對有限
就是我覺得自動駕駛的智能還是相對有限的
他更多是一個端策的模型
端策的模型然後他的任務其實比較單一
對吧 就是把車開好了
對 比如說他遇到這樣一個杯子
他的反應就是我要避開他
但是在基於人領域他需要根據這個杯子是什麼材質
他是一個多大的杯子
然後來決定他的手的力度
所以他的伏達系數也更高
沒錯 就是他的就是場景更加單一
他的唯一的物理就是車和地面的物理
他不希望去撞到任何的東西
對 所以就是說我認為他的智能水平低一些
對 就他的智能水平會低一些
當然我認為有兩種方式去解決自動駕駛問題
一種方式就是不是表 A
就是直接 VA VA 是 VA 的下一代
我覺得不是 就 VA 我覺得就共多就行動輸出
他其實 其實他錄
對 我覺得他其實更多是因為
我在端策上可能算裡面有那麼大
對吧 且有可能
就是說這件事所需要的智能是相對有限的
且就是說我有足夠的數據了以後
我可以基於模仿學習
把模型壓到就是更加踢進於司機的行為上
就夠了 對吧
那很有可能 VA有可能
就是這件事的終局
這是有可能的一件事
但是還有一種方式
就是說我做一個更加通用的 VA
我再讓他去開車
這件事一定也是可行的將來
對吧 所以我的意思就是說自動駕駛這件事
我覺得他的一個
我其實沒有太想清楚的一個點
就是會不會有兩條路線都能通
一條路線就是由於他的智能上線沒有那麼高
因此 VA 有通用了
對吧
還有一條路線就是我做這個 VA
他也能做
但是這個 VA有可能他還能做其他的事
我覺得這兩條路徑
有可能都是成的
對 沒有了語言
在 VA沒有語言
你覺得他的智能水平肯定是會降低的
他的智能水平會大大的降低
那當然這個我就是從智能的角度
從學習犯事的角度去討論
那另外一方面
我覺得從數據的角度
一樣就是說可能自動駕駛
本質上來講還是去用模仿學習
最大量的模仿學習
少量的強化學習
去把它智能供出來
那他所需要的數據
更多的還是本體相關的車
直接開回來的數據
而對於巨生來講的話
一定是走的是本體無關的數據的路線
本體相關的這些數據的量
真正的機器人在端錯落地量會相對來說很少
那在這樣一個情況下的話
我覺得可能就是最後出來的
就是說不太會存在特斯拉
因為如果真是特斯拉的話
如果真是特斯拉模式的話
它的大腦其實可能不是特斯拉做的
可能是XAI做的
所以我的意思就是說
我覺得在這可能
他也是一個大公司兩層的
他其實是兩個不同的公司
所以我覺得可能就是說
最後可能會有三種模式
微模模式
現在的特斯拉
在特斯拉公司內部的模式
還有一種模式是馬斯克體系內的模式
就是他一個是做本體的公司
一個是做大腦的公司
那麼這個如果說
咱們放到這個其他公司裡好
可能就是地賣做一個大腦
然後可能就本體上用這個大腦去落地
我覺得很有可能是這條路線
除了馬斯克和Google
你覺得還有誰能支持這件事情
都做
你的意思就是自動架式和這個巨神智腦
不是大腦和機器人
我覺得美國可能比較少一些
我覺得國內的話
我覺得小米
我覺得有可能
對
但是整體上來講
我覺得這件事還是比較難的一件事
小彭和李翔呢
他們的現在的站位是一個智能架式車旗
我認為這件事
他的底層還是卡得數量
因為本質上來講
如果要做這件事
就有點類隨意說你的前提
就是你需要有世界模型的團隊和能力
你可能已經有一個全世界
可能最好的世界模型了
然後又基於這個
同時再去做標A這件事
那我覺得他的卡的數量可能會比較高
需要多少
我們可能在服務的客戶的卡
可能都是大幾萬張
現在這個機別在做這件事
但我覺得就國內的這些
這些歐元牌是有很大機會的
創業公司呢
創業公司我覺得很難去做大腦
我覺得從我的小度
我就不太合理去做大腦這件事
你看智能架式的智能水平
你覺得不夠高
相對於那個統一的大腦來說
那有沒有可能機器人是這樣
一個一個垂淚場景去解決
我就基於某一個垂淚場景
收集很多的徵機數據
然後把這個場景訊號
就像今天的智能架式一樣
這可能會不會是一個更快的路徑
統一的大腦會不會太遠了
對 我覺得一定會存在這個路徑
其實這個路徑在我看來更加像微夢
這個路徑像微夢
對 因為我覺得它其實更多的是
在一個偏限定的
就是非凤化的一個區域
對吧 然後把一件事給它做好
我還記得就是我當時剛加入Cruise的時候
我們的重心就是在舊金山去落地
自動架式
做完了以後再去想第二個城市
所以其實我認為這種方式
就很像當年的微夢Cruise
它要花很長的時間
在第一個場景完全落地
落完了以後它去翻化這件事
擴大這個就是長年的視佩性
可能會比較難
對 其實你看現在我覺得
微夢確實是做得很好
但是我覺得特斯拉可能在這兒
Scalability就是在規模向性上
可能會做得更好很多
對 所以在我看來就是說
我覺得如果從這樣一個方式
從一個相對詞語的場景去做
首先這個場景可能會分為
就是一兩個特定的場景
現在把它做好
然後再把這個場景的
其他的特定場景給做通
這個就要花很長的一個時間
在這個之後再去平行得到其他場景
這件事我覺得可能就要上進動骨
因為它的整個模型的價格
數據各方面可能都是不一樣的
對 那這樣的話我覺得有點類似於是
當年的自動
就是我認為這款也會有成功的案例
比如說自動駕駛
其實你看現在在國內
我覺得做得很好
的 比如說有礦山的自動駕駛
它就關注在一個詞語
它把這個詞語完全地做好
在這個詞語它有比較好的一個商業模式
以及相應了一個壁壘
我認為這個是一個很成功的案例
對 那當然這個案例
我就說它可能很難去清到其他的場景去
所以你不認可我說到現在大腦公司
像微某然後機器人公司
像特斯拉的這個判斷 對吧
對 我就是我認為大腦公司的話
應該更像 Open Eye後面
對 就是我覺得自動駕駛
本質上來講它還是一個沒有那麼高智能的事
我認為就是說咱們要去看巨身的話
要同時去對標大園模型和自動駕駛
就是我覺得巨身可能是良者的
一個結合
這個很有特斯拉嗎
有巨身領域的特斯拉嗎
我覺得可能 Figure是希望成為巨身領域的特斯拉
對吧 它有它自己的這個硬件
它在規模它的缺量產
它在落地同時它也在做自己的大腦
但是還很遠
它這個因為還是場景實在是太模糊了
對 我就我覺得難度還是很高的
我覺得現在我越來越多的觀察就是
我覺得我可能會更早地看到大模型的
這個放化能力的產生
而我認為就是說可能很多人低窟了
在一個垂躇場景落地的難度
以及一旦落地了以後再去遷到其他垂躇難
就遷就更難
對 因為我是實實在在的經歷過
Cruise微墨當時自動駕駛的這一波
那麼我覺得就是說首先在一個垂躇場景
沒有 再究竟是山去落地
其實已經很難了這個問題
那當然就是一旦好了以後
你知道其他的這些城市
其實每一個城市
你可能都要有更多的數據去踩積去訓練
以及去大規模的去評測
來真正保證你在這個城市
能夠足夠安全地去落地
這件事它不是一個很方法性強的事
但是比如說特斯拉他可能
他一開始就開始收集數據
沒錯 它是一個就更加廣泛的一個數據的踩積
真正能夠把這時候給做同
但機器人可能這麼廣泛數據踩積的場景更難一些
所以一定要依賴訪證你的邏輯室
訪證和人類數據一來本體無關的數據
我人這件事會極其關鍵
就是如果沒有這件事
如果沒有巨身的精彈
的下面的訪證和人類數據
我認為就是巨身這件事的通知能就出來了
說到這個數據精子塔
我們來聊聊這個精子塔的構成
以及它對於每類數據的收集上有什麼能喝
對 數據精塔其實是非非的學生
就是朱鵰克教授
他提出的一個概念
他本質上來講的就是去分析
巨身智能的數據跟自動價是不一樣
他最多的肯定不是基於自己的本體產生的數據
因為沒有足夠規模化的本體的數據
更多的要一來於訪證和互聯網以及人類數據
那麼精彈的包括三塊
最上面是真實的本體採集的數據
也就是咱們現在可能最多的看到的真實機器人的搖操作的數據
這個數據一定是最準確的
最好用的
但是這個數據的問題是他很難去規模化
他很難去規模化機器人
很難去規模化場景
中間層是訪證產生的數據
對 訪證產生的數據他的優勢就是說
他的規模化能夠做得很好
當然他也會遇到心土壘的問題
當然其實現在由於客戶都是大模型
他們在預訓練機段會用很大量的訪證的數據
以及真實的數據
其實這個模型的通用的能力會變得很強
其實心土壘就是訪證和真實蓋不得這個問題
變得越來越小
對 這個是中間的訪證的數據
在網下就是互聯網的數據
還有人類的視頻的數據
人類的視頻的數據其實更多的是人的低人視角的數據
可能是人帶著眼鏡
然後去採集的數據
咱們其實去看過去的幾個月的時間
我覺得在本體無關的數據訪證和人類的數據
我覺得產生了一個制的突破
我其實認為現在已經達到了一個Skilling Law
就是巨深的一個數據的一個Skilling Law
為什麼這麼少去說呢
咱們去看一個是我覺得李菲菲的這個Behaver Challenge
包括這個因為大家的Groot這個模型
用到了大量的訪證的數據
證明了他的有效性
另外就是說Janalyst
他用了27萬小時到5米加轉的這個數據
5米加轉其實本身來講也是人兩個手
就拿著這個加轉去採集的數據
他其實也是人類數據的一種
那他更多的是一個標簡單的一個加轉形態
那再往後其實就是手指形態的數據
沒錯
那他們已經證明就是說27萬小時數據
在模型上看到了Skilling Law
對
那麼我覺得由於這幾個點
其實從我們的實在的觀察上
從我們的客戶給我們帶來的需求上
過去幾個月可能是一個制的一個飛躍
就是對於這個數據量的需求
是一個可能極大的一個增加
讓我們可能原來的時候是一個我們
就是我們需要去刺激需求
到現在我們可能是要去規模化我們的團隊
來真正的交付客戶的需求
這樣一個階段
對
那當然就是說在這我可能在分享一些
更多的想法
我覺得金塔其實並不是一個很單純的
就是三層
就是真實數據
反正數據
然後這個人類數據
它其實每一個階段
就是每一層都要去細分
我舉一個例子
從反正數據層可能最往上
這一層可能是一個人趣趣的反正數據
因為它從RI角度很貼近於真實數據層
它是它的優勢是它不需要去基於
機器人的本體
對吧
它另外就是說它還是用人
這樣能夠踩級到最高質量的數據
但是它的問題就是它有規模化能力
相對來說欠缺
對吧
那往下其實就是更多是一個算法驅動的
模型驅動的自動化財經層
這個可能人的記住就相對來說很少
它能夠保證的是它的規模化
但是它的質量就不會比上層更高
對吧
咱們再往下去看
就是說人類數據層也一樣
可能也會包括比方說被動採集的
人類數據層就是說人可能帶著一些眼鏡
對吧
然後沒有很好的一個質量管控測試
拿到了很多的人的第一人視角的數據
也會包括可能主動採集的這個數據層
可能有更加高質量的硬件
更加高質量的流程的管控
但是它的規模性會差一些
我覺得這個可能是一個數據進行它的構成
對
那當然還有另外一個點就是說
我其實某種層面上覺得
數據層給人的一種印象是
它是一個很獨立的狀態
就是真實訪真
或者往人類是一個相對比方的獨立的一個概念
從我們的實踐中
我越來越認為
數據層它可能會是一個
就是以訪真為中心的一個避緩
以訪真為人是中間那次
對
就怎麼去理解這件事
就是說如果真要把訪真的評測做好
因為評測這件事
必須要基於訪人去規模化
那它必須要拿來最大量的足夠真實的場景
物理的世界
人的這些的軌跡
經驗同時還有
我覺得很關鍵的評價的標準
就是不同任務的評價的標準
這件事在訪真中
避門造出是很難出來的
那其實需要去拿到更多的真實的數據
所以這個其實也是為什麼
我們現在開始去做人類數據的原因
人類數據
就是人類的視頻的數據
你剛說是以人類為低視角的數據
沒錯
以人類為低視角
因為其實咱們可以把人
機器人
我覺得大模型
很關注的一個能力
就是跨本體的能力
如果從這個角度來講的話
人是不是也是一個機器人
所以本質上來講
這種訓練犯事
它其實就是把人當成一個機器人
把他的數據拿回來
堆進去一塊去訓練
另外還有一個點
就是說
相當於把人當車了
對 把把人當車
沒錯 完全
就完全是這個意思
另外如果這樣沒準
將來機器人越來越像人
因為它越像人
它的本體和人的差距就會越小
所以我覺得這個是
人的低視角的數據
的一個核心的一個點
當然就是說
這個數據回來了以後
其實可以基於RiotoSim
很多的這個算法
訪真的能力
把這個世界拿回來
把他所交互的這些物理拿回來
以及把他們的很多的任務
以及評價標準拿回來
又把這些真正的加入到訪真裡頭去
來擴充訪真的規模化
對吧
另外一個呢
就這個是一個從真實到訪真裡的一個環
從訪真到真實就是說
訪真做完了以後
一定需要在真實世界去落地
那麼SimTorough如何去解決
一方面來講是在預訓練加入更多的訪真
一方面其實是
把他和真實世界做更好的對標
對吧
那其實
所以就是說
真實的謠操作的數據
真實謠操作的評測
和訪真的對標就會變得又為重要
對吧
不只是在訓練端的對標
同時還有在這個評測端的對標
來真正的可以讓SimTorough
不只可以服務訓練
也可以服務評測
所以從這個角度來講的話
我認為可能
數據訓練一方面他是一個精塔
他是一個分層的精塔
另外一方面
我認為他可能是以一個
以訪真為中心的
以評測驅動為中心的數據的一個必環
所以你覺得哪些數據是被高過了
那些數據是被低過了
對
首先我認為真實的
七七人的數據
肯定是被高過了
我認為其實咱們從過去幾個月
真正行業的發展來看
我覺得其實大多數人
都已經看到了這個點
就是可能原來就是
真擊派的這些的公司或大模型團隊
其實現在我認為大規模的去採購
訪真的數據
訪真的評測或者是人類的數據
所以我覺得第一
他肯定是被高過了
第二
我覺得訪真還是在被低過
為什麼呢
因為我覺得大家已經看到了一些訪真數據
的這樣的一個能力
但是我認為
就是說訪真的評測
我認為其實真正看到他的
沒有那麼多人
我覺得大模型團隊是完全看到
為什麼
因為他們在關注的是大規模的評測
沒有訪真
他就沒有辦法做大規模評測
而我認為很多的
機器人公司可能現在
還是在開始去看到這個階段
為什麼
因為他的規模還沒有那麼大
那當他的規模越來越大
他需要去處理的任務數量
任務種位
開放場景越來越多
他就會越來越感覺到這個通點
沒有
他是繞不開放生這件事的
另外我覺得人類的數據
其實相對來說也是被低估的
我認為其實人類的數據
也是機器關鍵的一件事
當然我認為他是要去
從我們角度
我認為他可以幫助我們
真正的去完善和補充
增強我們以訪真為中心的這條款
真的眼睛停下來非常有用
是那眼睛就相當於是車
所有人都出去給機器人收集數據去了
是的
我很同意這個點
我認為其實是人類數據
他的一個問題就是他其實沒有什麼比雷
我看到很多人在做人類數據的硬件
但是其實本質上來講
人類數據他的底層就是要
讓人帶上消費級的硬件
去採集數據
一定是要眼睛看嗎
第一是要眼睛看
比如說有
我看有硬件公司做一個
像Plaude做錄音筆
像比如說還有公司做了一個凶錢的
明白
這種事人類第一是老數據嗎
從第一線原理上來講
你越提醒人的視角是越好的
對就是說其實你的一個硬件
如果本來是定在頭上
定在頭點上或者放在胸口
你其實人的視角跟人的眼睛的視角
都有一個差距的
所以本質上來講
這個都會產生一段問題
為什麼一定要是眼睛
我覺得可能更多的是
從一個低性原理
就是說
有人是這麼工作的
就人就是這麼要工作的
對
那麼這個其實也是
我覺得看到的很多的真正的需求
我覺得都是朝這個方向去走的
對
那你從這個角度去看的話
其實到最後的時候
一定需要的是一個
最佳規模化的
我覺得消費級別的
足夠舒適的
可傳代
來真正的服務人類數據的
我覺得端策的硬件
怎麼讓人願意大規模
帶上眼鏡
如果不是鏡石
或者像我這樣
我是鏡石
但是我就想帶你印象
我覺得離向狀態下
人就喜歡帶這個眼鏡
而不是人為了數據是帶這個眼鏡
我覺得這個可能才是
真正的人類數據
需要是達到的這個點
我舉一個例子
比如說
MITA的這個
Ribbine的這個眼鏡
對吧
他們其實就改變他們的思路
他們最早的時候
可能是希望做遊戲眼鏡
對吧
然後做得很旋
但是看起來不夠好看
我覺得MITA的Ribbine的眼鏡
我覺得它特別特別
聰明的一個點就是
它首先這是一個很酷的眼鏡
看上去很好眼鏡
其次它有一個AI的助手
可以跟你去對話
對吧
它有一個上頭
我認為這種的可傳代
可能在場線是最有用的
就是這個可傳代
是一個大家都已經有的東西
而不是一個
你需要去買給大家的東西
所以這些公司首先
需要設計一個足夠有心理的眼鏡
讓我們都心甘情的戴上
然後它再利用我們去
給它機器人收集數據
是這個道理
但是你如果
是你這個走出去想的話
我覺得就是說前提
就是一定要基於一個消費機的
就相當於就是說
我認為人類數據的公司
不應該做自己的用件
如果因為它的這個硬件
很難達到一個消費機
消費機我值得可能是一個百萬
甚至更大的一個出貨量
大家都喜愛這個眼鏡
所以我認為它應該是一個基於一有的
消費機的硬件
或者說這個硬件如果沒出來
有一個消費機的硬件的公司
做了一個報款出來
大家都戴上了
這個是一個真正的一個報點
那它為什麼要把數據給
機器人訓練大黨的公司
我認為在這的話
它會有一個
就是不同的這個硬件
其實都有相應的SDK
API
APP 對吧
所以其實你可以去設計
這樣的一個採取流程的
我們都知道算力很貴
因為我們說驅動人工智能三加碼車
是算力算法和數據
算力非常貴
數據貴嗎
想要買
比如說訪任數據
會人類第一史的數據
大概是一個什麼樣的金額
數據其實我人家在越來越貴
這個是很有意思的一個點
就是說可能很多的人
認為數據應該越來越便宜
我其實覺得這個就是
本質上來講就是
就數據不同的
就剛才我提到的
就數據不同的階段
可能從一個
靜態的數據級
或者是一個量泛級的數據
到一個提供反饋的數據
它的這個給算法帶來的價值
是完全不一樣的
因此它所可以去拿到的這個價格
也是完全不同的
對
那當然就是說
我認為就是說
咱們去從預訊鏈
後訊鏈
還有評測角度去看的話
我認為可能預訊的數據
數據應該是最便宜的
且它應該是一個相對的標品
對吧因為我覺得不太可能
有一家公司自己去支付所有
預訊鏈級的費用
它應該是一個平攤
對吧
比如說可能全世界有五家大模型公司
去平攤了這份
預訊鏈的這份的數據的成本
而且大家都願意去平攤
因為這個應該是一個相對
幫助大家提升一個相對
通用那個能力
基礎的能力
最關鍵的這些反饋驅動的
這些的提升
還是在後訊鏈和評測
而後訊鏈和評測的可能是
一個更加針對性的數據
它更多是一個評測驅動
來給到足夠的信號
以及相對這些經驗的傳授
它的數據的價值和價格會更高很多
大概多少錢
其實這個不太好說
就是說現在可能
比如說從一個數據角度來講
可能一小時
從幾十人民幣到上千人民幣
可能都會有
但是它就是標數據的專家
什麼 階級數據的專家
不止它包括了
比方說這個
就數據我覺得它
巨深的數據
然後就它包括了三藥素
第一是它包括了一個物理的場景
無論是真實的還是訪真的
它一定要有一個場景
第二就是說它包括了這些經驗的軌跡
以及這些經驗的傳授
經驗的傳授就包括了這些語言的標註
第三就是說它包括了這些
評價的指標
比如說這個是成功這次失敗
它可能會標得更加精細
比如說比Heavy的數據級
可能我做一個Pizza
可能是一個很長長的任務
我裡頭可能有的比較小的任務
我可能先失敗了
比如說我可能先放一個模固
我先失敗了
我第二次又成功了
這個都會標出來
對 那這些在一起
結構化它是一個數據
那一小時
這樣一個表說就是做Pizza的數據
可能會賣到
可能比方說從幾世人民幣
到幾千人民幣不懂
現在這個是一個
我覺得現在整個行業還是一個比較
發散的一個階段
那當然了就是說
我們很關注的是高質量的數據
因為在這其實低質量數據沒有任何意義
高質量的數據
我覺得其實是在一個幾百人民幣
到上千人民幣
這樣的一個階段
什麼是高質量的數據
高質量的數據我認為就是幾個點
依據說這個物語的長徑
它足夠的多樣化
它的交互足夠的真實
且它足夠的符合真實的物理的長徑
第二的話就是說
這個軌跡的這個基礎足夠的專業
對 然後表說做一個Pizza
對吧 它是足夠流暢
它可能有食物
但是食物裡它有一個修正
其實這類的數據會更軌
就是其實跟很散之爵
就是大家可能認為一個
這個完美的做屁股的一個視頻
可能是會最貴 但其實不是
其實你如果中間
比如說掉了幾例這個菜
然後給他撿回來
再重新把這可以做好
他會更貴
其實我覺得有點歷史於人的學習
人的經驗 對吧
失敗了以後在成功的經驗
往往是最飽貴的
然後第三就是說
我覺得他的這些評價指標
以及他的這些標柱
足夠的這些準確
尤其是這些長程的任務
其實在這款是很難的一件事
他需要很大規模的自動化的
模型驅動的算法
來真正的幫他去精細化的做好
包括可能如果說是人類數據都還手
這個全身的這些的拆聽
這些的真實度
這些的準確性是極其關鍵的一件事情
比如說什麼樣的數據是好數據
比如說電影的數據會是好數據嗎
遊戲的數據會是好問題
就是我們這些日常見到的
哪些視頻可能會是一好數據
我覺得其實遊戲的數據
我覺得電影的數據都會有用的
但是指播就是說
咱們從數據經查小說來講的話
數據經查其實我覺得一個點告訴大家
就是任何的數據都會是有用的
但更多的考慮的是一個RI
就是成本收益比
對那麼我舉個例子就說
電影的數據視頻的數據很有可能
是能夠幫助模型提升的
但是他的問題就是
我可能我的處理成本也會比較高
且我模型提升的點數
會相對比較低一些
所以可能就是說我去消耗大量的算力
去處理的這些數據
然後去壓縮的這些數據
但是在智能上
我的體現相對來說會差一些
那我認為其實從一個RI角度來講的話
我覺得最高的還是一個基於訪針
可能有人在緩
但是是算法驅動去踩一些的數據
或者是一個人類的數據
我覺得這兩個可能是目前我看到的
在預訊難階段
我覺得RI最高的數據
為什麼電影的數據
遊戲的數據處理難度很高
我覺得他一方面
他會有一些比方說
你可能會增加更多的標註
另外他的問題就是說
他還不是一個3D的形式
他本質上是一個2D的形式
那遊戲有可能是3D
但是遊戲他可能就是說
他有點太CrossDome
就是他可能是一個
跟這個真實世界太不一樣的一個場景
他的物理其實不真實的
對吧
所以他有一個別的世界觀
沒錯
但是這類數據其實對於世界模型是有用的
比如說其實很多的世界模型的團隊
就用了大量的遊戲
就是玩遊戲的數據
他們有相應的這些的團隊
在買相應的這些遊戲的版權
然後用他們的AGENDS在老去打
然後把數據拿過來
來訓練他們的世界模型
但是這件事
怎麼說他是有用的
但他的效用性到底多高
沒有那麼高
從一個
我覺得提供數據的角度來講
應該追求的是一個高RI價值的客戶的需求
就是說數據台我覺得很大
其實在裡頭並不需要每一個都去服務
但是可能服務應該是最高價值鏈的東西
那你們內部會有很多的數據
給他不同的定價嗎
會有
對
但是這樣就是說
整體上來講其實沒有那麼的負責
我們可能整體上來講
更多的是兩類
一類是預選鏈
對吧
一類是評測的數據
這兩個其實是現在
大家最缺乏的數據
因為很多人叫你們叫Data Factory嗎
就是數字的工廠
你們帶我們走進這個數字的工廠內部
你們的工作流程是什麼
大概人員是怎麼樣構成的
就比如說剛才我們說數據標誌的人
這是一個職業嗎
對
我的問題很好
我這首先可能我
就是我們可能更像是一個Data安整
或者說我更希望把它定位成一個Data安整
就是它是一個Data Factory是一個舊定義
對
Data Factory我就它是一個有點偏工廠
就是它是一個流水線
流水線缺發線的技術
缺發線的系統
且它不是一個反饋驅動的
它不是一個評測反饋驅動的
我們因為Data安整是一個反饋驅動的
一個學習的引擎
那麼他們更多是
基於一個系統
以工廠
以系統能力
利用到端策的這個人
去幫助他們去生成的數據
在這樣一個情況下
就是說我舉例子其實
可能大家看到的是我們生產的數據
但是其實我們的內盒是一個全戰
我們首先為了去打造這個物理足夠真實的世界
我們需要用到訪針
這個訪針我們需要去構建足夠真實的物理的世界
以及這些可交互的這些足夠真實的物理的資產
這個其實地層是很難的一件事
打造
不要說剛提的這些資產是比較簡單的
但打造非剛提
不要說打造這個線欄
其實我們服的很多工業化的場景
需要線欄插拔的場景
這個是很難的一件事
那它需要地藏的自演的物理的集團器
是一個非剛提的集團器
以及訪針的這個資產的這個扣抵站
就是連條
來真正幫助他們去產生
同時的話這裡合的物理該怎麼辦
這套的物理需要從真實的世界物理來
所以我們其實有一個物理的測量工廠
這個測量的工廠
基於足夠自動化的機械幣
等等之類的工具鏈
來自動化的去這個世界上的不同的真實的物理的資產
去做交互
把他們的力學信心拿回來
又把它相對自動化的
去放到這個訪針的資產和這個世界上去
所以這些都是我們為了去生產一個
一個訪針的足夠真實的物理的世界
和可交互的物理的世界
做出的這個系統
在這個基礎上
我剛才提到有兩類訪針的數據
以類是一個以人為去動的
它的優勢就是說它的數據的質量是最高的
它提供的是最好的示範
它的問題就是說它規模換能力相對欠缺一些
在這個陸鏡上我們有很優質的這些
比如說搖操作的工具鏈
有些類似你看到人在去搖操作一個真實世界的機器人
我們有人在搖操作訪針實際的機器人
不同形態的機器人
甚至我們自己定義的機器人
它可能跟每個機器都不一樣
但是它是一個足夠標準化的一個形體
來去採集各種各樣的機器人的本體的數據
示範的數據來拿回來
同時我們也基於這條的陸鏡去訓練出來了
足夠好的自動化的這個算法
可以基於這套算法去自動化的去在這個方向去做採集
偶爾需要人為的介入
所以這個是一個更加規模化的數據產生的這個貫線
在這兩個基礎上
再往後就是標注
那可能就是說它有更多的預計的標注
在這用到了很多大模型的能力
以及最後可能有一個人在環的一個制檢
來真正保證這個數據
它是在它的質量上是足夠高的
所以這個可能是一個我們真正產生數據的一個基礎
那當然就是說剛才我也提到了
評測也是需要被規模化的
所以你可以理解評測其實也是一條數據貫線
那它呢
其實點就是說它會其實基於我們機於人趣
就是基於人趣採集的這條的這個鏈錄
這條的這個端策的這些硬件
以及雲上的這些自動化的這些算法
拿回來這些數據
然後再去做Rotus Sim
那可能包括這個把視頻裡頭的這些物理給重建
把視頻裡頭這些任務相對自動化的去提取出來
以及這些評測標準提取出來
把這些放入我們訪針的資產
場景、世界
以及這個任務的定義頭去
讓它更加規模化的去產生一套
就評測的這套的數據鏈
來讓它去服務的客戶
你剛才已經說評測數據非常的重要
那你們怎麼做的
對
我認為評測的數據它的最大的難點就是1
它需要很有挑戰
2.它需要很可貴模化
就要難也要可貴模化
沒錯
這個是很難的
我舉個例子可能比方說
很多的機器人工資他們在做Demo
他們可能比方說跌衣服
對吧
等等
他們可能更多是在一個相對固定的一個場景
去做相對單一的任務
但是對於大模型的氛化能力
可能他們需要就是說
真正的在很大規模的場景跳去
可能簽即別至少
這樣的場景跳去可能有很大規模的任務
這個任務可能是一個簽
甚至是萬規模
這樣一個任務
然後有相對的這些成功的定義
來幫助他們真正的去評價
這個時候我覺得第一就是說
如何去打造這些平行的世界
這些平行的世界的相應的這些物理
這些其實跟它我已經簡單講過
就是對於訪針對於真實
到訪訪針
這樣一個一個一個一個一個展現
那不要難的是它和這些任務
以及這些評價標準
這些我們是從真實世界來的
我們這個是極其關鍵的一件事
就是說如果如果訪針的評價
與真實世界的評價去脫離
那這件事就算可以規模化
它也沒有辦法真正的產生實質的價值
另外一個點就是說
可能大家認為我們是一個
以訪針為中心的公司
所以我們只做訪針其實不是這樣
我們還有一套真實評測的基金
比如說我朋友真實的機器人
然後我沒有
就真實的這些就評價的算法
這些場景他們的目的
不是為了去服務的客戶去
評價他們的機器人在真實場景
而他們目的是為了去與我們的
訪針的更大規模的這套的供給鏈
這套產線以及這些評測的難題去對標
比如說我們用相同的算法在訪針裡頭
和在真實裡頭
我們是否可以看到一個相關性的對應
這個是很關鍵的一件事
我覺得只有把這些也做好
才真正的能夠把以訪針為中心的
規模化的訪針的評測
可以做好
沒有多少人
整個團隊嘛
我們現在可能全職的更多的是工程技術方向
就有可能100來個同學
大概是這樣
就我不太認為
AI會自己為自己完成就上成數據
然後就服務自己
這件事底層邏輯是不同的
因為它就更像是一個用動機
所以本質上來講
我覺得一個核心事
一你是不是拿到我足夠準確的世界
對吧
已經足夠準確的任務
二你需要有人在這裡頭的一個經驗的示範
這個是一個核心的能夠幫助
模型去提升的一個人質
那當然就是說
我覺得很關鍵的一個點
就是你如何去放大這個示範
對吧
如果你是一個以人為中心的數據公司
那你可能需要的是
我認為可能需要的是千萬到一
這個量級的人最終才能把這些做成
因為這款需要的量太大
但是如果你是以一個以訪真為中心
以系統為中心的
那你其實在這兒有一個放大效應
因為你是通過技術去放大
人產生的這套的這個經驗
那我認為這款可能需要的這個量會
小100倍左右
上次我記得彈劫說
就是 data factory
有問題就是你們採取了很多數據
但是比如說給它提供數據的以後
就是想給這種大腦公司提供的數據以後
它也不能告訴你們這個數據好
然後最後就會出現撤皮
就是數據公司說
我是你們模型沒訊號
然後模型公司說
是你們數據採的不行
就是一個撤皮的過程
你怎麼看
這個問題怎麼辦
對
我認為這是一個客觀存的問題
但是其實我想舉一個例子
就是咱們去看
SKale AI和OpenAI在GPT2
其實是一樣的一個階段
這個階段其實就是說
大家其實在共同的找尋這個數據的配方
它其實大方向已經身體比較明確了
比如說訪針
比如說人類數據
比如說訪針的評測
但是它在細節上
可能會有一些區別
我舉一個例子
比如說我們就實實在遇到
最早的時候可能客戶給我們的需求是
要完美的數據
後面可能更加希望是富陽本
或者就是糾錯的數據
另外就是說可能需要更加分布廣的數據
比如說你去拿一個評測
可能希望的是
拿評測的方式是不一樣的
而不是每次都拿同樣類似的一個方向
一個位置
對吧
這些都是一個
我覺得逐步跌倒的一個認知
我認為在這兒其實最關鍵的
就是跟可能整個業內
最領先的客戶
去寫作起來
去共生起來
我覺得這個是最關鍵的一件事
另外其實就是說
我們其實也遇到了一些
就之前可能也會有人去問
就是說如果一個數據公司
它不是做大腦的
它不是做本體的
那麼它可能認知
對於數據的認知
趕不上一個本體公司
一個一個大腦公司
對於數據的認知
我覺得其實從我們實踐下來
我認為到不是這樣
就為什麼呢
就是說其實真正這個世界上
能夠對數據
尤其是大規模的預訓的數據
產生認知的團隊擊殺舞弊
可能也就五個左右
我們可能基本上跟他們
都是一個合作關係
我認為就是說
在這兒最關鍵的是
和最核心的客戶
產生一個相對共生的一個
寫作的一個關係
沒有個
這可能就
這可能就不太細說
但是可能你可以想像
就是最大的大模型公司
最關鍵的大模型公司
那麼他們往往都會有自己的
居身的團隊
在這兒呢
我覺得就是說
很核心的一個點
就是兩邊是否
可以同步地去跌倒
就跌倒也相互的人質
這是一個很關鍵的事
其實某種層面上
我們得到很多不同
客戶給我們的人質
同時我們也給我們的客戶提供了
更多的一個人質
我覺得這是極其需要的
我在舉一個例子
就是其實數據進塔這件事
它是需要被驗證的
就是數據進塔是一個概念
但是它到底哪一層的數據
是最有效的
配比是如何的
這個是需要被驗證的
我們其實可能和其中的
大概兩個公司左右
都在不斷地去
眼鏡對於數據進塔的跌倒
這個是很關鍵的一件事
那當然就是說
你要去驗證市進塔
你需要多少讓它
可能得幾萬張卡
才真正能夠有效的去驗證市進塔
所以我認為其實在這兒
一些核心的人質是極其關鍵的
應該怎麼配比
我認為就是說
可能就不能說太細
但是就是說我認為其實
就是越來越偏本體無關層
這個是首先是一定的一件事
另外就是說
我們可能得到更多的一個認知
就是不只是一個在預訊連結段
包括就是預訊連之後的後訊連
從R的結段該怎麼去做這件事
該怎麼去微調
多少利用訪症
多少利用真實
以及後面的評測該如何去構建
我覺得它是一個整體的
一個體型化的一個人質
準備數據非常的關鍵
能不能給大家一些
你們的關鍵的一些
secret分享一下
對我覺得可能就是說
說一些就是比較偏反直覺的認知
我覺得還是回到就是說
這個什麼樣的數據是好的數據
這個點上
其實我覺得它越來越像人的學習
就是它越來越不像最早的自動架式
最早的這個機器視覺
最早的自動架式的機器視覺
就是完美的數據是最好的
它有一個標準答案的
我覺得現在的數據可能越來越沒有
一個標準答案
這個時候能夠
我覺得從第一線原理上
能夠幫助人去學習的數據
我覺得它可能是最好的數據
就是它是一個表説
讓你看到了一些錯誤
能讓你從錯誤中去學習的數據
我覺得這個是一個很關鍵
另外就是說可能人從小的時候長大
它可能就是說
你就是看一個老師
就給你講題
你可能不見得是最好的效果
可能你把每一個同學都給當成自己老師
一道題可能有不同的做法
然後從足夠的分佈中
去得到自己的結論可能是更好的
我覺得這些可能是
我覺得它的CQSOS
它是和人的學習是越來越共同
所以其實我越來越覺得
我們可能做的是一個教育公司
就是教育公司
對我認為中舉的數據公司
可能跟教育公司是長得很像的
那你覺得教育AI和教育人的不同是什麼
目前來看
我覺得現在巨神可能還是沒有那麼智能
所以現在還是有不少的是一個示範
還是有一些讓他去死基因背
或者讓他去模仿學習
但是我人就是說
越往後可能你越需要去挑戰他
另外就是說
我覺得在這兒
其實本身來講
巨神這件事
它還是一個藥與物理世界去交互的一件事
所以這個教育可能和咱們的平常的這種數本的教育
還是不太一樣的
它需要有更多的物理的示範和物理的交互
因為你跟國內外的不管是大腦的公司
還是機器人本體的公司
還是大模型的公司應該都很熟
能不能給大家做一個
就是關於中美機器人團隊
是怎麼做數據的賣品
沒問題
他們都是什麼的信仰派
就是因為我跟他們很熟
所以我可能不能太細說
我覺得我可以去相信的去歸類
就是說我覺得有一個就是大模型派
大模型派我覺得可能越來越多的
就是大場的大模型團隊
我覺得他們可能出發點
可能一最早的時候可能不太一樣
但是可能越來越
越來越趨銅
越來越趨銅就是說
他們需要的是
這個領樣本的飯化的能力
你說的是大別模型團隊還是那個團隊
大場的威耀A團隊
大場的世界模型團隊
我覺得大概是這兩個團隊吧
我覺得他們需要的是這個領樣本的飯化能力
我覺得這個是一個機器機器
對機器的上能力
我覺得這個是他們最看重的
他們倒沒有那麼看重本體的輔導度
那他們最關鍵希望的是能夠用相對
簡單的標準化的本體
但是能夠去驗證他們規模化的機器的上上能力
我覺得這個是他們特別相信數據
他們也特別相信本體無關的數據
相信訪針
相信訪針的評測
相信人類數據
那麼
因為這個走的是大約模型的走進世界路
沒錯
同時就是說他們其實在Infra上
他們會更早地去嘗試做RL
做大規模的RL這件事
但是重點可能是在訪針
這個是我們可能看到的一個核心的
一個大模型團隊的一個趨勢
這裡有差異嘴
因為這些大場
他當然他自經很熊厚
他有Infra能力也非常的強
但是他同時有大約模型
也有VLA和世界模型
就是做機器人的這個方向
那他在當下肯定會把資源傾向
傾斜給大約模型的團隊
對吧
他不會傾斜給機器人團隊
所以會不會反而出現在大場資源
其實在機器人團隊
能留到機器人團隊的資源
沒有想像中那麼多
你說這點很好
但是呢就說我覺得這個其實是一個
可能
升到6個月前的真實的現象
或者說其實在今年以前
我覺得看到的情況
其實大廠是基本上沒有下廠的
比如說 Open Eye可能沒有下廠
對吧 可能自己也沒有下廠
就沒有下廠
C-RES立去大規模的去做這件事
對 但是在今年開始了以後
我認為可能核心就是說
大模型這裡相對來說
可能趨勢相對確定了一些
有一定的手可以疼出來
然後這些就開始去做到了機器人
VIA
對 所以
從你的視角告訴我們誰變得更激進了
我覺得自己肯定是更激進了
我覺得阿里也
我覺得 Open Eye
我覺得Dime也絕對更激進了
對 我覺得因為答
我覺得也更激進了
這就是五家絕竅機型大腦的船隊
我覺得還會有其他
對 其實某種層面上我認為派
也應該屬於這個類
但他是創業公司
對 他專業公司
但是我認為他可能
咱們去定義他可能更多偏一個訪替人來
而不是一個機器人公司
對吧
那麼我覺得他也算是這一類
就是他在
他在真正的大規模的去訓練自己的模型
就這個是一個我覺得大模型
對吧
那我們再去看機器人
我覺得機器人的話
可能最早的時候全都是真實派的
現在我覺得有一些是開始去
Follow訪真
訪真評測
我覺得這是調投了
還有一些同時那一載Follow這個人類的數據
比如說這個用
一戰的為首
對吧
同時本來三輩
那他的
他用他的那個類無迷的甲轉
其實也是人類數據的一種
那國內的一些可能也是
有Follow人類數據的
對 所以我覺得
就是說機器人公司其實也在分化
可能呢
我覺得
我覺得底層
是這個機器人公司是否
是一個很大的商業模式
是一個數彩
還是說他的商業模式
就是去做大腦之能
我覺得他在這後有運的風化
就是他的數據的品類上
後有運的這個風化
做大腦之能好像不能成為商業模式
把新解斷
我覺得就是說
就是大腦之能
就是說他去把機器人
不熟到真正的長程口去
去執行長期的任務
而不是去做一個數彩的數彩場
我覺得現在可能
很多的機器人公司
其實底層做的是一個數彩場
其實我個人比較剛好語數
語數其實我覺得
它還是一個更加偏本體的模式
如果說咱們去認為
可能這個
就是本體無關的數據
導致可能大廠的
大模型真正成為最後的誕堡
那我覺得語數的區分度是
最鮮明的
它就是堅定的把他的本體做好
所以我到我認為
就是說語數可能後面
他的定位很清晰
他也不和他的
比方說
他也不和誕堡公司去競爭
我覺得他們是一個很無實
而且知道自己哪裡有優勢
知道自己哪裡不希望去發展的一公司
就我覺得知道自己的
這個Boundary
就編界我覺得很關鍵
那他在這個生態裡面
會扮演個什麼角色
這樣的本體公司
我覺得他會是一個
核心的本體硬件上
可能比如說後面
如果說這些
大廠的
大腦公司
大廠的大腦團隊
他們希望去在場景去落地他們大腦
他們很有可能會高有去看語數
和語數合作
對吧
因為我覺得語數已經被證明
他是一個足夠穩定的
可量產的
對吧
可量產的
除了語數以外
你還看好那些
機器人物
我認為志願
其實我覺得商業化走的是很好的
因為我覺得他們可能
從
黑萬就想得很清楚
這件事如果說
他要去體系化作的話
他就要把上下有溫泉打通
同時我認為其實
劇身可能某種層面上
現在還應該是一個共濟驅動的市場
就是你先把這個量給做出來
真正的去驅動
整個行業的提升
整個驅動
整個共濟的練習提升
我覺得在這兒
他的
他是想得很清楚的
我覺得他的量產
各方面是做得很好的
你覺得這個行業
當然今天特別早
如果一定要說終局的話
你覺得他會形成
一個什麼樣的形態
機器人大腦會是大拳的嗎
會是一架壟斷的嗎
我覺得可能會像現在大魔形
行業
對吧
咱們可能看到
大家以為 OpenI能夠
一級壟斷
沒錯
原來因為好像不行
沒錯
對
因為我認為就是說
第一層還是數據幣環
對吧
如果說
這個數據幣環是掌握在一個
本地上
他有規模他自己最大的本地
去多點的場景
拿回來最多的數據
他有新蘭自己最大的大腦
那這件事可能確實會形成一個霸權
我舉個例子
特斯拉就是這樣一個霸權
對吧
他們在自動駕駛
我覺得是做的是很好的
那當然國內的
我覺得歐岩
比如說像李翔小鵬
未來等等
我覺得做得都很好
對
那當然如果說
在這兒他
如果是一個
本地五官的一個數據模式
他必須要和數據上去
進行共生的一個演化
那這個時候
我覺得可能
大模型廠商
很難單獨的形成一個霸權
所以我認為
在最後可能更多的是一個生態系統
這塊有最好的誕老公司
有最好的數據公司
有最好的
這個機器人的這個本地公司
三者的一個強合作
來真正的
讓這個長進公司
真正的把這些
機錢給落地進去
當然可能會有一些長進公司
自己就是
最好的硬件公司
我覺得這是完全可能的
現在看好像美國那邊
大腦發展得更快
中國這邊本地發展得更快
這會產生什麼後續的影響
你中國團隊
對於但機器人大腦會追回來嗎
從我的判斷
因為我們其實
服務的客戶足夠多
我認為很有可能會去追回來
我舉個例子
千萬其實是現在
可能最好的開源的大模型
對吧
所以我認為
就是說
國內的大模型的能力
我認為是極高的
且他們在這兒
我覺得做的決心是足夠高的
他們的基建
我覺得是足夠好的
同時呢
我覺得這塊的人才
密度也是足夠高的
我覺得更多的是
因為由於可能
國內的大廠之前的時候
可能重新還是在大模型
大圓模型
他一定要把這些事給爭下來
我覺得現在這件事
他們已經開始把他們的資源
開始去放到巨神這塊了
所以我認為可能
咱們可以看到
不少這塊的一個提升
為什麼過去三到六個月
他們開始往巨神上轉資源
他們看到什麼跡象
其實我覺得還
不是過去三到六個月
我可能是過去的
我覺得
叫小一年的時間
對
我認為可能更多的是
一就是說大模型這邊
我覺得可能相對
趨勢比較明確了
所以他們有精力
往這邊投了
二的話
我認為可能確實也是
看到了
就是說咱們現在就是
文字兒有一個核心裸機
就是你到底是
本體相關的數據
還是本體無關的數據
如果這件數據
一定是本體來的
我覺得大模型
傷勢很難完全介入的
對吧
那他最好的方式
就是跟一個本體上去合作
對吧
如果這個數據的核心
是本體無關的數據
那我覺得
這就是
託託的大模型公司的機會
對
所以我覺得這個是一個
可能整個行業
我覺得逐步
開始想清楚的一件事
誰會是
Robotics領域的OPENI?
我覺得首先
OPENI可能
也還會是RoboticsOPENI
因為他們其實
Robotics團隊
其實還是很強的一個團隊
我覺得一定不能小趣
我覺得DIMINE
我覺得絕對
可能還是大模型的DIMINE
對我覺得他們是一個極其的文
我覺得極其優秀的團隊
對
我覺得因為大家
我覺得是很有希望的
我覺得是很有希望的
因為我覺得
因為大家對物理AI
是極其極其重視的
我覺得
GIM的團隊
我覺得民語的團隊
我覺得都是足夠強的團隊
而且資源我覺得給高的團隊
我覺得在國內的話
我覺得可能自己
我覺得可能
阿里爾前文
從我角度
我覺得可能都是
極其優秀的
你不看好馬斯克
我覺得XAI是有機會的
但是馬斯克
其實他現在的Focus是
他的本體的硬件
他其實
我覺得一個是XAI
可能現在還是在一個大模型
對吧
他還是要把重心
把大模型給做好
他內場上沒有打贏
對
沒錯
沒錯
所以這個是他
可能XAI最關心的事
而他的
他既然有一個本體優勢
我覺得這個優勢
是別人沒有的優勢
就是他本體的硬件優勢
他一定要把它放回到機制
對吧
所以我覺得這個是
特斯拉現在
這個機器人的重心
所以我覺得這兩個
其實現在
兩邊還沒有
完全全的會到一起去
你覺得機器人大腦
現在的路線有分歧嗎
他收臉了沒有
我並不認為完全收臉
我認為就是說
其實就是
剛才怎麼提到的
這個
模型技術劇這件事
我認為可能
就是說機器人大腦的架構
可能這件事
還並沒有
完全的收臉
那當然
我覺得在一有的架構上
已經有一些
Skeleton要的端理
是基於非本體
就本體無關的數據
訪真和人類數據
去產生的
那當然就是說
這個蛋腦架構
是否可以進一步地去演化
他該如何更有效的
去利用到世界模型等等
我覺得這個還是一個研究問題
就在這兒
我覺得還有一定的研究問題
需要被解決
我們現在有很多的
新詞包括世界模型
包括空間制能
然後包括物理世界的AI
這些都要講一個事情
還是像是之前
你們給大家解釋一下
這些新的概念
對
我覺得他們其實還不太一樣
我覺得物理世界的AI
可能更多的指的是
能夠在物理世界去行動的
這些的模型
那麼我認為可能
主要包括就是自動架式
和巨神制能
這個我覺得是一個對物理
物理AI的定義
當然就是說我覺得空間智能的話
我覺得它其實更多的還是
關注在三地的空間視覺
然後是否可以去有效的
不只是重建更多是生成三地的空間
以及基於它去進行相應的一些預測
我覺得世界模型可能更多的視覺
就是你對物理世界有足夠好的一個理解能力
以及一個預測能力
但是可能你欠缺對它的一個行動能力
我覺得它應該是這樣的一個區別
我們今天因為主要的話題是數據
但你覺得如果在數據裡面
直接覺得一個最關鍵的問題
它就能時間大幅的約生
你覺得會是什麼問題
我覺得如果是巨深的話
我覺得可能現在最關鍵的問題是平臭
就是平臭的規模化
我覺得這個是最核心的問題
為什麼這麼說呢
因為其實我覺得現在
就是本體無關的數據的預訊鏈的通路
和Skinna 我就已經出現了
我認為在評測上
其實現在是一個卡口
這款是一個真正的卡口
如果這個解決不了
我認為大家很難去衡量自己智能的提升
這個是一個核心
對
在這兒我覺得跟猜如我所說
我覺得可能一定要去把真正的
訪真的規模化的評測給它打造好
我覺得這款會是一個
所有人都需要的一個能力
那如果是大約模型呢
它數據問題應該解決最關鍵的一個問題是什麼
大約模型我其實認為
可能也是在評測和後續鏈端
那它其實很多現在AZN
可能需要的是一個是更好的一個評價能力
那麼其實現在遇到的一個問題是什麼呢
就是說摩高一尺到高一張
就是當你模型能力提升了以後
你需要更加牛的人
去提供更加好的反饋
或者去制定更加難的考題
就更加有效的評測指標
所以我覺得這個其實是現在
可能大圓模型遇到的最大的問題
它其實是
它本質來講是捲越來越高階的評價指標
你覺得到哪一天數據問題會徹底不重要了
我其實最早就是我認為會有一天
數據問題不重要可能是
比如說15年可能20年可能會有一天數據
不是一個問題
但是我現在越來越思考就是說
我就從第一線圓裡去思考人
你說人什麼時候不願意去讀書
或者人什麼時候不願意去學習了
我其實覺得人可能越優秀
越希望去提升自己
它只不會變成就是說
從向別人學習
變成與自己去對標
與自己的昨天去對標
以今天去早上去對標
對吧
它會更加即可地去設計到更多的知識
但這些知識可能有的時候
可能數本已經不夠了
那它可能需要去在真實的世界
去實踐
去遇到一些挫折
然後拿到一些反饋
來不斷的去激勵自己
更好的去提升
所以我其實認為可能智能越強
我現在的觀點跟之前
我就其實有些變化
我現在觀點是我認為智能越強
其實它對於知識的即可程度會越高
對於數據的即可程度會越高
但它可能就不想像外學習
它可能是自我學習
是的
我基同也
我覺得就是說
到了終局可能整體上來講
就跟馬斯克說的
咱們人可能就在一個訪針裡頭
就是它可能就是在自己的
這個咱們給它設定了一些訪針的環境
給它去
基於它自己去設定了一些成功指標
它不斷地去修訂它自己的內貢
我覺得可能會有那麼一天
當AI開始像AI學習
那Data Factory是不是就消失了
我同意這個點
就是說我認為Data Factory
它不是一個低性的一個需求
我認為知識或者說人類對於學習的可求
它是一個低性的需求
對
我認為Data Factory它還是一個量泛式的
大規模的一個產生量泛式的
相對標準化知識的一個路徑
我認為這個路徑可能很快就會不需要
那你們不就消失了
我們不是Data Factory
我們我認為還是一個以系統驅動的
以系統為中心的
以評測為中心的
通過幫助客戶的模型發現問題
並且基於這些有效的反饋和經驗
幫助他們去提升的一套的能力
對吧
這套能力
包括示範
也包括訪針的這些環境
到終局的時候很有可能
所有的人都不用我的數據
但都用的訪針的環境
在裡頭去用RL
不但就是修煉內工
我覺得可能會有那麼一天
A會不需要這個
你就AI需要
如果它足夠強大
它需要一個教育系統嗎
我覺得到最後可能不是一個教育系統
可能是一個環境
對吧
這個環境就說
有的例子就是說
人在這個社會上
他去學習他總需要一個環境
無論是一個
比如說偏數字的一個環境
或者偏物理的一個環境
他都要在這樣一個場景下去
自我的去提升
對吧
這個場景這個環境
其實本身來講
可能是我們終局
去提供給我們客戶的
那就有點類似於
咱們去看大園模型的學習
其實現在有很多的
就本來SKale等等
給他們提供的是一個叫RL
跟他我提到就是
一個服務強化學習的一個環境
對吧
那麼讓這個模型
在裡頭自己的修煉內工
我認為這個是一個
可能最終極的一個需求
你說像IceSan這樣的人的環境是什麼
IceSan我覺得它可能有很多的是
在它的大腦裡頭去構建了
很多的思考前提
它首先它可能有一些
它對於物理的基礎的認知
對吧
然後基於這些基礎的認知
基於這些基礎的這些定理
它去構建了很多的思考實驗
思考實驗某種層面上
咱們可以給它理解為訪針
對吧
它其實很多的管理相當論
下一項論
它可能都是它自己的
但腦裡頭的思考實驗去失措
去想出來的
那麼本質上來講
我認為如何去構造
這樣一個思考實驗
你可能需要一些物理
你需要一些光頂
就是一些限制條件
對吧
你需要足夠多的這些環境
來幫助它在裡頭
去進行足夠多的
就是我覺得可能大規模的實驗
你覺得訪針是你
就是我們開始聊到那個
你一直想尋找
但是以前沒有找到
現在找到的那個方向嗎
我覺得
對
我覺得訪針是這個
因為我認為訪針是真正能夠
去解決巨身數據問題的即使
或者說我認為訪針
是整個巨身智能
它對於這個學習所需要的前提條件
那當然就是說
我覺得訪針
就是單獨是訪針
當然我覺得單獨訪針
可能並沒有辦法完全解決這個問題
我認為它需要是一個
跟它我提到的一個巨踏
它是一個語
以訪針為中心
但並不是一個訪針唯一
得一套的一個系統的能力
(人們都在一起)
好了 今天的節目就是這樣
這裡是商業訪談錄
是一檔由語言及世界工作室
出品的深度訪談節目
也可以到公眾號關注我們的工作室
或取更多的信心
我們的公眾號是語言及世界
Learn great is world
我們希望和你一起從這裡探索新的世界
轉得 down to the cheer
we're the start of the story
This world will hear
We'll always put a new world from here
Podcast Summary
Key Points:
- 访谈围绕数据在人工智能发展中的核心作用展开,重点讨论了数据对于大模型和机器人(具身智能)产业的不同挑战与意义。
- 嘉宾谢臣(Steve)分享了他的职业经历,从自动驾驶仿真到创立光轮智能,其核心洞察是仿真和合成数据将成为机器人产业发展的关键基础设施和前提条件,而非仅仅是加速器。
- 深入探讨了数据产业的演变:从静态数据集、工厂化生产,发展到如今大模型时代更注重“因材施教”的高阶反馈与评测系统,数据正从“标注”转向“教育”。
- 分析了大模型团队与机器人本体公司在数据飞轮、商业模式和产业格局上的潜在差异与协作关系,并预测未来可能形成大模型商、数据商、本体商和场景商四方协作的生态。
- 指出当前大模型在预训练数据上相对充足,挑战在于后训练与评测;而机器人领域则面临预训练数据严重匮乏和缺乏规模化评价能力的双重结构性难题,数据收集难度高出数个数量级。
Summary:
本次访谈主要探讨了数据在驱动人工智能,特别是大模型和机器人(具身智能)两大领域发展的核心作用与当前挑战。嘉宾谢臣基于其在自动驾驶仿真和机器人合成数据领域的创业经历,指出数据问题本质上是智能的“教育”问题。他认为,对于大模型而言,互联网预训练数据已相对充足,当前瓶颈在于如何通过后训练和高效评测(类似“因材施教”)来提升模型能力,这需要越来越多领域专家提供高质量反馈。而对于机器人产业,数据则处于“荒漠”阶段,严重缺乏物理世界的预训练数据和规模化、低成本的评价能力。他提出,仿真和合成数据是解决机器人数据瓶颈的唯一规模化路径,并将从“加速器”演变为产业发展的“前提条件”。访谈还分析了产业格局,认为大模型团队更关注通用智能和零样本泛化能力,而机器人公司更专注于具体场景落地。长远来看,可能形成大模型商提供“大脑”、数据商提供“教育”与评测、本体商和场景商负责落地应用的四方协作生态。总体而言,数据,尤其是高质量、可规模化的合成数据与评价体系,正成为制约AI,特别是具身智能迈向下一阶段的关键瓶颈与破局点。
FAQs
数据是驱动人工智能的关键要素之一,与算力和算法并称为“三驾马车”。它类似于教育对人的作用,为智能提供学习和提升的基础。
仿真数据是机器人产业的数据基建,能加速机器人发展。对于机器人而言,仿真不仅是加速器,更是实现大规模训练和评测的前提条件。
大模型面临数据“撞墙”难题,互联网数据已耗尽;而机器人数据仍处于“荒漠”阶段,缺乏足够的物理世界交互数据,收集难度更高。
零样本能力指模型在没有见过特定任务数据的情况下,仍能执行该任务。它体现了模型的泛化能力,是通往通用智能的关键。
仿真数据使机器人训练不再依赖大规模实体部署,降低了数据获取成本。它可能颠覆传统的数据飞轮模式,促进大脑供应商与本体制造商的分离。
数据标注正从传统的人工标注转向自动化与专家反馈结合。在大模型时代,数据提供者更像“老师”,通过出题、评价和反馈来提升模型能力。