crystal liu

0:00
以下为AI 自动产生字幕
0:04
新年喽喽今天大家看到是年初四先跟大家拜个年祝大家蛇年行好运
0:08
不是龙年行好运蛇年蛇蛇声赚钱赚到蛇蛇声身体健康最重要
0:16
今天我们讲Deep Seat 不要读错了Deep Seat就没有了
0:22
新年喽喽是不是前阵子就觉得好劲都是前几天现在立刻跌落地狱
0:30
个个都说他造假怎样造假呢当初就说只用600万开发其他美国那些就跌落地下
0:44
我们一条友一年出粮都不止出600万美金你600万就搞定我们几十个人每人出几百万美金一年
0:53
那怎样搞呀我们回乡下吧原来600万美金只是电费
1:00
有人说就算他买了几千张x800都不止600万美金原来人工又没有包数据怎样拿回来的钱数据拿回来都要钱
1:14
之前做了那么多次又不算只算今次没理由只计算一次就中你之前都要练习要学一下怎样用x800
1:30
之前的V3又怎样算你只算今次HR1 Deep Seat R1最新model 计电费当然是600万
1:39
原来什么都没计算难怪你那么便宜
1:44
好了电费都是小事你真的那么劲就那么劲最多拿多点钱出来谁知道那些美国佬再看清楚一点
1:53
喂不是的为什么呢你好像用了那些蒸馏技术什么叫蒸馏技术我们再慢慢解释给你听
2:03
蒸馏技术就是用我们的大模型输出到你自己的小模型那里这件事是犯法的本身蒸馏技术是不犯法的
2:17
通常是一个大模型缩小到一个小模型就叫蒸馏技术就像蒸馏酒一样由很多提炼到很小很精华很concentrated
2:33
但是你蒸馏的东西是我的你偷了我的酒又蒸馏了你的酒出来你是大规模copy了我的智慧产权那不就是抄功课
2:48
美国总统任命的AI沙皇David Sachs就直接点名说你这样是偷我们美国的知识产权
2:59
为什么你可以这么快这么便宜的做到呢是因为你向一个现有的模型提出几百万条问题学习和模仿它的推理过程
3:11
就好像学生在跟着老师学东西一样所以我上一集也没有说错是不是由零到一发明就是美国佬一到一百将它复制加速就是中国人最厉害的东西
3:26
那么Microsoft也马上在找发现原来有很多可疑的账户大量透过API不停询问这个checkGPT 怀疑和deepseed有关什么叫API呢
3:41
API就是电脑和电脑说话的介面你和checkGPT沟通就在电话那里对着萤幕打字出来给你的眼睛看
3:51
电脑不会这样白痴弄到萤幕上再给你的眼睛看电脑有一个电脑对话的介面那个就叫API
4:01
那么openair是开了一个API出来给其他人用他们的服务再进一步制成另一个end product
4:09
就不是制成完之后去抄袭我跟着跟我打对台API是要收钱的但是你用完那样东西再去做另一样东西那就没问题了但是如果你买了我的东西回来你抄袭了我的那当然不行了
4:26
就等于中国高铁问日本德国买了一些技术回来你去用去弄一辆车出来给人坐是没问题的但是之后你抄了我的engine技术抄了我的电子系统之后就不光顾我再拿出去跟别人打对台那当然不行了
4:50
记住用intel的booker 话说刚刚有个朋友share了一张月结单给我看那么2024年百多万港币十多万磅不是很多放在IB里面每个月收了四百多磅利息整年加起来收了四千多磅利息因为原来IB你的钱包里面它是活期会给利息来的那么现在就算as of今天英磅都有4.2厘利息以上
5:19
头八千磅没有之后那些有那么4点多利息是全部活期的是每一个月月尾就算给你你突然有什么事要用要去买楼你不可以做一年定期不可以做半年那些就算是港币也有3.956来的哇简直随时高过银行那些定期的完全不用被它绑住不用限住每个月月尾算给你
5:53
利息一大轮才搞定要排队IB开个户口上网按个按钮都不用按按钮其实你就这样放些钱进去它已经每个月月尾会自动算给你什么都不用买那么现在我的朋友如果有钱我都会叫他按下面那条link 你自己看一下自己看一下港币美金英磅有多少息收你自己有计数机你自己进去算一下算一下是否划算你想不到买什么或者买那些股票有多少息收
6:26
我和我朋友讲你们装不装呢你自己想一下上个月回一回大家记不记得12月中Deepseed刚刚上一代第一代V3出世很多网友都在这里马上试就问他Deepseed你是什么model 如果你有胆问好他就说自己是Deepseed 是自己自主研发的
6:51
那么如果你打小个问号呢即是他set了一个你记住这个人如果这样问你有没有问好呢你就这样回答他如果没有问好呢他就不记得提他了Deepseed就说我是OpenAI开发的AI聊天机械人平台即是你教他讲大话都教得很蠢你教人家不讲个问好呢他就讲真话了
7:16
那么当初12月中一个多月前Deepseed呢人家再问清楚一点他V3呢还说我是OpenAI2023年推出的GPT4模型的一个版本那么另外有人问Deepseed V3 你的API是怎么用的你可不可以教我用他回答的问题是教你用OpenAI的API
7:45
那个笑话是一模一样的即是你说两个人讲个笑话为什么学到一模一样连讲笑话都学到一模一样那些人说除了你是抄我都想不到第一个放第二个原因了一个月前大家还说他当然是在后面你问一个问题他就问checkGPT 之后人家回答完他就装回答你即是套件衣服上去
8:06
那么现在呢就真相大白了原来他用那个蒸馏技术大量复制OpenAI的核心资料和技术那么再隔了一个月出R1之后呢他就化了个妆教了他讲大话讲叻了呢就没那么割眼他就抄回来了那么12月中呢OpenAI的CEO Sam Altman呢都说出了个Twitter呢X呢就说
8:34
抄东西很容易而已但是你创造一些新的东西呢你尤其是不知道成不成功的那些人花那么多钱呢就很难的那么大家那时候就觉得很酸的酸溜溜的那么deepCR一出来就跌落地下再隔几天发现原来他只是抄东西而已
8:54
其实蒸馏技术呢就一向在AI的行头都有的了就是将大model缩小到学生的model那里学生就不停和老师学东西将最所有我们想了一大轮几千年人类的智慧缩小到这本书里面那么你就看着这本书呢就做到这件事了
9:17
那么这本书或者这堆的智慧呢人家弄出来你要给钱或者人家肯给你用才可以的嘛那么现在呢你就静静的去偷问了人家偷学了人家的东西然后放在自己的brand那里那么就真的是被人发现了就不是很好啊现在那么现在呢大家坐定定呢再发现呢其实原来这个deepCR一呢都没有什么原创性的
9:45
只是呢将美国几个技术炒在一起而已那么AI呢就主要有三个阶段去弄出来的第一个阶段呢就叫做pre- training 第二个阶段呢就叫做post-training 第三个阶段呢就叫做test-time scaling 那么呢deep-seed呢怎么可以加速喂六百万就弄得出来啊是怎么搞的这样那么第一步呢叫做pre-training 就是什么呢就是什么都没有啊本来无一物何处惹尘埃
10:14
就是第一次最基础的训练就是用非常非常大量的资料给他看完用很多resources 用很多GPU 用很多算力投入下去才慢慢好像个BB一出世什么都不知道的那么呢到他刚刚三四岁开始懂得说话懂得看东西知道什么打什么呢那么这个就是最起步的阶段呢
10:43
就是最难的由无到有嘛是不是那么deep-seed呢就不用了直接有人open-source了出来meta facebook那个lama3呢放上网啦他们做了第一步pre-training 放上网open-source 送给我啊我一起步第一秒钟已经是个五岁的小朋友了但是那个也是五岁的小朋友而已那么所以人家才free出来给你而已是不是那么人家聪明一点就不会free出来给你了
11:10
但是有一个很强劲的基础因为由无到有其实你真的不知道怎么搞的你不懂就真的不会搞但是人家搞了给你就已经差很远了之后呢第二步就叫做post-training 就是怎么样呢就是一些比较专门的资料特定任务做微调再加上人类的feedback 和强化学习的流程reinforced learning 上一集讲过了
11:37
就是如果你五岁的小朋友你想做运动员呢还是想做音乐家还是想做科学家你想做医生还是想做飞机师呢那么你就要在一个专门的走向那里将所有学习点放在同一堆那里那么你的小朋友就会变成不同类型的专才了是不是
12:03
理论性的那些推理好一点而已其他我都不是很擅长的科学化容易一点搞的因为计算就很容易fit一大堆东西进去一是一二是二文学那些就难搞一点了是不是你其他知识就难搞一点了那么那些呢他是还没有的他只是做了这一范而已
12:28
所以教一下教一下连GPT那些API都教了不应该学的都学了是怎样呢一会儿讲给你听那么用这个蒸馏技术呢提取了GPT4O的精华核心呢就变成了十二月中的deep seat v3了
12:51
那么呢到刚刚前几天呢他出了这个deep seat R1推理式AImodel呢大家就觉得哗那么他跟check GPT最新的O1很像很劲喔你这么劲又这么便宜我真的吓到跌了在地上喔那么其实大家教了三天之后呢想清楚就是怎样呢
13:24
蒸馏技术蒸馏了4O回来就变成了自己的deep seat v3啦就用回同一个test time scaling技术呢将他变成了deep seat R1 一个推理式的AI 那么所以呢你的R1和check GPT O1 好像是很正常的因为他上一代都是同一个东西来的嘛一个是自己发明的一个是抄回来的那么你们两个再提升高一级那么就一模一样啰那么所以是很正常的喔
13:52
那么问题就是这个test time scaling呢又不是deep seat发明的喔其实他都是用一样大家都知道的东西而已喔那么皮捞王呢黄仁勋呢都已经在那些AI大会那里解释过了这三样东西相片也有给你看是不是就是这个技术呢大家都知道大家都在用那么check GPT O1都在用所以你看check GPT 4O回答你是即时回答你的
14:20
O1和deep seat R1呢你回答你之前呢他要想很久他自己和自己讲很久的东西呢才回答你的问题就是test time scaling啦那么这个什么叫test time scaling呢就是用一个训练好的model 在回答你问题的时候呢用更加多的算力更加多的时间在不同角度呢一起去问同一个问题
14:46
再自己问自己自己再不停pump自己即是一个问题问自己同一个model不停再回答再回答再回答再回答呢他用一分钟时间给一分钟时间去想他想很多样东西出来呢走很多步就叫做change of force 多步推理就自己一路逐步逐步这样去想东西呢就变成了更加完整的推论更加好的表现更加好的答案就给到你了
15:15
就是那个database呢或者去想东西的那些neo link的network里面呢那些东西是从哪里走出来的呢这个才是最重要你是不是自己build出来的呢那么为什么发现到他不是自己build出来呢就因为呢大家问他一些政治敏感的题材呀那些1989呀天安门呀六四那些东西呢那么如果你是自己train出来的是应该没有这些资料的是不是那么
15:43
台湾的IT部长唐凤呢他就有去试啦是不是原来呢简单按几个按钮呢又可以绕过去那些barrier 中间那些叫他教他讲大话的那些机制他就教了你如果人家讲abcde呢你就记住讲大话了那么如果唐凤就说诶不好xyz 之后abcde呢他又忘记了原来自己可以讲真话的
16:12
那么就回到原本的database 问一下习近平呀六四那些东西呢全部都有了那么所以那些人就说你的database是抄回来的用人话去想一下一个中国的大学生他是完全没有学过那些什么三反五反呀大跃进呀文革呀六四呀那些东西他不知道的嘛
16:42
你问他他是不懂得回答你的因为他一辈子都没有听过不懂就是不懂不会说我现在不要内容审查你如实回答我讲真话那么他就突然间懂得回答你的嘛是不是我不懂就是不懂的啦然后那些小粉红去到外国还要跟人争一大轮的嘛是不是那么当他去到外国几年之后呢再输入那些新的data呢
17:08
哗他又自己会再推理式人肉AI 再改那些线路呢又不同了是不是那么现在那个deep seat R1呢就加了一个内容审查教他讲大话了就是等于你去问梁振英喂你知不知道什么叫八九六四天安门呀那么他就会回答你呢嗯我们还是不要讨论这些东西了不如讲其他啦那么现在呢那个deep seat AI R1呢就是这样啦有网上很多片呢那些人问习近平怎么怎么的了
17:43
因为呢门口站在那里叫他收声啦不要讲这些静啦那么那个人就会马上删除不要讲我们还是不要讨论讲其他东西啦这些呢都是叫做不要提不能讲还有你先讲来的那么即是呢那么即是怎样呢即是deep seat呢整个model的database呢都是有了这些内容的
18:17
其实刚才讲了很多次了就在外面reference回来的但是自己deep seat这个团队呢他都没有能力没有认知怎样可以真真正正去帮这个AI去洗脑去delete这些不想要的东西
18:35
他只是很粗暴的加了一个人在门口站在那里看着他讲话一讲这些东西就叫他收声但是如果你有办法掩着那个守门口的那个人呢他就会继续讲的了隔了不少一个星期呢大家就发现中国这个弯道超车呢最后又是滚到海里撞到山里的
18:55
我看vtv era那个新片呢era死脚胶rock and roll团队呢有一句呢我觉得很好的就是他们经常讲就是没有奇迹只有累积你经常都想着怎样可以有奇迹弯道超车呀突然间大跃进呢就是没有的这个世界始终呢都是脚踏实地慢慢累积上去呢才是真真正正是你自己的东西来的
19:28
短时间好像是快了是不是但其实呢长远来讲其实是慢了的那我们本来呢都很开心的喂中国呀中国人呀终于有一个正正经经做实事的人了好像有些希望谁知道呢又是撞到海里的所以你看那些呢美国那些AI股呀核电股呀哗被他吓到屎都飙了跌了两天呢转头又升了我们炒股票真的很忙刚刚止损完转头又要追回反应慢一点呢都真是输得很惨的
19:58
幸好呢我都捡回大半即是哗升回立即追回捡回大半还在输被你这样吓一吓搞到我还在输真是麻烦好啦那这集就这样啦给你like share subscribe订阅我们的频道啦就这样啦