
Blockchain and AI investment in venture team @antalphagroup @BITMAINtech | Make 🍵 @GTCSE @pennEngineers
Joined January 2022
- Tweets682
- Following2.7K
- Followers346
- Likes235
应该是梁文峰在21年之前就已经尝到了深度学习神经网络+ Transformer做量化带来的实打实的利润(国外同期基本上也都是在19-20年就开始这么做)。你通过看他的公众也能看到为啥deepseek团队魔改架构这么厉害,这不是第一天才这么做的。在幻方时他们为了Transformer更有效率也在研究适合序列预测场景下使用。包括他们为啥能做出R1版本,并引起轰动,核心都是他们真实有场景在实践。
就在大家都还在讨论黄仁勋事件时,英伟达技术团队悄悄的开源了Molt,一个面向agentic RL(智能体强化学习)研究的框架,定位是Hugging Face原生、极简、可扩展,代码量仅仅9.2K 行。
运行时是完全异步的:rollout、训练、权重同步可重叠,慢的 episode 只影响自己。采用 token-first 合约(token ids、log-probs、action ranges、rewards、多模态张量全程对齐)
支持多种算法:REINFORCE、GRPO、Dr.GRPO、RLOO、GAE(PPO)、FlashREINFORCE、On-policy distillation 等
-Agentic-first:Agent 就是程序本身。奖励完全由你写的 Python 决定(Env 或 ChatAgent),支持打分器、多轮工具调用、VLM环境、LLM-as-judge等。
-Hugging Face-native + PyTorch端到端:模型保持普通的 PyTorch 模块(HF布局),使用 NeMo AutoModel + FSDP2 训练。同一份 checkpoint 同时给 vLLM 和训练器用,无需权重转换或桥接。
-极简 + 可扩展:单 Actor(可选 KL reference)设计,整个 RL 图很清晰。同一套入口、算法和 Agent 可从 4B 扩展到 1T 级 MoE(如 GLM-5.2 753B,--fsdp.ep_size 256),支持 TP / EP / CP 和 Adam CPU offload。
github.com/NVIDIA-NeMo/labs-…
nvidia-nemo.github.io/labs-m…
文档:nvidia-nemo.github.io/labs-m…
论文:Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning(arXiv:2607.21653)
Fable 5.2 shows substantially improved skills in controlling physical robots, even on tasks it has never explicitly been trained to do.
On RoboDojo, a benchmark with a simulated two-arm robot, it outperformed other models and most AI systems built to control robots.
还有一些类似的小项目,一些最小化机器学习/深度学习相关的研究实现,可以快速学习到这个领域的知识原理:
- minimalRL:minimalRL 是一个用 PyTorch 实现的极简强化学习(RL)算法集合
github.com/seungeunrho/minim…
- micrograd:纯教学工具,大约 100 行代码实现标量自动微分(autograd),再加约 50 行做一个迷你神经网络库。
github.com/karpathy/microgra…
- nanoGPT:GPT 训练的实际工作原理
github.com/karpathy/nanoGPT
- minGPT:Andrej Karpathy 写的一个极简版 GPT 实现,用 PyTorch 重新实现了 OpenAI GPT(Generative Pretrained Transformer)的训练和推理
github.com/karpathy/minGPT
- tinygrad:tinygrad 是 George Hotz主导开发的一个极简但完整的深度学习框架。
github.com/tinygrad/tinygrad
- llm.c:llm.c 是 Andrej Karpathy 的另一个极简项目,用纯 C/CUDA 实现大语言模型(LLM)的训练,完全不依赖 PyTorch 和 Python
github.com/karpathy/llm.c
一个适合在个人电脑上学习微调+RL的小项目,虽然很小,但是是一个很好的学习案例
微调+RL Qwen3-1.7B
kevin-wu.ca/blog/qwn/
github.com/kevinyvv/qwen-3-1…
0xchains retweeted
我也做了一版「司马光砸缸监控录像」
最近古代监控视频非常的火,非常有意思
我是用 RunningHub 上的 MiniMax H3 (ComfyUI) 做的
步骤:
先做人物和庭院参考图
再把落水、想办法、砸缸、救人分段生成
视频生成要描述固定机位
监控时间和地点字样可以用 VCR OSD Mono + GNU Unifont,这部分可以直接交给 AI ,绘制低分辨率点阵时间戳,轻微模糊后放大,再用 FFmpeg 叠到视频上,模拟老监控的字幕质感
我生成的逻辑性还略微有点瑕疵,耐心的多抽几回卡,可能效果更加好一点
🤖 Made with AI
0xchains retweeted
典型的不懂瞎评论。
Qwen3.5-0.8B 原本有 93% 的数学回答会陷入推理死循环,直到耗尽 32768 个 Token。
Astra 修改了 0.016% 的权重,缓解了这个问题,数学成绩随之大幅提升。
这更接近一次极其精准的模型 Debugging。
模型原本就可能拥有解出部分数学题的能力,只是被某种异常行为阻碍了正常发挥。
研究人员还测试了一个没有严重死循环问题的 Gemma 270M,结果 Astra 基本无法提升它的数学能力。
所以距离「以后不需要训练模型,直接让大模型修改权重就行」还有很长一段路。
真正重要的是另一件事:
我们过去训练神经网络,主要依赖梯度下降在庞大的参数空间中寻找优化方向。
现在,一个通用语言模型开始能够分析神经网络内部的行为机制,并对特定参数进行有目的的干预。
如果这种能力进一步发展,模型的调试、行为控制、安全修复,甚至不同模型之间的能力迁移,都可能出现新的技术路线。
不过,这也带来了一个很有意思的问题。
我们能够修改模型的某种行为,不代表我们真正理解了这种修改对整个系统的影响。
修复一个 Benchmark 的同时,有没有破坏其他能力?局部修改能否在不同数据分布下保持有效?这些问题可能比修改本身更加困难。
我很期待未来能够像 Debug 软件一样 Debug 神经网络。
但软件工程几十年的历史也告诉我们:
能找到一个 Bug、修改几行代码,和证明整个系统因此变得更加可靠,从来都是两回事。
麻省理工学院(MIT)展示AI模型直接编辑神经网络权重的能力
MIT计算机科学与人工智能实验室(CSAIL)的Rikiya Takehi及其同事展示了一项突破性技术:GPT-6 Astra能够将神经网络的权重作为文本读取,并对其进行精确修改,整个过程无需训练,也无需梯度计算。这种方法被称为“权重空间编程”(Weight-Space Programming)。
在一项测试中,Astra仅修改了Qwen3.5-0.8B模型8亿个参数中的0.016%,便取得了显著的性能提升:
1. MATH-500数学测试:准确率从7.9%提升至48.1%。
2. GSM8K数学推理测试:准确率从13.8%提升至67.1%。
3. 指令遵循能力:评分提高至原来的3倍。
更令人惊讶的是,Astra甚至能够仅通过分析神经网络权重,识别出《Breakout》(打砖块)等游戏的决策策略,并从零开始构建高性能神经网络。
这一成果表明,先进AI模型可能很快就能直接优化其他AI模型,而不再依赖传统的训练过程。
包括Ethan Mollick在内的专家认为,这是一项意义重大的突破。不过,相关结果仍有待更广泛的独立复现,业界也已开始讨论这项技术可能催生的新工具及其潜在风险。
RSI 初现端倪
连模型训练都不需要了。。
直接用大模型直接修改小模型的权重
让其数学能力提升六倍
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math.
It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training.
We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵
Blog: rikiyat.github.io/blog/weigh…
Readers added context they thought people might want to know
LLM was given weights explicitly as text in prompt and used code/forward passes (per authors' logs) to ablate Qwen looping direction, a known thinking-mode issue per model card. Primarily fixed repetition in that mode, not general 'natively' improving weights/math.
rikiyat.github.io/blog/weight-sp…
github.com/RikiyaT/lm_und…
huggingface.co/Qwen/Qwen3.5-0…
huggingface.co/RikiyaT/Qwen3.…
0xchains retweeted
LLM 模型架构的红利,已经被吃完了
读了一篇关于模型架构的文章,2020 年以来那么多 LLM 架构改动,放到同一套实验设置里,到底哪些是真的有用?
作者 Nikita Pavlichenko(前 JetBrains Mellum 预训练负责人)跑了 1129 次训练实验。他训练的是小模型,上下文和质量评测只到 16k;目标大模型的 loss 则靠 scaling law 外推。
1/ 问题不应该问“架构好不好”,真正值得关心的是,在相同推理成本下,最终能得到多好的模型。
他给每个架构相同的推理预算,服务便宜的架构就能换更大的模型。换了这把尺子,很多结论是反的:GQA、MQA、滑动窗口的每参数质量其实更差,但缩减 KV cache之后能上 4-9 倍大的模型,所以反而赢。反过来,纯比每参数智能,完整 MHA 胜过 GQA、MQA 和滑动窗口,MLA 与它持平。
推而广之,架构论文如果只报 loss per parameter,结论都得打个问号,因为它没算部署那一头的账。
2/ 过去六年,最扎实的进步是:细粒度 MoE 和线性注意力。 MoE 让一个激活参数顶 dense 模型的 4-5 个,是最容易拿到的胜利,而且随规模变好。线性注意力混合架构(KDA、Gated DeltaNet、Mamba-2)既提升质量又便宜 2-7 倍。但线性注意力的优势大部分来自它和 SWA 共有的东西,在完整的 2026 模型里只比滑动窗口好 0.3%。他猜这可能是西方开源实验室不急着上线性注意力的部分原因。
3/ 架构红利基本被 DeepSeek-V3 那一代吃完了,后面的空间明显变小了。
他把 loss 拆开看:2026 模型的预测 loss 里,只有约 2% 是参数不够造成的,架构能改进的就是这一项。2021 年的 GPT-3,这个空间是 11%。换句话说,DeepSeek-V3 那一代就已经把这块拿走了大半。
这也能解释为什么现在各家架构越来越像,为什么“前沿实验室在训最无聊的 Transformer”这种传言听起来可信。不是大家懒,是剩下的空间真的不大。
4/ 小模型上的消融结论不能直接信,缩水系数大概是 1.5 到 3 倍,有些直接翻号。
这条对所有看 nanoGPT speedrun、看 modded-nanogpt 新纪录的人都适用。他给的经验法则很实用:d=512 上帮助不到 1% 的改动,不看第二个宽度别加。embedding 乘 √d 从帮 0.73% 翻成伤 0.79%,就是活例子。
5/ 数据和训练方法,可能比继续抠架构更值得投入。
他发现,仅仅把优化器换成 Muon,收益就能抵上一整轮架构改动叠加。一般架构配好的训练方案,完全可能打赢顶级架构配普通训练方案。而且 Muon 的收益随规模增加,比多数小架构改动保持得更好。数据这块他没测,只说预计有类似量级的收益。
6/ 推理 kernel 决定架构成败的程度被低估了。
Gated DeltaNet-2 在最小的 d=512 上每参数最好,实测 -4.7%,但 vLLM 跑它只有 KDA 的 0.42 倍速度,算到等服务成本下只剩 -2.9%。MLA 这次也没进最终模型,一半是模型太小,一半是 vLLM 对小 MLA 形状跑不快;他说目标模型再大一点,MLA 很可能就进去了。架构研究和推理工程已经分不开了。
另外,他对 AI 做研究的评价:实现和调试已经很强,研究判断还不够可靠。 AI 能半小时写出他要一天才能实现的架构,却可能漏掉最明显、最值得尝试的组合。不过他觉得这块很快也会补上,就像 coding 一样。
0xchains retweeted
Deepseek 开源的最新的 大规模云服务推理框架 DeepInfer。技术报告中写到:目前单一集群的服务吞吐是 155 万亿 Tokens/天,整体收入是每卡每小时 38 美金(按谷价)。
梁叔叔还是太实诚了,连收入都开源!原文链接在此
zhuanlan.zhihu.com/p/2095560…
0xchains retweeted
今天有个搞Infra的小男娘发消息跟我说
这是他成年以来最好的秋天
这一年他终于找到了做推理优化的工作
每天和GPU、Kernel、MoE、KV Cache打交道
以前想研究DeepSeek的推理系统,只能对着论文、技术博客和Benchmark,一点点猜他们线上到底是怎么跑的
今天DeepSeek突然把DeepInfer开源了
分布式推理、推测解码、SWA Bounded Replay,连调度器和高性能算子都放出来了
英伟达和华为昇腾都支持,连生产级的Token编解码组件也一起开源
过去要花几个月研究的东西,现在直接就能在GitHub上看源码
今天下午他坐在工位上
突然整个Infra群都沸腾了
所有人停下手头的调参,开始疯狂Clone仓库
有人在看Kernel,有人在研究调度器,还有人在讨论怎么把公司祖传的推理框架换掉
他说很开心
有种人类Infra黄金时代的错觉
DeepSeek开源非常有助于增加就业😆
以前这么牛的Infra只能大厂招得起,月薪近十万,中小厂完全没法招Infra工程师
现在中小厂也能花一两万请Infra工程师用现成的框架了,预期能创造数倍于大厂的就业
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source!
Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable.
🔗 github.com/deepseek-ai/DeepI…
1/4
0xchains retweeted
nbis公开了gpu的二级价格
gpu的k线图也有了数据源了
😂
这也是有效回应
最近次贷危机恐慌的一个方式了
如果GPU价格稳定 租金稳定
那就没理由在现在恐慌和质疑
Now live: nebius.com/spot-prices
美国这些RL环境/数据方面的业务,这几天看了非常多,有做数据市场的,有做信息中介的。今天看到这个则是这个品类的一个,网站涵盖了,谁在销售数据,谁在购买,以及RL/数据公司的黄页目录。这个比较全的涵盖了RL数据市场上的一些重要信息。
whosellsdata.com/
0xchains retweeted
Lee Robinson 在斯坦福 CS146S 讲 Grok Bot 的工作原理的视频,非常值得一看,把一些 Grok Bot 的内部工作流程用大白话说的很清楚,里面包含:
Always-on Agent 和普通 agent 的区别和设计
Harness设计
Context 工程,如何保持主 agent 轻量
训练方式
我看了很受益,推荐大家也看看
How do always-on, proactive agents like @Bot work?
Watch my lecture at Stanford CS146S:
2:35 How we got here
6:13 What changed in the models
10:06 Inside an always-on agent
18:07 The harness
27:26 Context engineering
34:26 Where this is going
看过知乎这篇文章,应该能理解为啥RL环境类公司会爆火,收入像做了火箭🚀一样的飞了。zhuanlan.zhihu.com/p/2074080…
Karotte一种用于构建RL环境的框架,刚刚获得来自@a16z
、@SignalFire、@spc、Scale Angel Group 以及包括
@drfeifei、@goodfellow_ian和@Mononofu在内的研究人员的 1600 万美元种子轮融资,并且他们在过去一个月内使用 Karotte 实现了约 1500 万美元的收入。RL环境这个领域又挖出新的模式。做RL环境框架,使用他们的框架构建的RL环境会缓解了许多简单实现中可能出现的奖励漏洞。
技术实现方案:preferencemodel.com/blog/int…
简介:
preferencemodel.com/blog/int…
0xchains retweeted
如果你想做AI相关的工作,不妨考虑一下Agent Infra这个新兴领域。我最近也在入门这个领域,做了一些调研,记录了这个领域需要的技能清单,欢迎收藏,保存,我也会继续分享在这个领域的学习心得。
完整 List:
1.Agent Runtime:理解 Agent Loop、Tool Calling、Streaming、Session,理解并实现一个最小可用Agent,而不是只调用一次模型 API。
2.上下文与状态管理:喂给大模型的上下文决定了这一轮模型能看到什么,也很大程度上决定模型做的决策质量;State 会保存任务当前执行到了哪里。需要处理上下文裁剪、压缩、Checkpoint、任务状态,长期记忆与短期上下文。
3.任务队列与 Worker:把任务通过 Queue 分发给 Worker 执行,并控制并发、优先级、Backpressure 和 Worker Pool。
4.调度与多 Agent 编排:把复杂任务拆成多个子任务,支持DAG、Reviewer、Handoff 和 Human-in-the-loop。
5.Durable Execution:Agent 即使运行几十分钟甚至几个小时后,也不会因为进程重启而导致任务的丢失,需要持久化执行状态、Checkpoint、Replay、Resume 和 Recovery。
6.Retry、Timeout 与幂等:模型、工具、网络和 Worker 等各方面都会遇到问题;系统要能判断什么时候重试、什么时候超时,以及避免 git push、发邮件、创建资源等操作被重复执行。
7.分布式状态与一致性:多个 Orchestrator、Worker 和数据库共同维护 Task State,需要理解 Transaction、WAL、Lease、Heartbeat、Replication、Consistency 以及故障恢复。
8.Sandbox 与执行环境:Coding Agent 会执行 Shell、Git、Python、构建和测试,需要为每个 Agent 提供隔离的文件系统、进程、网络和资源环境,并限制 CPU、内存和执行时间。
9.工具基础设施与 MCP:Agent 不只是调用几个 Function,还需要统一管理 Shell、Filesystem、Browser、Database、API 等工具;MCP 可以作为 Agent 与外部工具、资源之间的一种标准接口。
10.权限、安全与 Secrets:控制 Agent 能访问哪些文件、调用哪些工具、连接哪些网络和读取哪些密钥,涉及 Authentication、Authorization、ACL、Secret Management 和 Audit。
11.可观测性与调试:Agent Task 的完整执行过程会通过trace记录下来,用 Metrics 看延迟、Queue、Token、成本、失败率和 Retry。
12.Evaluation 与 Replay:不只看“Agent 能不能跑”,还要判断任务是否真的完成正确,通过 Dataset、Rubric、Task Success Rate、Regression、Replay 和 LLM-as-Judge 做持续评估。
0xchains retweeted
说起来,我从 NTU 人工智能专业辍学,在一窍不通的情况下,最后选择 all in agent infra,还挺神奇的。
当初面试了好几轮,摸爬滚打进了 NTU 最好的实验室。我以为有机会接触到大模型研究。进去之后发现,实验室里的卡根本没办法支持进行模型训练,连小模型后训练都做不了,只能做些微调项目,我就知道大模型训练的工作注定和我无缘。
于是,我开始转向agent。但做了一段时间,又发现一个问题:在 vibe coding 的催化下,agent app 的开发门槛越来越低,同质化和内卷却越来越严重。往下一层做agent harness,受模型影响又比较大。很多刚做出来的harness会随着模型升级而淘汰。
我也曾一度非常焦虑,觉得agent工程师就是个伪需求。我不看好做Harness方向,因为意识到Harness的最终形态就是极简模式,什么都不需要做,等模型慢慢变好。我也不看好app方向,感觉主要任务就是让agent做逆向工程加缝合加微创新的组合。似乎都没有什么门槛和护城河。
于是我就在思考做什么,能够不被模型能力提升的浪潮冲走。那一定是让agent跑在上面的东西啊,大伙说对不对!!!
我突然就顿悟了,模型能力越强,harness越鸡肋。
可是模型能力越强,能让agent跑的平台/环境却显得越重要‼️。
坦白说我蛮二极管的,我为什么敢all in agent infra这个赛道:
1. 因为3-5月份那会儿,我周围的人不知道这是什么,除了sandbox,从来没有听说过agent infra,agent runtime substrate这个理念。我觉得这个赛道简直就是蓝海赛道🤣。
2. 这可能是我与众不同的一个想法,那会儿沙盒大家讨论的都是如何安全、如何隔离。但我看到的是如何利用这个特性做一些在host上操作会被认为是危险的操作,然后给它改造成一个multiagent的执行环境。我对这个奇葩想法感到兴奋🥰。



































