爆浆油条 retweeted
真得感谢 Unsloth、SGLang 这种开源佬。
模型厂把权重放出来,只是第一步。
后面这帮人孜孜不倦地做适配、写 Kernel、降显存、提速度、补工具、写教程,甚至连免费算力入口都给你铺好。
没有这些人,很多所谓“开源模型”,其实就只是 Hugging Face 上的一堆权重。
现在已经夸张到什么程度?
Qwen3.8-27B 这种 27B Dense,普通人都能自己微调了。
甚至显卡都不用买。
Unsloth 把 Notebook、教程、训练流程都做好,直接用 Kaggle 免费 GPU 就能开炼。
🔥很多人可能会问:
27B Dense 不是很吃显存吗?为什么 24GB 都能训?
因为这里不是 Full Fine-Tuning。
真把 27B 参数全部训练一遍,光 BF16 权重就 50GB+,再算 Gradient、Optimizer、Activation,几百 GB 显存很正常。
现在主要玩的是 LoRA / QLoRA。
LoRA:27B 底模冻住,只训练旁边一小部分低秩参数。
QLoRA:更狠,底模先压成 4-bit,再训练 LoRA。
🔥再加上 Unsloth 继续狠狠干 Attention、Activation、Gradient Checkpointing 这些训练显存,最后把 27B 微调门槛狠狠干到一张消费卡,甚至免费云 GPU。
🔥以前普通人玩开源:
下载权重 → 跑起来 → 聊两句。
现在已经可以:
做数据 → 微调 → Eval → 部署 → 做一个真正属于自己的模型。
未来每个企业都会有自己的模型。
当然不是每家公司都从头预训练一个 GPT。
而是拿 Qwen 这种强开源底模,把自己的 数据、Know-how、业务规则、工作流 炼进去。
基础模型已经会中文、数学、代码了。
🔥关注我们公司这件事,到底应该怎么干。
大厂负责造模型。
开源社区负责把模型真正送到每个人手里。
现在连 GPU 都没有的人,都可以开始炼一个 27B 模型。
这才是开源真正牛逼的地方。
然后再看看这篇文章,讲的是开源 Agent 所需要的 OpenContext,卷不了大模型,我们就卷微调,卷 Agent。感谢这批开源佬。
爆浆油条 retweeted
🎉Qwen 3.8 27B 变身 20GB!Blackwell 架构完美适配版!
社区又又又推出了 Huihui-Qwen3.8-27B-abliterated-NVFP4 最新量化版本!
🔥核心亮点:
1. 体积暴减: 顺应 8 月新发布的 Qwen 3.8 27B 基座,将 55.6 GB 降至 20.0 GB,双 16GB 显卡即可留足 KV 缓存轻松跑起来,无压力
2. 修复长思考 Bug: 完美解决上一版在 Qwen 3.8 标志性的 xhigh 深度思考模式下,因思维奔逸陷入万字复读(thinking-runaway)的致命缺陷
3. MTP 投机采样: 完好保留 bf16 格式的 MTP 团队草稿头,在 RTX PRO 2000 Blackwell 上单流 Prefill 飙到 3,250 tok/s
划重点 部署提示: 基于 vanilla vLLM v0.22.0,直接 vllm serve 自动识别 compressed-tensors,无需额外量化 flag
无论你是想本地调教还是用作生产力
这个版本都是性价比之王
Qwen 牛牪犇!
传送门👇🏻
🔥你能想象吗?现在手机上就能跑 Qwen3.8 的蒸馏模型,而且最小仅 1.3GB!
果然不能只在 Hugging Face 首页瞎逛
今天用 @Apodex_AI 的 Deep Research 做深度检索时,意外挖到了一个最近刚火起来的小模型:Qwen3.8-2B-Distill-GGUF
它的思路很有意思:作者将 Qwen3.8(2.4T) 的推理能力,通过全参数蒸馏塞进了 Qwen3.5-2B 架构
蒸馏后的数据提升相当明显:
📈 MMLU 0.283 → 0.548
📊 GSM8K(数学)0.330 → 0.640
GGUF 版量化后最小只有 1.31GB (Q4),手机和普通笔记本 CPU 就能流畅运行,且自带 <think> 思考链块。
部署也比较友好:
支持 llama.cpp / Ollama / vLLM 一键部署,具体如何操作,见视频👇🏻
爆浆油条 retweeted
Replying to @AI4Azure
哈,看来你是新客户,其实头部美股券商都有中文热线服务的 😃
其中盈透这个电话是他们上海办公室客服中心,经常有问题可以找他们内部登记反馈解决,大陆工作日时间挺快接通~~
盈透 021-60868586
嘉信理财 400-120-6217
Linux 重置密码大全
- Dirty Cow (CVE-2016-5195)
- Dirty Pipe (CVE-2022-0847)
- io_uring UAF (CVE-2022-2602)
- Copy Fail (CVE-2026-31431)
- io_uring ZCRX freelist (CVE-2026-43121)
- Dirty Frag (CVE-2026-43284 CVE-2026-43500)
- Fragnesia (CVE-2026-46300)
-PinTheft (CVE-2026-43494)
爆浆油条 retweeted
Replying to @AnthropicAI
the funniest thing in this article is
you shaped it as democracy vs CCP or USA vs CHINA
but in reality its open source vs YOU
if you really cared about democracy you would have open sourced your models too
but you don't care about democracy you are just trying to use nationalism to your advantage
爆浆油条 retweeted
家人们,本地 LLM太香了!
刷到 Hugging Face 上这个 gpt-oss-20b-tq3,真的有点上头!
OpenAI 官方开源的 20B+ 参数 MoE 模型,被社区用 TurboQuant 3-bit 量化 + MLX 优化后,竟然能在普通 MacBook(16GB 内存)上本地丝滑运行!
不需要服务器、不用联网、数据绝对安全
以前本地大模型还得高端显卡,现在一台 M 系列 Mac 就够了。
- 131K 超长上下文
- 完全离线、无月费
- 聊天、写作、写代码全能打
- 解码速度 60-80 tok/s
直接把在笔记本上跑顶级开源模型这件事拉到新高度。
爆浆油条 retweeted
Nvidia literally told where to invest:
IP: $ARM
Fab: $TSM $INTC
Memory: $MU $SNDK $WDC
Packaging: $ASX $AMKR $CAMT
Equipment: $KLAC $LRCX $ASML $KEYS
Networking: $COHR $GLW $FN $LITE $APH
Servers OEMs: $DELL $SMCI $JBL
Power Systems: $FLEX $VRT $ETN
Power Electronics: $STM $ADI $MPWR $NVTS $ON
Direct Investments: $CRWV $NBIS $NOK $SNPS $LITE $GLW
在 Apple Silicon Mac 上本地运行 LLM 推理服务,提供比 Ollama 和 llama.cpp 更快的 OpenAI 兼容 API,同时原生支持工具调用和提示缓存。
github.com/raullenchai/Rapid…
Rapid-MLX 用 Apple 自家的 MLX 框架做推理,搭了个 FastAPI 服务跑 OpenAI 兼容 API。在 Apple Silicon 上比 Ollama 快 2-4 倍,靠 KV 缓存裁剪和 DeltaNet 状态快照把续轮 TTFT 压到 0.08 秒左右。工具调用这块做了 17 种解析器,Qwen、DeepSeek、Gemma、GLM 这些模型自动识别格式,量化把输出搞坏的情况也能自动修回来。
另外还有推理链分离、云端路由、视觉/音频多模态、V 缓存压缩等功能。Cursor、Claude Code、Aider、LangChain 都能直接对接。
爆浆油条 retweeted
We implemented @karpathy 's MicroGPT fully on FPGA fabric.
No GPU.
No PyTorch.
No CPU inference loop.
Just a transformer burned into hardware, generating 50,000+ tokens/sec.
The model is small, but the idea is not: inference does not have to live only in software 👇
爆浆油条 retweeted
NVIDIA这波开源,直接干碎了语音AI最大的痛点。
他们放出的PersonaPlex 7B,
是真正能实时全双工对话的语音AI。
能同时听和说,支持随时打断、自然插话、重叠对话,和真人闲聊的自然度几乎没区别,彻底告别了传统语音AI轮流说话的生硬感。
它把ASR、LLM推理、TTS全融合进一个7B模型里,延迟极低。
文本prompt就能定人设,还能定制声音风格,实测流畅度超过了多款商业模型。
代码MIT完全开源,24GB显存本地就能跑,Web UI直接交互。
对做语音智能体、客服、游戏NPC的开发者来说,这波直接把门槛打没了。
GitHub链接在评论区,想试的直接冲。
经常有朋友问哪家Claude Code中转站稳定。
除官方订阅,最近常用X上两个朋友的中转站,一个来自C大,一个来自彭涛。
@Cydiar404 C大的贵些,但速度最快,最稳定
code.pipellm.ai/login?ref=vb…
@sitinme 的AIgoCode,价格便宜,多种定价分组。
aigocode.com/invite/AP5KFJWJ
爆浆油条 retweeted
推特最好用的功能就是屏蔽关键词,自从把“AI China.Taiwan Trump 搞钱 小红书 懒猫 罗永浩 日本老娘们......”屏蔽后,世界一片澄明。宛若十年前上推的样子。
爆浆油条 retweeted
Low Latency C++ Programming and Quant Dev/Trading🚀
I recently came across this book and it is probably the most underrated quant book. It teaches you C++ programming principles in depth including memory management, queue handling and lot of intermediate stuff.
The most fascinating part of this book for me was the project section where they have built alot of quant/trading projects in C++
Projects:-
-> Live trading exchange
-> Orderbook and matching engine
-> Real-time algorithmic trading engine
-> Market making and liquidity implementation
-> Performance optimisation of trading systems





































