I installed it with a patched driver on the Intel HD 520 GPU. Now Chrome 150 with VXKEX enabled has WebGPU and VDEC running smoothly, thanks to your work.
25
本地跑大模型和做推理引擎的人都知道,最近两年 W4A4 低精度量化最爱玩基底变换(Hadamard 旋转 + 通道缩放)来压异常值。但主流方案为了省掉推理时的在线旋转,非要把激活变换矩阵沿着计算图往前传、吸收进前序层和残差分支——结果每出一个新模型架构(MoE、GQA、混合注意力、DiT)就得重新痛苦适配一遍,量化大尺寸模型时显存更是直接爆表。
华为苏黎世计算系统实验室刚发的 MACaQ 把这个死结一刀解开了:放弃跨层吸收,直接把轻量的逐通道缩放和分块 Hadamard 变换留在每个线性层入口在线执行,逆变换离线吸收进本层权重,再配一套 Hessian 感知的 Flip-Refinement 逐码位翻转精修。
用这笔看似退一步的设计,换来了四个实打实的工程暴击:
1. 32.5GB 显存 64 分钟量化完 122B 模型
因为层与层之间零耦合,量化过程彻底变成流式流水线——GPU 显存里永远只需要加载当前这一层。以前得凑一机八卡才能跑动的百亿级校准量化,现在一张 32G 级显卡一小时收工。
2. 在线开销仅 2.3%,量化速度快 11 倍
线性层越大,矩阵乘耗时占比越高,入口处 O(N log N) 的分块 Hadamard 开销就被彻底摊薄了。在 vLLM 上跑 Qwen3-32B MXFP4 W4A4,端到端解码仅慢 2.3%;而在 Llama-3-8B 上,花 1/11 的量化时间 就追平了 DuQuant++ 和 MR-GPTQ 的最高精度。
3. 社区 GGUF 实测反超 Unsloth 23.5%
论文刚出,LocalLLaMA 社区已经有人把它搬进了 llama.cpp 做成 IQ4_XS GGUF:在模型文件体积比主流版本略小的前提下,实测输出分布的 平均 KL 散度比 Unsloth 低 23.5%,比 Bartowski 低 18.6%。
4. 零代码魔改通吃 LLM 与文生图扩散模型
不挑架构意味着是个 Linear 层就能直接上。原封不动套在 FLUX.2-klein-4B 图像生成模型上跑 MXFP4 W4A4,PSNR/SSIM 与画面纹理细节直接压过了官方发布的 NVFP4 权重。
Replying to @TriangleRptr @hoaihoai69232
这批人更惨,他们真信了,于是催泪弹、征粮令、妻子的泪,全都能被解释成"黎明前的代价"。空壳意识形态不要求信,这套要求信——并且在破产之后仍靠"正义"二字维持着最后的体面:承认上当,比承认自己是加害者容易太多了。
19
Replying to @hoaihoai69232
当时日本的昭和军队里的激进分子和华族老爷和资本家向穷苦的日本农民和工人许诺侵略中国并分配给他们土地。当然失败了之后,被蒙在鼓里的人仍然相信这是正义,并且仇恨着为什么自己没成功。
1
217
三一一三机 retweeted
Replying to @Corrine4o @gina21222423624
在泰国,普通人面见君主要行五体投地的匍匐礼,比单膝下跪更麻烦且更显示等级差别。另外泰国妄议君主的礼仪是挑战权威,警察是可以因为冒犯君主罪逮捕他们的。我真搞不懂这群泰国人是真不怕死,还是他们压根不尊重自己国家的君主和法律。😂
Replying to @Corrine4o @gina21222423624
在泰国,普通人面见君主要行五体投地的匍匐礼,比单膝下跪更麻烦且更显示等级差别。另外泰国妄议君主的礼仪是挑战权威,警察是可以因为冒犯君主罪逮捕他们的。我真搞不懂这群泰国人是真不怕死,还是他们压根不尊重自己国家的君主和法律。😂
Replying to @JACKTANGXI
现在的日本高市首相就是红灯区的优质官妓出身,最优秀的日式接待,只是她的年龄和她的魅力实在是如同加莱海岸的老牡蛎,只有马克龙能理解吧。一般人在重大外交场合受不得这样的热情表演😅
12
三一一三机 retweeted
【大切なお知らせ】
突然のご報告となりますが、ご遺族のご了承をいただき長年の友人である私からご報告申し上げます。
kanone(@kanone_alcoholi) は2026年9月に逝去されました。
生前、故人に賜りましたご厚情に深く感謝申し上げますとともに、謹んで哀悼の意を表します。
Replying to @25nmo11
我们也在攻击回去了,他就是故意靠引发偏见找骂的。有很多中文账号确实在靠没有建设性目标的对骂挣流量,他们为的是赚钱,而不在意中国人和泰国人的感受。中文区有很多账号就是收着国外的人的钱在干活的,同时还有在海外搞黑灰产生意的中国人,不要相信他们极端的言语。可惜流量不在真理一方。
10
Replying to @S8am88888 @jokieliu
有很多中文账号确实在靠没有建设性目标的对骂挣流量,他们为的是赚钱,而不在意中国人和泰国人的感受。中文区有很多账号就是收着国外的人的钱在干活的,同时还有在海外搞黑灰产生意的中国人,不要相信他们极端的言语。
2
25
三一一三机 retweeted
Replying to @S8am88888 @jokieliu
和他们这群泛泰主义者对骂之后。我发现他们让外国人保持礼仪而自己面对君主则不用行匍匐礼的说法,荒唐得真是把所有人都不尊重了。
Replying to @S8am88888 @jokieliu
和他们这群泛泰主义者对骂之后。我发现他们让外国人保持礼仪而自己面对君主则不用行匍匐礼的说法,荒唐得真是把所有人都不尊重了。














