ntaoo retweeted
We have dumped JAX/SGLang and rewritten the entire RL and inference stack from scratch in C/C++, which took some extra time.
Training (aka pre-training) is done. Lot of cleanup was needed on the SFT data to get that mostly right. Now, 4.8 is in RL and the evals are starting to climb. We will do a soft rollout to Bot users later this week and see how it goes.
Grok 4.8 will bear no resemblance to 4.7 (thankfully). It is not yet incredible, but, this time, the foundations are built right, so I expect it to evolve to be something special.
ntaoo retweeted
Well shoot….
A Critique of GPUI
> GPUI, egui, and Elm-style UIs don’t scale for complex apps. Fine-grained signals with run-once components are the better foundation.
ALT Image: A Critique of GPUI > GPUI, egui, and Elm-style UIs don’t scale for complex apps. Fine-grained signals with run-once components are the better foundation.
ntaoo retweeted
昨天跟 @erickg_zh 聊天的时候还提到过这个问题，不是说 C++，而是 Rust
就是搞了基金会，大公司投入以后，其实真正有钱在支撑的，反而是各种硬件集成，WASM 编译的东西。可能再加上 AI 编程上来以后，有些资金流向优化编译产物的方向。
至于语言理论的设计，比如我日常吐槽的 Async Rust 的种种问题，还有一些生命周期上可以有的更好的设计，再不济是 Pin 的历史遗留问题，真的不是生产上的痛点，虽然一旦有所优化，会有不小的帮助，但是没有也就…还行。
于是就变成很多理论问题只有一些象牙塔里的研究者在搞。他们搞出来的东西吧，且不说到底靠不靠谱解不解决问题，但是其所受训练的习惯，就天然的会导致喜欢先定义一堆概念，确保问题被“完美建模”。但是这会导致两个巨大的问题：
1. 理解曲线及其陡峭。完全一样的概念，换一套术语可能就看不懂了。比如我告诉你其实所谓的 Monad，你按 List flatMap 去理解，T -> List[T] 再碾平，对大部分不怎么做抽象思考的人，其实也可以有初步的理解。但是搞那堆 bind / return 啥的，就晕了。
2. 性能可能会有严重的问题。很多抽象在落地的时候，必须要有打破抽象的 exit gate，否则一定会有一系列抽象启发式推测推出 suboptimal 甚至 worst solution 的场景。然后这个抽象就会被弃置。这种事情发生了不止一次。而且还有传播学上的问题：抽象可能没用，有各种 trick 可以实现得更好。于是即使抽象在很多情况下有用，大家也会 chasing for the best .. 典型例子就是 GC 其实在很多负载下工作得都不错，但是因为 GC 有很多问题且在某些语言里不能 opt-out，于是最终大家总想要一个可以没有 GC 的语言。虽然最后具体项目里可能还是手写了一套类似 GC 的东西，甚至还不如带 GC 语言写的 GC ..
ntaoo retweeted
I agree. Elm is a dead end. You want normal code that gets cached, and opt-ins for reactivity. Which is React, or even better, SolidJS as it makes it a lot more granular as signals are explicitly tracked.
A Critique of GPUI
> GPUI, egui, and Elm-style UIs don’t scale for complex apps. Fine-grained signals with run-once components are the better foundation.
ALT Image: A Critique of GPUI > GPUI, egui, and Elm-style UIs don’t scale for complex apps. Fine-grained signals with run-once components are the better foundation.
ntaoo retweeted
🇺🇸 TRUMP LLAMA A JENSEN HUANG POR LO DE SU NOVIA ESPÍA CHINA
TRUMP: Jensen, Jensen, my friend. ¿Pero qué coño has hecho? Me dicen que te has echado una novia espía china. Tremenda mujer, por cierto. Very beautiful. Los chinos tienen mujeres espectaculares. Las mejores después de las americanas, of course.
JENSEN: Señor presidente, no sabemos si era una espía.
TRUMP: Jensen, please. Yo conozco a los espías. Conozco a las mujeres. He tenido muchas mujeres. Las mejores mujeres. Nadie sabe más de mujeres que yo. Y esa mujer era una espía. 100%. Tremendous spy.
JENSEN: Solo estábamos saliendo.
TRUMP: ¿SALIENDO? ¡Jensen, por el amor de Dios! ¡Llevo años intentando que los chinos no tengan acceso a los chips de Nvidia y tú les has dado acceso VIP al CEO! FOR FREE. Worst deal ever.
JENSEN: No le he dado ningún secreto tecnológico.
TRUMP: Of course not. You’re a smart guy. Very smart. Great chips. The best chips. Pero parece que estabas pensando con otro chip, Jensen. Un chip muy pequeño, probablemente. No lo sé. Eso dicen.
JENSEN: Señor presidente…
TRUMP: ¿Te preguntaba por Blackwell mientras estabais en la cama? ¿Por el H200? Very powerful chips. Beautiful chips. Porque esa gente trabaja muchísimo. Tremendous work ethic. No descansan ni follando.
JENSEN: Hablábamos de muchas cosas.
TRUMP: ¿MUCHAS COSAS? Jesus Christ, Jensen. Xi Jinping se tiene que estar descojonando ahora mismo. Yo conozco a Xi. Great guy. Very tough negotiator. Él manda una mujer y consigue el roadmap entero de Nvidia. Yo mando a Marco Rubio y no consigo ni que me cojan el teléfono. TERRIBLE.
JENSEN: No ha conseguido ningún secreto.
TRUMP: ¡Ha conseguido tu matrimonio, Jensen! Eso ya es una exportación bastante importante. HUGE EXPORT. Y nosotros no hemos recibido nada a cambio. Tremendous trade deficit.
JENSEN: No tenía acceso a nuestros servidores.
TRUMP: ¡Pero tenía acceso a tus huevos, Jensen! ¡A TUS HUEVOS! Estamos gastando BILLIONS en proteger la tecnología americana y tú dejas que Xi Jinping se descargue Nvidia a través de tus pelotas. Incredible. Nobody has ever seen anything like this.
JENSEN: Señor presidente, esto es absurdo.
TRUMP: ¿Sabes qué es absurdo? Que yo pongo aranceles del 145% a China y tú les estás haciendo descuentos del 100% en tu dormitorio. FREE TRADE. Una vergüenza. El peor acuerdo comercial de la historia. Y yo sé de acuerdos. He escrito libros sobre acuerdos. Best books.
JENSEN: ¿Qué quiere que haga?
TRUMP: Primero, arancel del 200% a las novias chinas. Effective immediately. Segundo, la próxima novia que te busques que sea americana. Una buena mujer de Texas. Grandes mujeres. Grandes pechos. Tremendous assets. Y tercero, quiero saber si Xi Jinping conoce el próximo chip.
JENSEN: Le aseguro que no sabe nada.
TRUMP: Más te vale, Jensen. Porque como China saque una GPU antes que nosotros voy a tener que ponerle aranceles también a tu polla. Y créeme, serán ENORMES. BIG BEAUTIFUL TARIFFS.
JENSEN: Entendido, señor presidente.
TRUMP: You’re a great guy, Jensen. Great company. Love Nvidia. Pero la próxima vez usa protección. Y no hablo solo de cybersecurity. BOTH. MAKE AMERICA GREAT AGAIN. 🇺🇸
ntaoo retweeted
L'affaire devient de plus en plus folles. Pour résumer tout ce qu'on sait pour le moment :
- Les services de renseignement américains ont découvert que Jensen Huang, CEO de NVIDIA, entretenait une liaison avec Alice Huang, une espionne chinoise et cadre chez Megaspeed. (FT)
- Plusieurs enquêtes indépendantes ont conclu que Megaspeed est probablement une société écran chinoise, qui aide les entreprises chinoises à se procurer des puces d’IA ou à contourner les contrôles à l’exportation. (NYT et Bloomberg)
- Les services de renseignement américains ont également conclu que l’objectif d’Alice Huang était de convaincre Jensen de faire pression sur le gouvernement américain pour qu’il assouplisse les contrôles à l’exportation sur les puces d’IA de pointe. (NYT)
- Les services de renseignement ont transmis ces informations à « un petit groupe de hauts responsables du gouvernement américain » au début de l’année. (FT)
- Au cours de l’année écoulée, Jensen Huang a demandé à plusieurs reprises que le gouvernement américain assouplisse les contrôles à l’exportation sur les puces de pointe.
- Le gouvernement a accédé à ces demandes, non seulement en autorisant l’exportation de puces H200 vers la Chine, mais aussi en ne faisant pas respecter les contrôles à l’exportation qui auraient exigé une licence pour les exportations des puces Blackwell les plus avancées vers Megaspeed et l’Asie du Sud-Est.
- Bien que le departement du commerce ait vraisemblablement été informé de ces éléments par les services de renseignement américains, il n’a pris aucune mesure pour renforcer les contrôles sur Megaspeed ou l’Asie du Sud-Est.
- Megaspeed reste un partenaire cloud privilégié de Nvidia et continue de recevoir des puces Blackwell de Nvidia, alors même qu’il emploie un espion chinois qui entretiendrait une relation amoureuse avec le PDG de Nvidia.
- Des puces d’IA d’une valeur de plusieurs dizaines de milliards de dollars ont été exportées vers l’Asie du Sud-Est rien que cette année, et la Malaisie et Singapour comptent désormais parmi les quatre plus grands importateurs de puces d’IA au monde.
Les répercussions vont être considérables...
ntaoo retweeted
SNSをやってると記憶力があやふやになるだろうが、
児童(幼児)虐待動画を見せ物にして稼いでた自称:「家族系YouTuber」が米国のコンテンツポリシーに抵触し、収益禁止措置を食らったのがたかだか一週間前な？
そして今回
「児童どころか幼児絵本コーナーの脇にアナルセックス本を置いて見せたがる児童性虐待を肯定する腐女子」
の存在が、ジゴクのSNS・Xを通じて世界的に広まりつつある
…何が起こるか？理解できるか？
話のもって行き方次第では、BL作家にBL出版関係者の米国入国ビザ停止処分を引き出せるッつー事
なんなら、米国関係の金融機関カードも使えなくなるまである
(ICC 赤根所長に対する制裁みたいな感じ)
エプスタイン事件やトランスジェンダー問題の追及からも解るように、トランプ政権はマジで児童虐待に厳しいけんね？
ジッサイ、米国から日本への児童連れ去り誘拐犯のシンママならびに親族関係者には入国禁止措置が下されることが決定してる
無関係でいられると思うのは、甘い！甘すぎる！十万石まんじゅうより甘い
ntaoo retweeted
RO は read-only の略ですか？OCaml は可変状態を許す言語だと理解していますが
可変状態を局所化して最適化の可能性を増やしていくべき、という論旨ならばそのとおりだとおもいます
だからそのような処理系を作り込みやすいように、言語仕様での保証があるべきですね
teapaw.org/ntaoo/status/211952912…
ntaoo retweeted
The presence of GC doesn’t reduce opportunities for optimization.
The “GC is slow” idea is due to the fact that most languages that have a GC also have overheads for other reasons (like encouraging you to allocate too much, having more type/bounds checks, etc)
ntaoo retweeted
I’ve tried to vibe code in Rust a couple of projects (around 20KLOC). The worst result so far compared to other languages. Absolute slop in terms of ownership: it adds clone(), lifetimes, Arc, to_vec, etc absolutely randomly just to shut the compiler. (Opus 5.5). I think Rust has too complex semantics and requires rigorous ownership design. My personal top of languages in terms “write prompt get nice code back”:
- Go (!) it’s just hard to fuck up such primitive code.
- C/C++. I guess huge training data size does the job.
- Java / Kotlin. Solid, but you tend to get “enterprise patterns”.
- Python / TS. They okay for small programs, for larger ones LLMs abuse gradual typing.
…
- Rust. Outright slop.
