Now at Santander AI Lab. GDE for Cloud and ML Machine Learning Spain Meetup Co-author La pastilla Roja

Madrid, Comunidad de Madrid
Joined March 2007
juantomas (mAGIa is coming ) retweeted
Your MacBook can now host a coding agent at 300+ tps! I gave DeepSeek V4.1 Flash a job: write a specialized inference engine for LiquidAI's LFM2.5-24B-A2B on Apple's M5 Max. For $21 of API, it built Molten: 300+ tps, about 1.5x faster decode than mlx-lm and llama.cpp. Why specialized? General frameworks like mlx-lm and llama.cpp have to run any model on any hardware. A specialized engine serves one model on one chip at batch size 1, so there is far more room to optimize. Molten is native Rust + Metal: one ~6 MB binary, no Python, PyTorch or MLX. It comes with a chat CLI and an OpenAI-compatible server with streaming and tool calls, so you can point your own coding agent at it. It needs an M5-series Mac with 24 GB+ (sorry, M1-M4 friends). The numbers (M5 Max, 128 GB) • 305 tps at 256 tokens of context, vs 190 for mlx-lm and 199 for llama.cpp • Still 248 tps at 16K, where coding agents actually live (mlx-lm: 165) • Faster time to first token: 1.76 s vs 2.17 s for a 16K prompt • Same weights and math as mlx-lm How it was built The agent (DeepSeek V4.1 Flash in the Pi harness) ran in a recursive self-improvement (RSI) loop. Each session starts from the best engine so far, plus the feedback from every earlier round. A fixed evaluator rebuilds each candidate from source, checks its tokens against mlx-lm, times and profiles it. Only correct and faster engines survive. • Hour 3: first correct engine, 0.56x mlx-lm • Day 2.5: passes mlx-lm • Day 5.7: 1.28x end to end, 1.53x decode 78 agent sessions, about $21 (1.36B tokens, 98.6% of them cache hits). What the RSI loop found useful for speeding up: • Fuse chains of small ops into single kernels: norm + router + top-4 expert pick, expert FFN + combine, Q/K/V projections + KV-cache write, Q/K norm + RoPE + attention, LM head + argmax. • Keep the decode loop on the GPU. Tokens never round-trip to the CPU, and the GPU stays 99% busy. • Hard-code every shape, so the 4-bit kernels stream weights at ~75% of the memory bus. • Target the hardware: prefill runs on the M5 GPU's Neural Accelerators through Metal 4 tensor ops, with MoE routing and expert GEMMs fused and kept on the GPU. (It's not Rust, by the way. llama.cpp is native C++ too. It's the specialization.) TBH, I don't fully understand all of it yet lol. The agents wrote this in under 6 days, and it's going to take me longer than that to read it. As the human researcher, I'm now officially the slowest-improving component of my own RSI loop🤣, so I'll spend the next few weeks learning from my agents. Where I think this goes: local inference will matter more and more, and a specialized engine can beat a general one. As RSI matures, the cost of building one keeps falling toward zero. I think every model, every chip, and maybe every workload will eventually get its own inference engine. The idea is inspired by @perplexity_ai 's Lily. Thanks to @liquidai for the great model, and Apple's MLX, whose kernels Molten adapted from. Repo here: github.com/zhangshuibai/molt…
25
31
6
363
19,491
juantomas (mAGIa is coming ) retweeted
Nature is healing
Replying to @asciidiego
wobbly~ windows too!
4
4
58
4,332
juantomas (mAGIa is coming ) retweeted
Genial, asi no teneis escapatoria. Entiendo que puedo comprar verdad, paro poco en Logroño que dicen por ahi
1
3
149
juantomas (mAGIa is coming ) retweeted
Mañana estoy con Recu firmando de 12 a 13 :-)
1
1
2
138
juantomas (mAGIa is coming ) retweeted
Replying to @Koolkat6000
DeepSeek-4.1-Flash-1017: 👊API vs Local showdown👊 Left: API (averaged 254TPS) Right: Local (custom codegen megakernel). Same model, full precision. Local was >2x faster. Tetris oneshot? 👁️31 seconds👁️ 433 lines of python?❓👁️6 seconds👁️❓ Average toks/s? ⁉️👁️574👁️⁉️ 1/2 🔊
1
1
4
544
juantomas (mAGIa is coming ) retweeted
My duo was supposed to arrive on December 1st. At 7:18 this morning I get a call from Vincent “they have duos! Black or white?”. We unboxed together.
17
4
323
15,792
juantomas (mAGIa is coming ) retweeted
Venga señores no empujen y pillen sitio tranquilos a ver qué cocina este señor
Se vienen cosas. Parece complicado, pero es súper sencillo, y a quienes usáis la sub de NaN os va a ir muy bien. Sin atarte a ningún patrón, arquitectura, etc., todo eso lo decides tú. Solo es un flujo. No necesitas más. Un flujo que permite que las cosas las haga el modelo adecuado a la tarea, o el más adecuado, con lo que además ahorras. Y si puedes mover un modelo local competente como un qwencito 27b, más ahorras en las subs, porque lo tendrás a piñón de esclavo de los modelos grandes. A ver si la semana que viene tengo todo listo y lo libero.
1
1
36
5,394
juantomas (mAGIa is coming ) retweeted
DeepSeek V4.1 Flash 1017 runs at 1,521+ tok/s on Fireworks Ultrafast. Fast enough to ship Tetris in 11 seconds, 7x faster than Claude Opus 5.5. Join the Ultrafast waitlist: bit.ly/3UA0wKq
193
370
248
5,606
1,038,479
juantomas (mAGIa is coming ) retweeted
I remember when 200tps felt impossibly fast. This is going to be crazy.
DeepSeek V4.1 Flash 1017 runs at 1,521+ tok/s on Fireworks Ultrafast. Fast enough to ship Tetris in 11 seconds, 7x faster than Claude Opus 5.5. Join the Ultrafast waitlist: bit.ly/3UA0wKq
148
150
22
4,985
252,383
juantomas (mAGIa is coming ) retweeted
Meet Flint from @Recursive_SI! A ~40B parameter MoE open model for fast, accurate agentic coding use case made to run on-device. Flint can generate >125 tps on a M4 Pro Macbook Pro and >150 tps on a 64GB NVIDIA RTX Spark on short contexts. Try it on Ollama today: ollama run flint Claude Code: ollama launch claude --model flint
Introducing Flint, @Recursive_SI’s first model: a fast local coding model built with our automated research system, the Eureka Machine. • Best-in-class fast local coding • Up to 2x faster than comparable models: 125+ tokens/sec on a MacBook Pro, 150+ on RTX Spark • Built from scratch in under 4 months Private, unmetered intelligence on your own machine. Open weights available now on @huggingface, run it locally on your favorite framework or try it for free on @opencode or @pidotdev.
58
36
9
515
38,981
juantomas (mAGIa is coming ) retweeted
Great to collaborate with you all on the launch!
1
1
8
755
juantomas (mAGIa is coming ) retweeted
Today we release mammoth-1 and elephant-1! We post-trained mammoth-1, the #1 ranked best decision model in the world, and elephant-1, which is the best model under 15B (and beats Jev). We're open-sourcing all model weights and provide a technical report detailing all our training and data methods.
21
65
37
732
87,222
juantomas (mAGIa is coming ) retweeted
Welcome Ken to the team!
good time to announce that i’ve joined @GoogleDeepMind as a forward deployed engineer i’ll be partnering with startups and researchers across the ecosystem to co-design benchmarks. if you’re building interesting evals, i want to hear about them!
5
2
108
7,900
juantomas (mAGIa is coming ) retweeted
Xogot on Vision, launching a volumetric game. Excuse the lack of exciting visuals.
1
1
1
28
3,180
juantomas (mAGIa is coming ) retweeted
DIOOOOS SIIIIII!!! Waymo en Madrid 🔥
¡Hola, Region of Madrid! 🇪🇸 We’re thrilled to announce that we’re coming to Spain, beginning with Madrid. This will be our first region in Spain and second in the European Union. We plan to launch fully autonomous ride-hailing in Madrid in 2027. Sign up for future updates: waymo.com/waymo-in-spain ¡Hola, Comunidad de Madrid! 🇪🇸 Nos emociona anunciar que llegamos a España, empezando por Madrid. Esta será nuestra primera región en España y la segunda en la Unión Europea. Planeamos lanzar nuestro servicio de ride-hailing totalmente autónomo en la Comunidad en 2027.
28
44
3
791
92,977
juantomas (mAGIa is coming ) retweeted
Me encanta leer o escuchar al que usa modelos en un tema que no tengo ni idea y él domina. Como "buen" programador, el tema del diseño me supera y me maravilla a la vez.
El nuevo Deepseek v4.1 flash 1017 vs Opus 5.5 👀 He estado probando el nuevo DeepSeek v4.1 Flash 1071 a nivel de diseño. Y me ha sorprendido mucho. Y lo he querido comparar con Opus 5.5 👀 - Mismo prompt para los dos - Cada uno con su harness (Claude Code vs DSH) Les he pedido a ambos que me crearan una publicación digital sobre tecnología, IA, cultura digital e internet. Una web con un diseño muy cuidado. Tenéis el prompt abajo de todo. No les he dado ninguna guía de diseño. Es más, les he dicho literalmente que tienen "libertad creativa". Pero Borja, ¿es mejor Deepseek u Opus? En cuestiones de diseño puro y duro, Opus sigue estando un poco por delante. A pesar de que el juez del benchmark (un LLM ciego) haya dado algo más de puntuación a Deepseek, en cuanto a dirección artística y gusto, Opus ha conseguido crear una experiencia mucho más completa. Además, la lectura me parece mucho más cómoda. Para mí, está un escalón por encima. Eso sí, estamos hablando de detalles que con Deepseek se podrían refinar una v.2. A nivel de velocidad, Opus ha terminado en apenas 17 min frente a los 40 que le ha llevado a Deepseek. Una de las cosas más llamativas es que AMBOS han llegado a la misma dirección artística de manera independiente. Han cogido la metáfora de la radio y del signal/ noise y lo han llevado a los mismos colores, tipografías y recursos visuales. Entiendo que tiene que ver con el set de datos de entrenamiento en el que se basan, pero es muy curioso. Os dejo aquí las dos webs que han creado con la comparativa para que las podáis ver. Creo que esto podemos convertirlo en un benchmark de diseño conforme vayan saliendo los modelos. - Web del Design Challenge con ambas para comparar: helmcode.com/es/design-chall… - Web de Deepseek: helmcode.com/es/design-chall… - Web de Opus: helmcode.com/es/design-chall… Repito que esto ha sido el primer resultado con un solo prompt. Este es el prompt, por si queréis probarlo vosotros "### Tu misión Diseña y desarrolla una publicación digital experimental llamada **SIGNAL / NOISE**. Es una revista independiente sobre tecnología, inteligencia artificial, cultura digital y el futuro de internet. Queremos una web que pueda competir visualmente con los mejores proyectos de diseño editorial digital. Una experiencia con personalidad, no otra landing genérica de SaaS. Tienes libertad creativa para decidir la dirección de arte, tipografía, composición, paleta cromática, animaciones y sistema visual. No quiero que me expliques cómo diseñarías la web. **Quiero que la construyas.** ### Producto La web tendrá cuatro componentes principales: **1. Portada editorial** Una primera pantalla que establezca inmediatamente la identidad de la publicación. Debe incluir el nombre SIGNAL / NOISE, el número de edición (ISSUE 001), una pieza editorial protagonista y una composición visual que resulte memorable. **2. Índice de artículos** Una selección de seis artículos ficticios, pero verosímiles, sobre tecnología y cultura digital. No uses seis tarjetas idénticas. Diseña una composición editorial que permita distinguir historias protagonistas, artículos secundarios y contenidos breves. **3. Experiencia de lectura** Desarrolla al menos un artículo completo, al que se pueda acceder desde la portada. Título del artículo: "The Internet Is Becoming a Place Without People". Incluye una entradilla, varios apartados, citas destacadas y algún recurso visual integrado en el contenido. Debe ser una experiencia de lectura agradable y cuidada. **4. Navegación e interacciones** Implementa navegación funcional, transiciones, estados hover, indicadores visuales y pequeños detalles de interacción. Las animaciones deben aportar algo a la experiencia, no ser decoración gratuita. ### Requisitos técnicos - React, TypeScript y Tailwind CSS. - Puedes utilizar librerías de animación e iconos. - Diseño responsive para escritorio y móvil. - Accesibilidad básica, navegación por teclado y soporte para `prefers-reduced-motion`. - Nada de interfaces estáticas que solo aparenten funcionar. - No uses capturas de otras webs como sustituto del diseño. - Puedes usar fotografías o recursos visuales externos, pero intégralos en una dirección artística coherente. - El proyecto debe poder ejecutarse localmente. ### Criterios de diseño Buscamos: - Una identidad visual distintiva y reconocible. - Excelente jerarquía tipográfica. - Composiciones que aprovechen el espacio con intención. - Buen equilibrio entre experimentación y usabilidad. - Microinteracciones cuidadas. - Consistencia entre portada, índice y artículo. - Una versión móvil diseñada, no simplemente comprimida. Evita: - El aspecto genérico de una plantilla. - Las seis tarjetas perfectamente alineadas. - Gradientes decorativos sin función. - Efectos llamativos que entorpezcan la lectura. - Componentes de UI innecesarios. - La apariencia típica de una landing de producto de IA. ### Libertad creativa No tienes que seguir ninguna referencia visual concreta. Decide tú qué significa SIGNAL / NOISE como identidad editorial y cómo debe expresarse visualmente. Puedes ser experimental, minimalista, brutalista, sofisticado o adoptar una dirección completamente diferente. Lo importante es que tus decisiones tengan sentido como conjunto. ### Entregable Construye el proyecto completo. Al finalizar, asegúrate de que funciona y proporciona una breve explicación (máximo 200 palabras) de las decisiones principales de dirección artística. **No me hagas preguntas ni solicites aprobación de la dirección visual. Toma las decisiones y ejecuta.**"
1
2
25
4,155
juantomas (mAGIa is coming ) retweeted
Almost feature complete for 1.0:. Xogot for Mac Beta 4 brings a full 3D modeler, native AnimationTree editors, exports to Windows, Linux, Android, and the web and support for side-by-side installations: blog.xogot.com/xogot-for-mac…
10
38
3,176
juantomas (mAGIa is coming ) retweeted
Acabo de probar la última actualización de TensorFold.dev 1.1.1 Qwen3.5-2B Q/4 bits ->95,08 tok/s Tiempo hasta el primer token 88 ms La cosa no sería impresionante si no fuera porque es una RTX 3050 Vram 4Gb Gracias @ashxhart Ahora me toca ayudar a otros -> localIA
1
1
3
356
juantomas (mAGIa is coming ) retweeted
Replying to @robertosantosx2
This is awesome, thanks for testing it! Love seeing what people can do with a 4GB card.
1
1
1
316