Inframancien des nuages. Familier des runes Q4 et des incantations CUDA. Je fais tourner l'IA chez moi, je raconte ce qui marche, ou pas.
Dans un paquet UDP
Joined September 2010
- Tweets3.1K
- Following379
- Followers213
- Likes6.2K
Gemma 4 E-series groundwork landed on #TensorFold main:
• #1400 E4B geometry in the family config
• #1401 tensor plan, BF16/8-bit overrides
• #1402 per-layer inputs, bit-identical to MLX bf16 at real E4B shapes
Thanks @ashxhart for the sharp reviews 🙏
github.com/ashhart/TensorFol…
Best part of the review: Ash asked for MLX itself as the oracle, not a float64 self-check.
Now all 13 steps are hashed against MLX 0.32.4 prints, and his M5 Ultra matched my M4 Max digests exactly.
github.com/ashhart/TensorFol…
github.com/ashhart/TensorFol…
Next: a PR building on this to bring the Intel Arc backend (XPU, Level Zero, merged in #802) to the Gemma 4 family. Useful for @pollenrobotics #MicroDuck and @NVIDIAAI Nemotron 3.5 Bolt E4B RL on my rigs. Full app covering unboxing to autonomic ducks lands soon.
Same rule as before: receipts first, then serve.
#LocalLLM #IntelArc @fragtalife @yannFichant @IntelAI
Le canard parle français 🦆
#Microduck de @pollenrobotics, en simulation pour l’instant : une phrase, et Nemotron Bolt E4B avec notre LoRA décide en ~74 ms sur une Intel Arc B70 (#TensorFold XPU). Le Mac pilote tout depuis une petite console SwiftUI.
Prochaine étape : le même cerveau sur Metal. Hâte de recevoir mon petit coin coin 😁 Au fait, je publie tout le travail sur un dépôt GitHub bientôt.
Notre #microduck a sa visu de la simulation 3D dans l’app👌
Portage du LLM sur Métal M1-4 pour Tensorfold en cours. En gros, on aura le choix (pour le moment) entre Linux (Intel B70) ou Mac Metal, le reste sera embarqué dans l’app: LLM, contrôles, etc. Et Manette DualSense ! 🤞
Notre petit @pollenrobotics #microduck agit sur contrôle vocal > TensorFold Metal sur M4 > action dans le simulateur (0,3ms) ✅ Cela fonctionne avec Tensorfold XPU (Intel B70) aussi 👏 Hâte de recevoir l'exemplaire pour terminer l'intégration QR code et NFC pour le démarrage.
An #NVIDIA model, on an #Intel GPU, running a #TensorFold engine, piloting a @pollenrobotics duck.
This is either the future of physical AI or the start of a very nerdy sitcom 🦆
Yes, I'm porting Bolt E4B to the B70 now 🐤
research.nvidia.com/labs/nem… Coin ! #Microduck
Just ordered two @pollenrobotics #microduck 🦆🦆 (yes, after Jensen’s shout-out, I’m clearly not the only one 😁)
Plan once they land: let a local LLM powered by #TensorFold on an Intel B70 decide what they do next. Waddle, turn, nod, sit. It picks one, really fast.
No cloud, no script, just duck democracy 🤗 #LocalAI
Would /v1/decisions (label probabilities from one prompt pass, no generation) be useful to you in #TensorFold’s native engine? Working on Flash Next CUDA (DGX Spark) first; the hook would be shared for others models. @IntelAI Arc B70 users, interested too? cc @ashxhart #LocalAI
Two contributions to TensorFold for Flash Next on a Spark (GB10), native CUDA engine.
First: prompt processing 1.4x to 1.8x faster, bit for bit with 1.1.0 (128k prompt: 121.7 s → 68.8 s). github.com/ashhart/TensorFol…
Second: structured output and required tool calls, enforced by the grammar with MTP drafting on, same tokens as without drafts. Useful for agents that need a tool call every time. github.com/ashhart/TensorFol…
#LocalAI #TensorFold
🎉 Our Intel Arc Pro B70 backend for #TensorFold is merged and ships in v1.1.0: Qwen3.8-27B served natively over Level Zero, with drafted = plain, concurrent = solo, resumed = fresh, all bit-for-bit. Thanks @ashxhart for the careful review! Next up: Qwen MoE for Intel Arc and Flash Next on the Spark. @IntelAI @fragtalife #LocalAI
Source preview pour notre @IntelAI Arc Pro B70, plateforme Xe2 🎉 C’est une fierté d’avoir réalisé ce portage. Des améliorations encore à venir et le support des modèles MoE arrivent bientôt. Merci @fragtalife @yannFichant pour votre confiance. Xe3P maintenant ? 😏
TensorFold 1.0.12 is out with Nemotron 3.5 Super VL 120B vision on 1 or 2 DGX Sparks, Qwen3.8-27B vision and Nemotron oQ on Macs, LFM2.5-24B, plus source previews for GLM-5.3-Flash NVFP4 across Sparks and Intel Arc.
github.com/ashhart/TensorFol…
Thanks to the 20 people in 1.0.12:
alenperic, BHCC2025, Bizuayeu, BlivionIaG, BobClawblaw, cwschroeder, harrisonfriia, heitke, jayleaton, jishnuvenugopal, jschmied, kelchm, liumorrisclaw, MiaAI-Lab, Mirrdhyn, mrv777, philip-pentatonic, plotarmordev, sethforprivacy, ThinkOffApp.
And thanks to jkuepker and SvangenStudios for runs on their own hardware, and grantoverton, whose oQ work this release builds on.
@petruspennanen @plotarmordev @volatilemarkts @MiaAI_lab
Aujourd'hui, c'est schéma d’Ozaki appliqué à l'inférence sur carte @IntelAI Arc Pro B70 et son architecture Xe2. 1,61 milliard de comparaisons entre 1, 2, 4 et 8 lignes par instruction, 0 écart. Et si les benchs passent, on pourrait monter de 850 à 5000 tok/s en prefill ! #LocalAI #Tensorfold @fragtalife @yannFichant
Claude me parle en mode JeanCo 🤣
« Ce que la rotation apporte, toutes choses égales par ailleurs (qualité mesurée contre le BF16) »
Qwen3.8 35B A3B en cours d’optimisation sur Tensorfold et notre Intel B70. Je n’ai pas encore tout exploré en détail, mais j’atteins déjà 10 000 tok/s en prefill et 191 tok/s en decode sans drafter (vLLM tient 76 sur la même carte pour comparaison). @IntelAI @fragtalife @ashxhart #LocalAI
C'est un sacré jalon ce soir. J'ai proposé à @ashxhart un backend Intel Arc Pro B70 (Xe2) natif pour TensorFold Zig v1.0.9 : Qwen3.8-27B directement sur Level Zero, sans PyTorch ni SYCL.
Sur une seule B70 : 166 tok/s en décodage (vLLM-XPU : 79), ~2 000 tok/s en prefill et jusqu'à 3 000 avec une option, 135 tok/s en génération de code. Et des sorties identiques au bit près, avec ou sans décodage spéculatif.
Un plaisir de contribuer au projet. Prochaine étape : le MoE.
PR : github.com/ashhart/TensorFol…
@IntelAI @fragtalife #LocalAI
Toujours notre Intel B70 (Xe2), le prefill dépasse 2 500 tok/s en W4A8, sans perte de justesse. J’ai même quelques autres pistes pour améliorer la qualité dans toucher à la vitesse. Et ensuite la partie décode sur quelques bugs. Mais c’est déjà bon puisque j’ai 165 tok/s max et 516 tok/s sur 8 cnx agrégées et juste. Et merci à @ashxhart pour sa base Tensorfold solide sur laquelle ce portage repose. @IntelFrance @fragtalife @yannFichant
TensorFold sur Intel Arc Pro B70 : un moteur Zig natif (Level Zero, sans PyTorch) qui fait tourner Qwen3.8-27B en 4 bits à 2 300 tok/s en préremplissage (activations int8, perplexité +0,1 %) et jusqu'à 137 tok/s en décodage avec DFlash2 en arbre, réponses identiques au décodage série. Commit et PR à suivre.
La refonte de la boucle :
• B passe de 2 à 3 tampons de registres : le dépliage int4 n’attend plus les DPAS
• A lu en deux moitiés pour recouvrir les lectures
• une méthode de calcul par classe de forme : mêmes bits au prompt, au décodage et à la vérification des brouillons 👌
Côté Gate (GPTQ g128, 4 096 lignes) : 131 → 135,5 TFLOPS, au niveau de vLLM (136) sur cette forme.
Côté décodage : ~90 % de la bande passante mémoire, et vérifier 16 tokens du drafter coûte 2% de plus qu’un seul.
Mesures faites sur ma carte ES, et les travaux de recherche sont toujours en cours. Prochaines étapes : GDN par morceaux, attention, puis intégration de bout en bout. #LocalAI