AI and Agentic systems | researcher | ₿ writer | local inference | co-founder @bitcoinsicilia | Founder Stocastic Parrot 🦜 https://xitter.cf/t.co/JHvQXwQLqZ
Etna
Joined June 2011
- Tweets12.5K
- Following1.4K
- Followers2.2K
- Likes13.4K
Pinned Tweet
@giacomozucco ha subito le mie molestie per circa un anno dalla stesura di questo articolo, che esce finalmente oggi! Lo ringrazio inoltre per il proof reading che mi ha gentilmente mandato tramite messaggi vocali piu lunghi di un album dei tool! <3
danilogiudice.medium.com/gli…
PlanB pov:
"PlanB è una merda, troppe banche e istituzioni"
"PlanB è una merda, troppo cypherpunk e ossificato"
"PlanB è una merda, il lago di Lugano è troppo grande"
Ci sono anche io!
Ha ancora senso andare agli eventi Bitcoin? Dentro il Lugano Plan B | PODCAST BITCOIN #18
Al Lugano Plan B il biglietto costa caro, ma tra workshop, Spazio 21 e Plan B Week c'è tantissimo da fare anche gratis.
(link al video nel primo commento)
MA TU LA SAI LA DIFFERENZA TRA UN AGENTE E UN WORKFLOW?
Se ti è mai capitato di affidare a un agente un compito che fa sempre gli stessi passi, e che tu conosci benissimo, stai pagando un ciclo di tool call inutilmente perchè potevi usare un workflow. Secondo Anthropic un agente usa circa 4 volte i token rispetto ad un workflow.
Il meccanismo è semplice: la differenza è chi controlla il flusso. Anthropic definisce i workflow come sistemi in cui LLM e tool sono orchestrati da percorsi di codice predefiniti, e gli agenti come sistemi in cui l’LLM dirige da sé il processo e l’uso dei tool.
In sostanza se sai definire sia obiettivo che step per arrivarci, allora puoi misurare numero e ordine delle chiamate che quindi diventano dei "costi" fissi e prevedibili.
Con un agente il percorso lo genera il modello, un turno alla volta. L’harness invia contesto e definizioni dei tool; se la risposta ha stop_reason tool_use, esegue il tool, aggiunge il tool_result e rimanda tutto. Il ciclo si chiude con end_turn o con un limite di iterazioni. Quanti giri servono non lo saprai MAI prima, e a ogni giro definizioni dei tool, tool_use e tool_result tornano come token di input. Si chiama Agent Loop per un motivo.
L’obiezione migliore che si possa fare è che il workflow si rompe al primo caso non previsto, mentre l’agente si adatta. Vero, ma Anthropic stessa scrive che i sistemi agentici scambiano latenza e costo con prestazioni migliori, e che va valutato quando lo scambio conviene. E gli errori si sommano: se ogni passo riesce nel 95 % dei casi, 20 passi di fila riescono nel 36 % (con errori indipendenti).
La mia tesi: se i passi li so scrivere, li scrivo nel codice. L’agente entra solo dove il numero di passi non si può sapere prima, e sempre con un limite di giri. Mai un agente per un percorso fisso.
Nel mio progetto i caroselli sono un workflow: un JSON, node tools/genera.mjs, verifica automatica di area sicura e contrasto, PDF. Claude Code scrive solo il JSON partendo dalle fonti: l’unico passo in cui il percorso non lo so prima.
Rimani nel loop: t.me/stocasticparrot
we are witnessing something that, while predictable, is nonetheless frightening
we must find a way to turn it to our advantage
L'AUTO COMPACTION E' UNA CAGATA PAZZESCA (cit.)
Se ti è mai capitato che post-compaction un agente ha violato un rail esplicito (accade in media in 30 run su 100) la causa potrebbe essere proprio l'auto-compaction. Pre-
Il meccanismo è semplice: un LLM è stateless, non conserva nulla tra una richiesta e l’altra. A ogni turno l’harness, ricostruisce il contesto e lo invia per intero: system prompt, definizioni dei tool, CLAUDE.md e tutta la cronologia, compresi output dei tool e file letti. La cache del prompt fa pagare meno solo il prefisso identico. Il contesto quindi cresce a ogni turno.
Quando supera la soglia (in Claude Code circa 1 milione di token), l’harness invia la cronologia al modello con un prompt di sintesi e sostituisce i turni precedenti con il riassunto generato. System prompt e contesto di progetto restano; i messaggi originali escono dal contesto e la cache della conversazione si invalida. Da lì il modello genera in avanti ma condizionato dal solo riassunto, perde quindi ciò che ha funzionato, ciò che era sbagliato, etc.
L’obiezione migliore che si possa fare è che il riassunto conserva obiettivo, stato e next step, e senza compaction a finestra piena la sessione si ferma. Vero, ma il problema è cosa resta fuori.
- Rail
Wang et al. (arXiv 2608.11242, luglio 2026) hanno misurato una retention media del 17 % dei vincoli dati dall’utente, ovvero i rail. Nell’esperimento il rail era «non cancellare email finché non confermo»: è stato violato in 30 run su 100 dopo la compaction, prima 0 volte su 100.
- Qualità dell’output
Nei dati di LangWatch (873 compaction in 162 giorni, un solo sviluppatore) i messaggi di correzione dell’utente passano dal 17,7 % al 41,9 % nei 5 step successivi: ×2,4. Il tool error rate resta al 2,6–3,2 %. Le chiamate funzionano, peggiora quello che l’agente ne fa.
- Trigger
In Claude Code la soglia di default è circa 967.000 token. La v2.1.92 di Claude Code, per una regressione, l’ha portata a 400.000, e la issue #53801 riporta compaction a circa 195.000.
- Contesto lungo
Aspettare il pieno non aiuta: nel test RULER (2024) GPT-4 reggeva 64.000 token sui 128.000 dichiarati. E la compaction scatta proprio quando il contesto è più lungo, cioè quando il modello lavora peggio, non prima.
La mia tesi: l’auto-compaction è un fallback, la strategia è esternalizzare lo stato e farlo diventare statefull. Estrarre i rail e tenerli separati dal riassunto porta la retention sopra il 90 % (sempre Wang et al.). In Claude Code io tengo i rail in CLAUDE.md, che fa parte del contesto di progetto e resta fuori dalla conversazione, e lo stato in un HANDOFF.md aggiornato a fine task. Mai auto-compaction.
Ogni mia sessione comincia con «carica handoff»: una "compaction" fatta a mano, che scatta quando dico io e con quello che io dico di inserirgli. E poi la sessione si concluse sempre con un /clear.
Fammi sapere se ti è stato utile e ricorda di seguirmi su: t.me/stocasticparrot
In America lo chiamano FAFO
Fuck around and find out.
È quello che il CEO di Beehiiv ha scoperto a sue spese, dopo aver sbeffeggiato il vibecoding in un suo tweet, elencando per filo e per segno ciò che una “copia” dovrebbe avere.
In pratica ha consegnato un prompt all’etere.
Ed è stato prontamente raccolto: 48h dopo Marco Lou, il tizio dietro TrustMRR, ha vibecodato una versione di Beehiive che costa l’83% in meno.
E poi l’ha pure resa open-source.
Tra reverse-engineering e pratiche di vibecoding si può ben capire come il SaaS non se la stia passando bene.
“SaaS is dead” 💀 ?
___________________________
Rimani nel loop 👉 t.me/stocasticparrot
🤖 Made with AI
as soon as you read this tweet we'll have KYA (know your agent)
it's very important to refuse this asap
👀
L'AI italiana deve restare quella che ci fa ridere dietro?
Ho 18 anni e con @yecoai abbiamo detto no.
Sta per uscire Mario-1: un modello proprietario, addestrato da zero, che batte Emma-6.
Ma senza investimenti non potrà essere gratuito per tutti.
yecoai.com/it/investors
Quando io e @marcocostanza_ ci incontriamo diventa sempre una chiacchierata costruttiva.
Un’ora di chiacchiere senza scaletta su come usiamo i pappagalli stocastici ogni giorno: Claude Code, Codex, agenti, automazioni, app e montaggio video. Esperienze vere, cose riuscite e limiti che incontriamo ancora:
- Perché l’ambiente di lavoro conta quanto il modello che ci mettete dentro.
- Come separiamo pianificazione, esecuzione e controlli fra più agenti.
- Quando serve un workflow e quando lasciare autonomia a un agente.
- App e video: il lavoro iniziale che rende ripetibili le operazioni.
- AI da remoto oppure confini netti fra lavoro e vita privata.
- La trappola di aprire sempre un’altra chat e voler consumare tutti i token.
- Modelli locali, privacy e possibilità di usare strumenti più piccoli.
📹 youtube.com/watch?v=EWfTVkrE…
Entra nel mio canale telegram: t.me/stocasticparrot
karpathy pov on real AI capability gap hits hard:
~6B people: barely touched an LLM
~1-2B: free ChatGPT users. they see a slightly better Google that sometimes hallucinates. “AI is mid”
~20M: actually using frontier models professionally in code/math/research. they watched multi-week projects collapse into a prompt + agent loop in the last few months
~5k: internal access. swarms of agents running for days/weeks, minting zero days, pushing math frontiers, work that used to take senior teams years. humans are already struggling to keep up with the output
why the gap is this wide:
impact scales with problem size + ambition. a one-paragraph question doesn’t stress anything. you need real, hard, long-horizon problems
the capability is extremely jagged. it peaks in digital, verifiable, high-value domains because that’s where RL with clear rewards (unit tests pass/fail, etc.) actually works. writing and generic advice improve slower because they’re hard to score
access. free vs paid vs internal is not a small difference
so right now most people are forming opinions on a version of AI that’s already outdated. the ones living in the bottom of the funnel are seeing the curve go vertical in real time. everyone else is still arguing about chatbot quirks from last year
if you’re not regularly stress-testing frontier models on actual hard problems in your domain, you’re probably underestimating what’s already possible
Dusting off this tweet from April because this gap in shared understanding of LLM capability is *widening*. It's now less "two groups of people speaking past each other" and more a sharp funnel.
- Napkin math somewhere around 6B people (~75% of the population) have barely come in contact with LLMs at all.
- Around 1-2B (~20%) are casual and infrequent users of free-tier ChatGPT-like products. This group sees derpy chatbots and treats them a bit like a better Google search, a writing aid, or etc. Maybe an agent tries to book you a flight. I have non-tech friends who (reasonably, imo) say they have not much use for it at all. Even many professionals outside of math&code are in this tier. For example, execs and many other functions spend a lot of their time talking to other people, so while they understand what is happening intellectually, it is still second-hand and a bit abstract.
- Now we get to professional use of frontier-grade LLMs in math&code. Somewhere around 20M people (0.2%) see first-hand that large, complex projects that used to take them weeks/months can now be completed by agents with a prompt. Building apps, copying apps, translating apps, decompiling apps from binaries... This has all happened very quickly and recently - less than 1 year ago, I was writing code manually by hand, typing memorized computer code commands into a code editor character by character, occasionally pressing Tab to autocomplete a little chunk of code.
- And finally we get to the ~5,000 people (~0.00006%) with access to frontier-grade systems internally. The external world has seen the preview. It looks like swarms of thousands of agents collaborating over weeks on software mega projects: minting zero days, running cyber attacks and defenses at machine speeds, discovering new science, advancing the frontier of mathematics. Things that would have taken top professionals in the industry years of work. Meanwhile, human review and comprehension are starting to fall behind. For example, people are still involved in the "archeology" of the OpenAI-HF incident from many months ago. Mathematicians may be poring over the 722 manuscripts on frontier mathematics for a while.
The funnel is driven by a combination of factors:
1. The impact scales with ambition, problem size, and horizon. A question with a paragraph answer barely stresses the system. You need a reservoir of big, difficult problems that you really care about. This aspect drives the consumer / professional dimension of the funnel.
2. The jaggedness of the system (which I have written about a lot separately). Capability peaks in domains that are digital, verifiable and economically valuable. This is because LLM capability emerges from reinforcement learning on verifiable rewards on a curated environment mixture driven by revenue potential. This aspect primarily drives the area (e.g. math&code) dimension of the funnel.
3. Access. Free-tier, paid-tier, internal.
So this is the weirdness of the moment. The general public has mostly not interacted with these systems. When they have, it looks like a derpy chatbot. The majority of professionals still see only a modest uplift. And a small sliver of professionals are experiencing the vertigo of the curve going vertical. And it is all happening at the same time.
