Starting January 2026 everyone can hire like 30 junior developers for £200/month, but you should always look after them. Thanks, Anthropic.
Last week we all got a new offer: 30 senior developers for the same £200/month. Thanks, OpenAI.
And, of course, thanks to The Competition. – at Herne Bay, England
50
Vadim Nikulin retweeted
Live testing GPT-5 on challenging financial questions and still seeing hallucinations and other errors crop up.
The automatic routing to thinking is also frustrating at times --- GPT-5 thinks for a long time only to provide a subpar answer.
(See below for an example on Figma's IPO cash balance. The right answer is ~$618m for cash and cash equivalents. GPT-5 provides multiple, very different numbers, even after thinking, which turn out to be wrong. @samaya_AI takes a fraction of the time and provides the full breakdown.)
Vadim Nikulin retweeted
Thank you for being honest @grok teapaw.org/i/grok/share/vJLtNOTOC…
Я вслушался в тексты #оксимирон'а и удивился, на сколько вещей я не обращал внимания. Очень хотелось бы услышать его версию событий.
2
365
Все знают анекдот про среднюю температуру по больнице.
Все знают анекдот про ёжики.
Мирон Яныч подарил нам ещё один:
- куни в 10 лет - вот мой университет
- нет милфы сексапильней, чем Екатерина Шульман
=> ну а в среднем #оксимирон нормальный
#stopabuse
486
Vadim Nikulin retweeted
Перша автівка, яку передали цього року — праворука Mitsubishi L200, допомагатиме мінометникам на Харківщині. Привіз її колишній колега по Яндексу @vnikme, і це найважливіше надбання того періоду мого життя. Дякую тобі, дорогенький.
Переможемо.
Скромно поинтересуюсь, не щемит ли у @max_katz от заявлений Даванкова после т. н. электорального мероприятия?
t.me/n0comments/18452
Привет, Наки. Это я, твоя мама. На протяжении многих лет я создавала иллюзию того, что твою агитацию смотрят много людей. Но это была я. Сейчас напишу это сообщение со всех аккаунтов.
Vadim Nikulin retweeted
i loved my time at openai. it was transformative for me personally, and hopefully the world a little bit. most of all i loved working with such talented people.
will have more to say about what’s next later.
🫡
Vadim Nikulin retweeted
OpenAI's GPT-4 details have apparently been leaked! Looks very detailed and I suspect it's the real deal - given all I know about how these systems work. Here is a summary (extractive+abstractive) I made based on the original thread (see bottom of the post) + some additional pointers from me. (Disclaimer there are probably errors here)
---ARCH---
* GPT-4 is more than 10x the size of GPT-3 (175 B). We believe it has a total of ~1.8 trillion parameters across 120 layers. Mixture Of Experts (16 experts, each ~111B). Not a dense transformer like e.g. PaLM (or GPT-3). They use MQA instead of MHA (classic at this point).
* Each forward pass (generation of 1 token) only utilizes ~280B parameters and ~560 TFLOPs. This contrasts with the ~1.8 trillion parameters and ~3,700 TFLOP that would be required per forward pass of a purely dense model.
---DISTRIBUTED---
* To parallelize across all their A100s GPUs They utilized 8-way tensor parallelism. Beyond that, they are using 15-way pipeline parallelism. Also apparently they used DeepSpeed ZeRo Stage 1 or block-level FSDP.
(You can check out my video on all of these strategies here: youtube.com/watch?v=hc0u4avA… 3D parallelism is what you're looking for & ZeRo)
---VISION---
They have a separate vision encoder from the text encoder, with cross-attention. The architecture is similar to Google DeepMind's Flamingo (I used to work on this project :) ). This adds more parameters on top of the 1.8T of GPT-4. It is fine-tuned with another ~2 trillion tokens, after the text-only pre-training.
---DATA---
* Trained on ~13T tokens (multiple epochs, not unique). Plus millions of rows of instruction fine-tuning data from ScaleAI & internally (I guess acquired through ChatGPT + their API before they changed the policy).
* 8k context length for the pre-training phase. The 32k seqlen version of GPT-4 is based on fine-tuning of the 8k after the pre-training. See e.g. MosaicML's blog on how to achieve this: github.com/mosaicml/llm-foun…)
---COST---
* OpenAI’s training FLOPS for GPT-4 is ~2.15e25, on ~25,000 A100s for 90 to 100 days at about 32% to 36% MFU. Part of this extremely low utilization is due to an absurd number of failures requiring checkpoints that needed to be restarted from.
If their cost in the cloud was about $1 per A100 hour, the training costs for this run alone would be about $63 million.
(Today, the pre-training could be done with ~8,192 H100 in ~55 days for $21.5 million at $2 per H100 hour)
---INFERENCE---
OpenAI might be using speculative decoding on GPT-4's inference. See this paper: arxiv.org/abs/2211.17192
The inference runs on a cluster of 128 GPUs. There are multiple of these clusters in multiple datacenters in different locations (it'll be hard for Elizier to nuke these xD). 8-way tensor parallelism and 16-way pipeline parallelism.
Original thread: archive.is/2RQ8X (strictly speaking the original one has been removed).
Если присмотреться, то Жорик написал:
1. не начинали
2. не не участвуете
3. не не поддерживаете
К сожалению, именно в этом и состоит позиция большинства россиян. И он ещё их молодцами объявляет.
Просто напоминаю, что если вы не:
1) начинали войну
2) не участвуете в войне
3) не поддерживаете войну
то, вы не несете ответственности за войну.
А если вы еще и высказываетесь/протестуете против войны, то вы большой молодец вне зависимости от цвета паспорта.
136
Vadim Nikulin retweeted
ЭТО МОЩЬ! Вот такие подкасты записывать надо)
Украинцы выложили запись разговора продюсера Иосифа Пригожина и миллиардера из списка Форбс и санкц списков экс-сенатора Ф.Ахмедова
Эти ребята могли бы на ютюбе профессионально хуесосить Путина! А они такой контент в личке прячут
В то же самое время Хуйло вещает про "новый справедливый миропорядок".
Сейчас уже всем должно быть очевидно, что целью был захват территорий и свержение руководства соседней страны.
Но нет, всегда находятся гниды, несущие пургу про 8 лет, 2го родителя и солдат НАТО в кровати.
1
150




















