Vadim Nikulin (@vnikme) profile picture

Bio

Default City
Joined May 2010
Photo by Vadim Nikulin (@vnikme)Photo by Vadim Nikulin (@vnikme)Photo by Vadim Nikulin (@vnikme)Photo by Vadim Nikulin (@vnikme)Photo by Vadim Nikulin (@vnikme)Photo by Vadim Nikulin (@vnikme)Photo by Vadim Nikulin (@vnikme)
I like the comments to the post. Especially about chickens.
Ого, дела в айтишечке идут совсем весело. Уволили мужика, 25 лет работал в Adobe! Сеньор-помидор. Год сидел без работы, апплаился везде, ноль на массе. В итоге пошел водить школьный автобус.
42
Starting January 2026 everyone can hire like 30 junior developers for £200/month, but you should always look after them. Thanks, Anthropic. Last week we all got a new offer: 30 senior developers for the same £200/month. Thanks, OpenAI. And, of course, thanks to The Competition. – at Herne Bay, England
50
Live testing GPT-5 on challenging financial questions and still seeing hallucinations and other errors crop up. The automatic routing to thinking is also frustrating at times --- GPT-5 thinks for a long time only to provide a subpar answer. (See below for an example on Figma's IPO cash balance. The right answer is ~$618m for cash and cash equivalents. GPT-5 provides multiple, very different numbers, even after thinking, which turn out to be wrong. @samaya_AI takes a fraction of the time and provides the full breakdown.)
4
4
21
6,260
Я вслушался в тексты #оксимирон'а и удивился, на сколько вещей я не обращал внимания. Очень хотелось бы услышать его версию событий.
2
365
Все знают анекдот про среднюю температуру по больнице. Все знают анекдот про ёжики. Мирон Яныч подарил нам ещё один: - куни в 10 лет - вот мой университет - нет милфы сексапильней, чем Екатерина Шульман => ну а в среднем #оксимирон нормальный #stopabuse
486
Мои нимфы юны, твои как Виндоус 3. Мда, попал мерзкий лондонский старикашка.
3
113
Vadim Nikulin retweeted
Перша автівка, яку передали цього року — праворука Mitsubishi L200, допомагатиме мінометникам на Харківщині. Привіз її колишній колега по Яндексу @vnikme, і це найважливіше надбання того періоду мого життя. Дякую тобі, дорогенький. Переможемо.
1
1
2
246
Привет, Наки. Это я, твоя мама. На протяжении многих лет я создавала иллюзию того, что твою агитацию смотрят много людей. Но это была я. Сейчас напишу это сообщение со всех аккаунтов.
2
5
191
10,356
Vadim Nikulin retweeted
i loved my time at openai. it was transformative for me personally, and hopefully the world a little bit. most of all i loved working with such talented people. will have more to say about what’s next later. 🫡
5,997
8,545
4,477
88,404
25,970,958
OpenAI's GPT-4 details have apparently been leaked! Looks very detailed and I suspect it's the real deal - given all I know about how these systems work. Here is a summary (extractive+abstractive) I made based on the original thread (see bottom of the post) + some additional pointers from me. (Disclaimer there are probably errors here) ---ARCH--- * GPT-4 is more than 10x the size of GPT-3 (175 B). We believe it has a total of ~1.8 trillion parameters across 120 layers. Mixture Of Experts (16 experts, each ~111B). Not a dense transformer like e.g. PaLM (or GPT-3). They use MQA instead of MHA (classic at this point). * Each forward pass (generation of 1 token) only utilizes ~280B parameters and ~560 TFLOPs. This contrasts with the ~1.8 trillion parameters and ~3,700 TFLOP that would be required per forward pass of a purely dense model. ---DISTRIBUTED--- * To parallelize across all their A100s GPUs They utilized 8-way tensor parallelism. Beyond that, they are using 15-way pipeline parallelism. Also apparently they used DeepSpeed ZeRo Stage 1 or block-level FSDP. (You can check out my video on all of these strategies here: youtube.com/watch?v=hc0u4avA… 3D parallelism is what you're looking for & ZeRo) ---VISION--- They have a separate vision encoder from the text encoder, with cross-attention. The architecture is similar to Google DeepMind's Flamingo (I used to work on this project :) ). This adds more parameters on top of the 1.8T of GPT-4. It is fine-tuned with another ~2 trillion tokens, after the text-only pre-training. ---DATA--- * Trained on ~13T tokens (multiple epochs, not unique). Plus millions of rows of instruction fine-tuning data from ScaleAI & internally (I guess acquired through ChatGPT + their API before they changed the policy). * 8k context length for the pre-training phase. The 32k seqlen version of GPT-4 is based on fine-tuning of the 8k after the pre-training. See e.g. MosaicML's blog on how to achieve this: github.com/mosaicml/llm-foun…) ---COST--- * OpenAI’s training FLOPS for GPT-4 is ~2.15e25, on ~25,000 A100s for 90 to 100 days at about 32% to 36% MFU. Part of this extremely low utilization is due to an absurd number of failures requiring checkpoints that needed to be restarted from. If their cost in the cloud was about $1 per A100 hour, the training costs for this run alone would be about $63 million. (Today, the pre-training could be done with ~8,192 H100 in ~55 days for $21.5 million at $2 per H100 hour) ---INFERENCE--- OpenAI might be using speculative decoding on GPT-4's inference. See this paper: arxiv.org/abs/2211.17192 The inference runs on a cluster of 128 GPUs. There are multiple of these clusters in multiple datacenters in different locations (it'll be hard for Elizier to nuke these xD). 8-way tensor parallelism and 16-way pipeline parallelism. Original thread: archive.is/2RQ8X (strictly speaking the original one has been removed).
19
186
22
994
330,276
Если присмотреться, то Жорик написал: 1. не начинали 2. не не участвуете 3. не не поддерживаете К сожалению, именно в этом и состоит позиция большинства россиян. И он ещё их молодцами объявляет.
Просто напоминаю, что если вы не: 1) начинали войну 2) не участвуете в войне 3) не поддерживаете войну то, вы не несете ответственности за войну. А если вы еще и высказываетесь/протестуете против войны, то вы большой молодец вне зависимости от цвета паспорта.
136
ЭТО МОЩЬ! Вот такие подкасты записывать надо) Украинцы выложили запись разговора продюсера Иосифа Пригожина и миллиардера из списка Форбс и санкц списков экс-сенатора Ф.Ахмедова Эти ребята могли бы на ютюбе профессионально хуесосить Путина! А они такой контент в личке прячут
354
1,577
218
10,233
1,438,215
"72 часа - и Конституция изменяется до частичной неузнаваемости". Это был тяжёлый год.
90
В то же самое время Хуйло вещает про "новый справедливый миропорядок". Сейчас уже всем должно быть очевидно, что целью был захват территорий и свержение руководства соседней страны. Но нет, всегда находятся гниды, несущие пургу про 8 лет, 2го родителя и солдат НАТО в кровати.
1
150
Vadim Nikulin retweeted
путин публично жрет говно в прямом эфире смотреть без регистрации и смс
131
303
21
2,868
Интересный тред. Несмотря на то, что "люди не смотрят телевизор", пропаганда очень хорошо находит способы достучаться. Деды воевали, солдаты НАТО в кровати и т. п.
Один из детей Беслана, выживший в теракте, Алексей Птах, сейчас по контракту служит в российской армии и воюет в Украине. 1/
ПРИХОДИТЕ ЗАВТРА КО МНЕ В БУНКЕР, В БАССЕЙНЕ ПОПЛАВАЕМ. НАЧНЁМ ОТ РОТОНДЫ, БЫСТРО НЕ ПОПЛЫВЁМ. УЕБЕМ КУДА-НИБУДЬ ЯДЕРНОЙ БОМБОЙ, ПОТОМ ЧАЮ ПОПЬЁМ С ПИРОГАМИ.
53
151
4
3,084