京理物理M2 学んだことや考えたことを呟くことが多いですが、間違いもまあまああるので気づいたときは指摘していただけるとありがたいです 質問っぽいのを投げていたら答えていただけるとありがたいです 最近はくだらないことを多めに呟いているのでフォローされる方はご注意ください ツイ廃です
Joined December 2019
- Tweets36.9K
- Following814
- Followers1.3K
- Likes48K
Pinned Tweet
真剣なお付き合いをしてくださる女性を探しています
スパム以外は歓迎なので興味のある方はDMをください
プロフィールは画像にまとめて書いてあります
何かあっても軽率に公表などはしないのでその点はご安心ください
人となりは過去のツイートを見るとわかるかもしれません
#X婚活 #Twitter婚活
>>RT
個人的に結構衝撃的なんだが、AIがニューラルネットワークの学習パラメータを直接いじるだけの能力があるってこと？
これが極まったら個別学習すらほぼ不要で、プログラミングするように学習済みネットワークを作ってあらゆるタスクを最適化できるのでは？
double_quarter retweeted
Sorry to disappoint everyone, but GPT-6 Astra didn't teach Qwen math.
Before the edit, Qwen3.5-0.8B ran out of tokens on 93% of math answers. It was stuck in thinking loops. After the edit: 33%.
Astra's final report: of 579 practice answers it fixed, 576 had been cut off. On answers Qwen already finished, accuracy didn't move.
On Gemma 270M, which barely loops, no edit moved math by more than a point. According to the authors, editing weights "could not add an ability the model lacked."
What Astra did is still impressive. It compared what happens inside the model when it loops vs when it finishes, found the signal two of its layers write when it loops, and edited it out. Then it checked that a random edit of the same size didn't do the same.
But this isn't something people haven't done before.
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math.
It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training.
We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵
Blog: rikiyat.github.io/blog/weigh…
double_quarter retweeted
i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a new, step-change emerging capability that's appeared in just the latest set of models.
あと何がやばいって、本質的に学習量にスケーリングされない自己改善が可能ってことだな
現状だとllmはネットの言語データを片っ端から学習して頭打ちになると思っていたが、これはブレイクスルーの鍵になりそう
double_quarter retweeted
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math.
It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training.
We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵
Blog: rikiyat.github.io/blog/weigh…
>>RT
これ良いな
私が認知行動療法を学んで得たことの半分くらいがまとまっている
ここで網羅されている認知の歪みを自分で認識して評価できるように訓練するとかなり生きやすくなると思う
commutest.com/cognitive-dist…
私は「過度な一般化」と「心の読みすぎ癖」が強いので、そういう思考が出たときは客観的に評価して自分に言い聞かせていたのだが、今は大分良くなった
参考程度に診断してみたら「ポジティブ否定」が比較的強く出たが、まあこれに困っている感じはないし、割と上手く認知できているのではなかろうか
commutest.com/cognitive-dist…
ちなみに結果はこんなんだったが、事前知識でメタ的に認識してしまっているからなんか正しく回答できていない気がしている
勝手に湧き出しやすい歪んだ思考はあるのだが、それはコントロールして引っ込められる領域にあるので、その思考を自分の認知とは考えていない
double_quarter retweeted
mbtiより認知の歪み診断した方がいい
自分が人間関係で揉める理由とか心壊す理由がわかる
commutest.com/cognitive-dist…
