24歳ぷよぐらまー Rust, Java/Kotlin, TS(React, Vue)とか ゲームアカウント: @GamingTomo
千葉県
Joined June 2013
- Tweets49.9K
- Following417
- Followers896
- Likes21.8K
あまりにも実際の仕事とかでは使えない、ISUCON専用最適化ばっかで面白いな
初手ポスグレ消す判断するのもすごい。あとリージョン間の遅延がシミュレーションであることを利用して60msの待機で通信待機決め打ちするのも実際にはできない
zenn.dev/luvtechno/articles/…
gpui採用事例増えたな
リプにもあるけど、zedファーストのcrateを採用して大丈夫なんだろうか
We've been early adopters of Rust since 2018 and a lot of our infra, voice tech, and even some of the current client is already Rust, the holy grail was getting the whole client there. That means Electron goes away, and so does React Native, mobile keeps native UI but shares app code with desktop via Rust. We hope to get it into testing with users soon™. (And it's not Tauri, it's GPUI, so good guess everyone.)
Alright, back to staring at the WoW Forever login screen.
だいぶモダンなスタック選んだな〜〜
tsrs早速取り入れてるのもスピーディ
blog.x.com/en/engineering/re…
もちろんすごいことだが、やってることはモデルに本来備わってる能力が、トークンループによって妨げられてるのを取り除いているって感じだった
既にループがない(少ない)モデルでは改善が見込めない
ゲームルールからプレイするモデルを一から生成するのはバケモン
GPT-6 AstraがLLMの重みを直接書き換えて数学の正答率を約6倍にしたらしい。しかも変更したのは全体のわずか0.016%で、勾配降下も追加学習もしていないという...
これ、AIが別のAIの内部構造を理解し始めてるってことなのか……？
詳しく見てみると、対象はQwen3.5-0.8Bで、MATH-500の正答率が7.9%から48.1%、GSM8Kも13.8%から67.1%に改善している。
面白そうなのが数学の知識そのものを追加したわけではなさそうなところ。
元のモデルはThinking中に同じ内容を延々と繰り返す問題があって、MATH-500では93%もの回答が32,768トークンの上限に達していたらしい。
そこでAstraが重みや中間活性を解析して、反復に関係するMLPの成分を特定。第15層と第19層の重みを一部修正したところ打ち切り率が33.1%まで下がったそうな。
さらにびっくりなのが、別の実験では小型Transformerを一度も実行せず重みだけを解析して学習に使われた言語や、コピー処理を担うAttention Headまで特定していること。
もちろん今回の数学実験も50回のForward Passや80回のPython実行を重ねた結果だし、LLMの仕組みを完全に理解したわけではないが、モデルの内部で何が起きているかを別のLLMが解析して、問題のある部分を特定し、生の重みを直接修正するところまでできているのは結構衝撃的だなぁ。
となると次に気になるのは、こうした不具合のないモデルでも重みの構造を解析するだけで新しい能力そのものを獲得させられるのかというところ。
これができるようになったらFTとはまた違ったモデル改良の方法が成立しそう。
cool, now make it actual x20
We’re renaming our Max plans:
Max 5x → Max
Max 20x → Ultra
Max is still $100/month, and Ultra is still $200. If you’re a subscriber, there’s nothing you need to do.
We’re also removing the 5-hour limit for verified Ultra accounts, starting today with most existing subscribers. Newer accounts keep a temporary limit until they’re verified, which helps us prevent fraud and abuse. You'll get an email when it's removed.
Weekly limits remain unchanged. View our plans here: claude.com/pricing
tomotomo retweeted
私が @Nekoya3_ と代表社員を務めるReMotive合同会社のコーポレートサイトを公開しました！🎉
主にエンタメ領域で、サービスの開発や技術的な支援に取り組んでいます。
エンタメは、人の「好き」やクリエイターとのつながりを支えるもの。だからこそ、安心して楽しめる安全性と、サービスが届ける体験の価値を大切にしたいと考えています。
開発・セキュリティなど、お困りのことがあればお気軽にご相談ください！🙏
remotive.co.jp/news/website-…
