
木更津高専ロボ研制御班 #kosen24s 電子制御 SIGNATE:Advance, ATCODER:茶, kaggle:contributor C++(Arduino/stm32) , React + Django/FastAPI 英検準一級上位1%, TOIEC Bridge 満点 自宅サーバー
NIT,Kisarazu College
Joined January 2026
- Tweets265
- Following210
- Followers232
- Likes17.4K
sanction=sanct(聖なる)+ion
神聖なものとして定める:「承認」とそれを守らせる罰で「制裁」の両義
sanctimonious=sanct+i+mony(状態)+ous
神聖さ→皮肉化して「聖人ぶった」
どちらもラテン語sanctus(聖なるが語源でsaintやsanctuaryも同族
57
シャノンの推定によると英語一文字の情報量は0.6〜1.3bit。一文字8bitとして1/8が圧縮の目安
モデル含まず1/3はとても非効率。
wikipedia1GBを圧縮するコンテスト(Hutter Prize)では、解凍プログラムも含めて1/9にした手法が優勝した。
逆にいうと情報量1/10あたりが圧縮の限界である。
LLMを使った超圧縮技術「LLMZip」の仕組みが面白かったでメモ
1. LLMに文章の次のtokenの出現確率順位を出させる
2. 殆どの文章はLLMにとって予見可能なので「1位, 1位, 1位, 1位, (たまに3位とか)」が並ぶ
3. この偏った数列を符号化して圧縮する
4. 結果、普通のZIPのさらに3分の1くらいまで縮む
2
174
順位を送るより効率的なやり方があって、0~1の数直線にtknの出力確率を乗せ、選ばれたところに次のtknの確率分布を乗せていく(算術符号化)。end tknまでやったら、この詳細な小数を送るだけでよい。
この手法はモデルを含まず、LLMの賢さと圧縮対象によるが、1/8(シャノンの推定と一致)ぐらいにできる
#namethatllm で銅メダル取るのは厳しい
他の人が使ってないLLMやEmbeddingをFine tuneして追加しないと成績が上がらないから時間もかかるしkaggle notebookは遅いからやりにくい
GTX980 4GBだからlocalも出来ないし
2
97
Name that LLM 参加しました
Score 0.653, rank 2494 on #kaggle. kaggle.com/competitions/name…
2
93




















