INTERSECT INC. CEO/ AIシステム開発屋さん/東京大学工学系研究科博士後期課程中退/元理論物理屋さん/ https://teapaw.org/t.co/i8V9TalsW3 / カジュアル面談はこちらから→ https://teapaw.org/t.co/eLGvDP3KVX
Joined May 2023
- Tweets483
- Following298
- Followers497
- Likes434
@TakumiOokoshi さんから勧められて早速読んでるけど、おもろい
@kinoshitay さんや@masato611 さんもだけど、弊社の株主の皆さんは良い記事とか本とかたまに教えてくれる
普段インプットサボりがちなんだけど、人から勧められると時間作って読んでみようという気になるからありがたい
インターセクトはプレシリーズAで3億円の資金調達を実施しました！
ALPHA、SBIインベストメントを共同リード投資家とし、既存株主のSkyland Ventures、みずほキャピタルを引受先としています！
@masato611
@tatsutatsukei
@KaoriMitsui
@bobkouki517
@hiroaki_m98
@kinoshitay
23-25日にDX総合EXPOに
Askhub出展してました！
結果3日で417社の企業様に
トライアル導入に向けた商談の
お申込をいただきました！
法人向けAIエージェントを謳う
サービスが多くある中
Askhub導入を検討いただき
感謝しかありません！
AX推進を阻む課題
引き続き真正面から解決していきます！
AIオペレーショナルマネージャー
AI時代にも生き残れる
ソフトスキルの高いエンジニアの
成れの果てな気がする
この人とDevinでええやん
最近やっている概念的なところだけnoteにまとめてみた
AI時代のオペレーション再設計 —— 「AI BPR」について｜numashi/LayerX バクラクVPoP @numashi_Biz #note note.com/numashi_biz/n/nafa3…
3
728
強化学習時の報酬生成については
これから進展あるなと思っていたけれども
一般タスクでの報酬生成について
早速進展があった
手法）
1. まず評価基準とそれに基づく批評を作り
2. それを複数サンプリングして多様な観点から報酬を決定
サンプリング数で顕著に
性能がスケールするのがすごいところ
LLMの事後学習において強化学習を利用し、推論時スケーリング（推論時に計算量を増やし性能を上げる）ことが可能となっている。この主要な課題は、検証可能なタスクやルールを超えた領域で正確な報酬信号を得ることである。
DeepSeek-GRMモデルは、応答ごと（回答ペアでなく）に高品質な批評の原理とそれらに基づいた批評テキストを生成し、それらのテキストを報酬に変換した合計値で最終的な報酬を求める。その際には品質の低い原理や批評をはじくメタRMを使うとさらに性能をあげられる（批評の批評）。
原理を固定ルールでなくモデルが生成することも重要で、入力クエリと応答に基づき、原理を生成し、次に原理をもとに批評を生成する（原理が潜在変数）。これにより、批評の質や細やかを報酬モデルの学習によって向上することができる
GRMは原理と批評の生成を同時に最適化する（Self-Principled Critique Turning; SPCT）これは次の2ステップからなる
- Rejective Fine Tuning: 初期化として正しい形式と多様な入力に対応した出力を学習。Rejection Samplingを使い、予測された報酬が正解と一致する場合を残す
- 次にGRPOに基づくルールベースのオンラインRLを行い報酬モデルを学習する。r1で使っていた出力形式に関する報酬（format reward）は使わずKLペナルティ係数を大きめに設定する
このように作られたDeepSeek-GRMはGemma-2-27Bをベースに適用され、報酬モデリングタスクではNemotron-340B-rewardやGPT-4oに匹敵する性能を達成。さらに推論時スケーリングを達成し、8サンプル~32サンプルで性能改善がみられた（一方、原理を介さず生成するアプローチは多様性が限られ性能改善がみられなかった）
モデルサイズを確証する学習時スケーリングより、推論時に複数回サンプリングして評価の多様性を増やすアプローチで性能向上がみられる
===
感想・コメント
正確な報酬信号を与えられるタスク（プログラム・数学）以外にLLMが自己学習できるかは正確な報酬モデリングできるによるが、今回はそれに向けて、直接報酬を生成するのでなく、批評を生成し、さらに原理を生成し、これらを複数出力して多様性を確保した上で、推論スケールによって精度が挙げられる可能性があることが示された。
生成時の多様性をあげるには潜在変数を介すことが有効だが、今回、報酬モデリングにおいて批評、原理がその役割を果たしているとともに、人間にも解釈可能/介入可能なものになっている。
次はこの報酬モデリング（やその発展形）を事前学習後モデルに大規模オンラインRLに入れていくのが進められていくだろう
これ革命じゃないのかな？
Computer useが
高速に、高性能になれば
Agentの実用性が爆発する
クリック精度では
- GPT-4o 5%
- Gemini 2.0 33%
- 3.7 Sonnet 53%
に対して
ace 72〜77%
レイテンシーは
- GPT-4o 2.5k ms
- Gemini 3k ms
- 3.7 Sonnet 9.6k ms
に対して
ace 0.3~0.5k ms
やばい
RAGの精度向上させたい人キャッチアップ必須！
Cohereの出したRerank 3.5はユーザーのクエリに対して文書の関連度をスコアリングしてくれる
使い方としては、
1. 従来のベクトル検索などで関連チャンクを「どさっと多めに」取ってくる
2. Rerank 3.5でスコアリングする
3. 上位をLLMに食わせる
って感じっぽい
ここの2の工程はLLM as a judgeとかで評価することが多いけど、なかなか性能が安定しないのがネックだった
弊社のAskhubでも軽量LLMを並列実行させて力業でドキュメントの関連度評価してたけど、ここを丸っと置き換えれる可能性ありそう
あとは推論能力が高いのも売りらしいから、クエリ拡張ももしかすると要らなくなる？
色々可能性を感じる👏
