JASSOの返還口座登録ができない...
口座登録用紙の印鑑不鮮明で拒否られ、
再送したら対応してない銀行口座だったと拒否られ、
オンライン登録を試みたが実家の固定電話を使わないと認証できない仕様で詰み、、、
返還の意思はあるのだが、JASSOがなかなか返還させてくれない、返還したいのになあ!
1
6
421
さきがけ エクスポソームに採択されました
頑張ります!
2026年度の採択結果を公開しました。
各領域の
✓今年度の採択課題
✓選考についての総括総評
などを公開しています。
◎プレスリリースはこちらです。
jst.go.jp/pr/info/info1873/i…
◎CREST
jst.go.jp/kisoken/crest/appl…
◎さきがけ
jst.go.jp/kisoken/presto/app…
◎ACT-X
jst.go.jp/kisoken/act-x/appl…
Claude に文献調査させる際、Claudeアプリに任せるとOA雑誌しか見れないのでMDPIやFrontiersだらけになるが、学内ネットワークからClaude に chrome MCP を使わせると非OAも含めたちゃんとした文献調査ができるライフハック
Thoma Itoh retweeted
[東京都羽村市にオープンイノベーションセンターを開所しました🍓]
農業革命は、人類の歴史でこれまで3回しか起きていません。
4回目を、東京都の、このセンターから起こしにいきます。
農耕のはじまり。近代農法の確立。そして20世紀の緑の革命。この3回はいずれも「既存農業の効率化」の革命でした。次に来るのは、植物工場による農業のフォーマットの抜本的な再構築と、農業の進化の「速さ」そのものの革命だと思っています。
農業がこれまで数十年・数百年かけてきた進化を、今回のセンターでは数年で実現する事が可能となります。
既にこのセンターでは何十もの気象制御室が、同時に動いています。春も、夏も、秋も、冬も、すべての季節が同じ建物の中に同時に存在してます。
これまでの農業研究は、「来年の春が来るまで待つ」ことが前提でした。試したい条件があっても、その季節が巡ってくるまで着手できない。ここには、その待ち時間がありません。真冬の条件を、8月に試せます。
露地なら、いちごの栽培は1年に1度です。ここでは季節を待たずに、何十もの部屋を並行して回し、年間数千パターンの条件を検証できます。すでに100名近いメンバーが、24時間365日ここで研究をしています。稼働して間もないですが、もう成果が出はじめているものもあります。
そしてこの革命に、我々一社だけではなく、日本中のメーカー群と共に取り組みます(リプ欄参考)。2024年の秋、このアカウントで「口先だけでない、本物のオープンイノベーションをやります」と書きました。あの時は、日本のどこでやるかすら決まっていませんでした。その後日本支社長の鈴木を中心に数百の倉庫を見て回り、去年の春、ようやくこの4階建ての巨大倉庫にたどり着きました。まっさらな、空っぽの倉庫を鈴木と見渡しながら、「ここから農業の歴史を変えるんだ」、と二人で妄想を膨らませました。
そこから一年ちょっと。8月5日、イノベーションをおこして行く仲間となる企業の方々と共に、決起集会の意味も込めて開所式を行うことができました。既に数十個の実験室が稼働しており、今回の開所式の最後には、その倉庫で採れたいちごを入れたグラスで、全員で乾杯しました。
いよいよです。
植物工場には「施設園芸の技術」と「工業の力」の両方が要ります。この2つをトップクラスで併せ持つ国は、世界を見渡しても日本しかないと思っています。だからこのセンターを日本に建てました。政府も2040年度までに官民で4.6兆円という投資目標を掲げました。私が兼ねてから掲げてきた「生きているうちに100兆円産業」という数字が、ホラから現実に変わり始めています。
20世紀、トヨタやソニーと日本中のメーカーが束になって、自動車とエレクトロニクスの世界を塗り替えました。今日本は植物工場産業においてポールポジションを既に確保しています。きちんと正しい戦略に則り、日本の叡智を集結すれば自動車やエレクトロニクスのように、このまま世界を獲れる、21世紀の日本に残された最大の勝ち筋だと本気で思っています。
死ぬまでにどこまで進められるのか。
製造業に次ぐ、日本発の新しい100兆円産業をつくりに行きます。🔥🔥
Thoma Itoh retweeted
Mamba3はMamba2と比べて次の3点を改善
- 台形則による高次精度の離散化
- 複素数を使った状態空間モデル
- 複数入出力で推論時の演算集約度を改善
Mambaシリーズが採用する状態空間モデルは連続時間の線形ダイナミクスを
h’(t) = A(t)h(t) + B(t)x(t)
y(t) = C(t)^T h(t)
と表す。ただし、A, B, Cは学習可能なパラメータであり、変種によってどのような値を持つか、入力依存かが異なる。Mamba-2ではB, Cは入力依存であった。
(1) 台形則による高次精度の離散化
このSSMを離散化するため積分する際にMamba2はオイラー法で近似していた。この場合
h_t = exp(∆t A_t) h_{t-1} + ∆t B_t x_t
が得られる。しかしオイラー法は1次精度しかなく、局所誤差はO(∆t^2)、累積誤差はO(∆t)となる。
台形則に基づき、これを近似すると
h_t = exp(∆t A_t) h_{t-1} + (1 - λ_t) ∆t exp(∆t A_t) B_{t_1} x_{t-1} + λ_t ∆t B_t x_t
となる、ただし、λ_tはデータ依存のスカラーであり、入力を線形写像で変換してシグモイドをかけて動的に決定される。
この手法は2次精度の離散化であり、局所誤差O(∆t^3)、累積誤差はO(∆t^2)と小さくできる。
この一般化台形離散化はSSMへの入力に対するサイズ2の畳み込みを施すとみなせる。純粋なオイラー更新では直前のx_tしか参照できないため滑らかな更新をできず、convを入れる必要があった(physics of LMにもある)。後の実験で示されるように、mamba3は畳み込みを使わなくても性能は落ちない。
さらに、mamba3の場合の畳み込みは、重みフィルタが入力依存で決まる動的畳み込みを行っているといえる。
(2) 複素数SSM
遷移行列(式のA)をMambaは実数対角行列、Mamba-2はスカラーであった。
しかし、単純な状態追跡タスクすらも解けないことがわかっている。
例えば、二値入力{0, 1}に対してその合計の偶奇を求める関数も求められない。
これは遷移行列の固有値が実数に限定されているためである。
そこで次のような複素数空間での操作を考える。
h’(t) = ( A(t) + iθ(t) ) h(t) + (B(t) + i \hat{B}(t)) x(t)
y(t) = Re((C(t) + i \hat{C}(t))^T h(t))
と表される。ここで\hat{B}, \hat{C}はB, Cとは独立したパラメータであり入力の虚軸空間への射影を担当し、遷移行列はA(t)は実数の減衰係数、iθ(t)は回転を表す係数を担当するとみなせる
これをオイラー法で離散化すると
h_t = exp(∆t A_t) R_t h_{t-1} + ∆t B_t x_t
と表される、ただしR_tはθによる回転行列を対角ブロックで並べたような行列である。
この回転は入力と出力側に時系列で畳み込まれた回転として吸収できる。
これはデータ依存のRoPEと等価であり、通常のRoPEは固定周波数スケジュールだが、θ_tは入力依存のためデータ依存の回転周波数を使ったRoPEといえる。
Mamba-3ではA(t)はMamba-2と同様にスカラーに制限しつつ、このデータ依存RoPEを使うことで効率を落とさず、複素数化を実現している
(3) MIMO化
Mamba2など推論は効率的だが入力を状態に足す時は外積の形で表されるので(上式のB(t) x(t) はBがベクトル、xはスカラー)メモリボトルネックである。
そこで更新を低ランクの行列積に置き換える。
同様に出力側も低ランクrの行列積に置き換える
これにより計算密度を増やし、実行速度は変わらずGPU効率が改善される。
また、Mamba3アーキテクチャは、Mamba-2から細かく改良しており
- 正規化層をB, C投影の後に再配置(QK-Normと同様)
- BおよびCにチャンネル別バイアスを付与
その一方で従来より必要とされたConvは不要となっている。
実験結果では、Mambaが苦手とされる検索能力において、連想想起と質問応答では良好な結果を示しつつ、半構造化・非構造化データからの抽出ではTransformerに劣っていた。しかし、合成Needle-in-a-Haystack課題ではMamba2を大きく上回り、特に訓練外分布の検索では大きく性能を改善した
推論効率においては、性能と推論速度のパレート前線をMIMO化した場合に改善することが確認された。
この形式言語タスクで評価した場合でもRoPE導入で劇的に改善しMamba2が苦手だった領域を改善することに成功している。
コメント
===
Mamba3はMamba2の正当進化といえ、性能を改善し、推論速度/性能も改善している。
状態空間モデルはkv cacheモデルを使わない分、状態が大きくなっておりそこがメモリボトルネックになっているが、そこも改善されている。
一方、状態が固定サイズであり注意機構と比べ(検索や半構造/非構造データ抽出系など)苦手な部分が残っており、注意機構に劣る傾向がある。このあたりはハイブリッドモデルをまだ利用する必要があるだろう。
また、動的重みのconvやMIMO(rヘッドの線形アテンション)は表現能力を大きく改善しているが効率的な実装難易度は上がっている。今後優れた実装が公開されるとは思うが。
Thoma Itoh retweeted
High-Dimensional Dynamics in Low-Dimensional Networks link.aps.org/doi/10.1103/79h…
Thoma Itoh retweeted
卒業生の鳥取さんの論文がPRLに公開になりました。彼が独自に発展させたリソース制約付き制御理論を活用して、リソース変化に伴う不連続な最適情報処理の転移の同定に加え、その発生機序を理論的に解明しました。生体情報処理が高度化したシナリオの理解につなげていきます。
iis.u-tokyo.ac.jp/ja/news/51…
Springer Nature 株価
論文の質はどれほど反映されているんだろうか
研究者界隈のaccept情報でうまいことできたらおもろいな🦏
jp.investing.com/equities/sp…
2
316
Thoma Itoh retweeted
新しいプレプリントを公開しました。FEP的な枠組みが、ガウス/ラプラス仮定だけでなく指数型分布族の仮定を変分事後・事前分布に適用することによっても予測符号化によって神経実装されることを議論しています。また、ガウス仮定では難しかった、非線形かつ非斉一な入出力特性も許容される枠組みです。
Our new preliminary preprint is out! arxiv.org/abs/2605.30882
Thoma Itoh retweeted
Our preprint is now online. Unusual mechanics of cultured epithelial tissues, robustly reproduced by a 3D mechanical model with key epithelial features. Simple calculations lead to insightful results.
@KodaiTerada
biorxiv.org/content/10.64898…
Thoma Itoh retweeted
A critical initialization for biological neural networks
Spontaneous brain activity is often treated as noise: the background hum of a nervous system waiting for a task. But large-scale recordings in mice have shown something more structured. Even in darkness, without explicit stimuli, thousands of neurons display coordinated activity patterns that extend across the brain and persist far longer than the fast biophysical timescales of individual neurons.
Marius Pachitariu and coauthors ask a simple question: could this macroscopic structure emerge from a simple kind of network initialization?
Their answer connects neuroscience, random matrix theory and machine learning. They model spontaneous neural activity as linear dynamics governed by a random connectivity matrix, stabilized by a global inhibitory-like normalization. When this matrix is symmetric and critically normalized, with its largest eigenvalue very close to one, the network naturally produces high-dimensional activity modes with a power-law covariance spectrum.
This is not just a mathematical curiosity. The same spectral structure appears in large-scale mouse recordings from cortex and brainwide Neuropixels data, with power-law exponents around 0.7–0.85. Hippocampal CA1 is the striking exception: its activity looks less correlated, closer to an efficient, high-capacity code for information storage.
The ML perspective is especially interesting. In artificial neural networks, initialization is often treated as a technical detail: Xavier, He, orthogonal schemes, and so on. But this paper reframes initialization as a computational substrate. A critically initialized recurrent system can generate slow, global, high-dimensional modes before task-specific learning. In simulations, these dynamics support time-dependent computations, including zero-shot working memory tasks.
The biological implication is powerful: spontaneous activity may not be random noise, but a preconfigured dynamical scaffold on which learning and computation can operate. The brain may start from an initialization already close to useful temporal memory, with learning then shaping readouts or task-specific pathways.
For R&D teams building ML systems in drug discovery, materials development, energy research or biotechnology, the lesson is broader than neuroscience. Initialization, architecture and dynamics define what kinds of scientific signals a model can preserve, combine and retrieve before training. In applied research pipelines where data are scarce, noisy and time-dependent, designing the right dynamical substrate may be as important as choosing the loss function.
Source: Pachitariu et al., Nature (2026) — CC BY 4.0 | doi.org/10.1038/s41586-026-1…
claudeのブラウザ操作(mcp)でjupyter notebookの解析ノートを編集させていたが、スクレイピングによるトークン消費が凄まじかったので、Marinoに移行。
AI連携を想定した解析ノートらしい。
1
1
262














