26歳のAIエンジニア / マルチモーダルAIを用いて日本産業の現場をDXする人。/ 個人でAIに関する実験をして結果を投稿してます。 / 情報系修士卒(修士時代にフィンランドに研究のため留学) / KERNEL所属
Tokyo, Japan
Joined February 2025
- Tweets591
- Following294
- Followers1.9K
- Likes3.4K
Yusuke retweeted
弊社の三上 (@yusuke_post)が記事を寄稿しています。ぜひご覧ください
ChatGPTとは何が違う？ Googleが開発する「現実世界を理解するAI」の現在地／物の位置、作業の進み具合、次の行動まで考える「Gemini Robotics ER」とは【開発者と読み解くAIの世界】 forest.watch.impress.co.jp/d…
記事を寄稿させていただきました！
物体検出や動画解析に強いGoogleのモデル、Gemini Robotics ERについて解説させていただきました。
モデル名にRoboticsと入っていますが、ロボット以外にも様々な用途に使えるモデルかなと思ってます！
ChatGPTとは何が違う？ Googleが開発する「現実世界を理解するAI」の現在地／物の位置、作業の進み具合、次の行動まで考える「Gemini Robotics ER」とは【開発者と読み解くAIの世界】 forest.watch.impress.co.jp/d…
今日の登壇に使用した資料を置いておきます。
スライド: 「0.8BのVLMで始める動画解析VLM」
speakerdeck.com/shuredev/0-8…
登壇したイベント:「第115回 Machine Learning 15minutes! Hybrid」
machine-learning15minutes.co…
こちら参加しました。
とても面白かった。
tsubame-hi.connpass.com/even…
最近、人と話したり本を読んだりする中で、
「日本がAI時代にどう勝ち筋を作るか」という話をよく考える。
その中でよく出てくる一つの仮説が、エッジAIと現場データ。
日本にはセンサーや製造業など、リアルな世界からデータを取る技術や現場がある。
特に面白いと思っているのが、一人称視点の動画。
熟練工が長年の経験で身につけてきた、言語化しづらい判断や動作のニュアンスを、動画からデータとして蓄積できるようになると、それ自体が日本のAIにとって重要な資産になるかもしれない。
この仮説を見据えて、自分は一人称動画 × エッジAI周辺の実験をしている。
このあたり、LTで話すかも。
↓この本はビジネス的な観点の知見が身について、結構参考になりました。
一人称の動画についてリアルタイムな解析ができるOSSのVLMモデルを開発中。
学習するときにつかったコードをここで公開してます。
github.com/shure-dev/small-v…
・タイムスタンプとそのときにしているアクションを出力させる学習をさせた。
・Visionエンコーダは凍結させて学習。
・入力する動画の長さを5秒から10秒にしても、TTFT（最初のトークンの出力までの時間）がそこまで変わらないことがわかった。
・過去の30秒くらいの動画をテキストとしてモデルに入力することで実質、１分くらいの動画をメモリ、計算効率をよくしながら入力して、実行することができるということに気づいた。
この研究を参考にした↓
Memory-efficient Streaming VideoLLMs for Real-time Procedural Video Understanding
arxiv.org/html/2504.13915v1
・あと、10秒の動画が撮影されることを待たずに、ストリーミングを受け付けながらKey, Valueをリアルタイムで計算する仕組みとか作れそうというアイデアを思いついた。
一人称の動画についてリアルタイムな解析ができるOSSのVLMモデルを開発中。
学習するときにつかったコードをここで公開してます。
github.com/shure-dev/small-v…
・タイムスタンプとそのときにしているアクションを出力させる学習をさせた。
・Visionエンコーダは凍結させて学習。
・入力する動画の長さを5秒から10秒にしても、TTFT（最初のトークンの出力までの時間）がそこまで変わらないことがわかった。
・過去の30秒くらいの動画をテキストとしてモデルに入力することで実質、１分くらいの動画をメモリ、計算効率をよくしながら入力して、実行することができるということに気づいた。
この研究を参考にした↓
Memory-efficient Streaming VideoLLMs for Real-time Procedural Video Understanding
arxiv.org/html/2504.13915v1
・あと、10秒の動画が撮影されることを待たずに、ストリーミングを受け付けながらKey, Valueをリアルタイムで計算する仕組みとか作れそうというアイデアを思いついた。
8/29にこちらでLTさせていただくことになりました！
最近行っている「エッジデバイスのためのオープンウェイトのVLMを用いた動画解析モデルの開発」について話してみようかなと思います。
もし興味ある方いたら現地で話しましょう。
machine-learning15minutes.co…
リアルタイムのエッジデバイスでの動画解析を目指して、
過去5秒間の動画内の行動をタイムスタンプ付きで出力するモデルを開発中。
VLM(Qwen3.5-0.8b/4bit)の、ProjectorとLLM側をLoRAしました。
最初のトークンを出力するまでの時間、TTFT（Time To First Token）は0.7秒くらい。1秒以内には解析結果が出力されることが確認できた。
過去５秒間の動画を入力として、その動画の中で何が起こったかをタイムスタンプを含めたJSON形式で出力し続けます。
もっとデータを増やして改善したい。Egostepというデータを使っているのですが、そこまでデータの品質が良くなくて大変。VisionEncoderの方も学習させたい。
モデルも公開したい、テックブログにもしたい。
一人称のデータセット、Ego4Dへのアクセス権をもらった。
Ego4d goalstepというアノテーションされたデータセットを見つけたので、
Qwen/Qwen3.5-0.8BをQLoRAしてエッジデバイス向けの動画解析モデル作ってみようかな。
あと、参考になる研究見つけた。
Memory-efficient Streaming VideoLLMs for Real-time Procedural Video Understanding
arxiv.org/html/2504.13915v1
一人称のデータセット、Ego4Dへのアクセス権をもらった。
Ego4d goalstepというアノテーションされたデータセットを見つけたので、
Qwen/Qwen3.5-0.8BをQLoRAしてエッジデバイス向けの動画解析モデル作ってみようかな。
あと、参考になる研究見つけた。
Memory-efficient Streaming VideoLLMs for Real-time Procedural Video Understanding
arxiv.org/html/2504.13915v1
テックブログを公開しました！
私が個人で行っているオープンウェイトの2BのVLMを用いた工場の作業者の動画解析についてまとめました。
【2BのVLMで工場の作業者の動画解析をしてみた】
tech.algomatic.jp/entry/2026…
▶️技術ブログ公開のお知らせ
ーー VLM を使用して、動画から特定シーンの抽出はどの程度できるのか。
AIエンジニアの Yusuke @yusuke_post が、Marlin-2B を用いて「工場の作業者の一人称映像から、特定の手順がいつ行われたか」を検証しています🏭
課題と展望についても、分かりやすく解説していますので、ぜひご覧ください🙌
tech.algomatic.jp/entry/2026…
「AIRoA × 東京大学松尾・岩澤研究室 Physical AI Robot Challenge 2026」において、参加するための書類審査にとりあえず合格しました。
このコンペは、Vision-Language-Action（VLA）モデルを活用し、ロボットの汎化能力向上に挑戦するものです。
これはまだ第一歩です。次は「本選メンバー」に選ばれるよう頑張っていきます。
AIRoA×東大松尾研 共催のフィジカルAIコンペ 「PARC2026」 につきまして、大変多くの反響をいただき、応募締切を 【7月17日(金) 23:59】 まで延長することとなりました。
「準備が間に合わなかった」「まだ迷っている…」という方も、この機会にぜひエントリーをご検討ください！
視覚と言語からロボットの行動を直接生成する、最先端の 「VLA（Vision-Language-Action）モデル」 開発に挑戦する一大プロジェクトです。
🕒変更後の応募締切
【 2026年7月17日(金) 23:59 厳守 】
詳細なタスクや参加要件については、説明会アーカイブ動画および投影資料にて公開中です。お時間のあるうちに、ぜひお忘れなくエントリーください！
説明会アーカイブ動画：x.gd/jwqI7
投影資料：x.gd/OinrC
