初めてAgentを使ってロボットを動かしました!
Gemini 4 Hydrogenがカメラ映像からキューブの場所を推定して、IKで関節角度を計算して制御してくれています。
VLAは使っていないので、データ収集やModelのTrainingはせずに、Agentが自分で何回か試行錯誤して微調整していました。
ついに妻が実機を動かし始めましたw
SO-101で、お手玉をつかむ動作を学習させました!🤖
Leaderでのデモデータ収集 → 学習 → Followerでの実機動作検証(rollout)まで、一通り実施!
学習したモデルで、実際にお手玉をつかむところまで確認できました!
#PhysicalAI #フィジカルAI #Robotics #so101 #ロボティクス
20
1,240
Kouch 佐藤航智 retweeted
SO-101で、お手玉をつかむ動作を学習させました!🤖
Leaderでのデモデータ収集 → 学習 → Followerでの実機動作検証(rollout)まで、一通り実施!
学習したモデルで、実際にお手玉をつかむところまで確認できました!
#PhysicalAI #フィジカルAI #Robotics #so101 #ロボティクス
10/1からRLWRLDでエンジニアとして働き始めました!
純粋なエンジニアとして働くのは大学生以来ですが、爆速成長して世界のPhysicalAIの技術に貢献できるように頑張ります!🔥
2
46
1,965
シルバーウィークは雨で予定が消滅しまくったので、「フルスクラッチでLLM作るチャレンジ 」に挑戦してました。
TransformerとかAttentionとかふわっと理解してた概念がコードを書くことでちゃんと理解できた。
学習済み重みはGPT2-smallを参照してるので質は微妙だけどちゃんと文章生成できてる!
1
2
528
この本に沿ってやりました!
amazon.co.jp/%E3%81%A4%E3%81…
288
Isaac Sim上のUnitreeをMeta Quest3でテレオペした🔥
unitree_sim_isaaclabとxr_teleoperateでサーバー立ち上げて、webXR経由でQuestからアクセスできる。
簡単にできたけど、ラグいし視点追従してくれくれないからめちゃむずい。
次はVRChatみたいに仮想空間の中で動かしたい!
6
632
論文を普通に読んでも、自分がどれくらい理解したかがわからないので、GPT Astraに「論文学習サービス」を作らせた!
自分で論文を読んで、その後の理解度チェック(選択式と長文問題)で80点以上だとクリア。
いざ説明しようとすると「ここうまく言えないな」って部分が可視化されて楽しいぞ!
1
5
640
Kouch 佐藤航智 retweeted
今日は夫こーち(@Iamkouch )の誕生日🎉and結婚記念日🎊
新しい家族も増えて、結婚4年目も仲良くわくわく過ごしたいなと思います㊗️
VRChatでのアバターとリアル赤ちゃんと猫をケーキにしてもらいました🎂かわいい💕
IssacSimで作ったデータ20episodeだけ(実機テレオペなし)のデータセットでSO101を動かすチャレンジ中。
微妙にアームのpositionがずれてしまう。
sim2realって大変だ、と一人で実感する夏の夜
参加しているPhysical AI Robot Challenge 2026で予選突破しました!
予選ではpi05をFull FTし、滑らかさを出すために平滑化やaction_stepなどの細かい調整を繰り返しました。
本選も頑張るぞ!
Kledという指定されたシチュエーションの人間のビデオを録画して納品したら報酬がもらえるというアプリを試してみた。
とりあえず「ノートに文字を書きながら勉強している動画」というお題に対して10分くらいの動画を提出した!
これでいくらもらえるんだろうか
apps.apple.com/jp/app/kled/i…
1
445
最終課題提出し終えた!
FlowMatchingの仕組みとか、アーキテクチャー周りをゴリっと学べてとても勉強になった。
今までキーワードしか知らなかった概念を、薄く広く全体像把握できた感じ。
weblab.t.u-tokyo.ac.jp/lectu…
1
26
2,343













