Leo Xiang (@leeoxiang) header
Leo Xiang (@leeoxiang) profile picture

Leo Xiang

@leeoxiang

关注音视频+AI 技术的结合，目前负责 Voice+AI 方向的云产品。 奶爸，正在教刚出生的小宝宝学习大模型； https://teapaw.org/t.co/SUN1RBbkH4

 銀河系
realtimeai.dev/
Joined May 2010
  • Tweets4.4K
  • Following927
  • Followers17.8K
610Media
Photo by Leo Xiang (@leeoxiang)Photo by Leo Xiang (@leeoxiang)Photo by Leo Xiang (@leeoxiang)Photo by Leo Xiang (@leeoxiang)Photo by Leo Xiang (@leeoxiang)Photo by Leo Xiang (@leeoxiang)Photo by Leo Xiang (@leeoxiang)Photo by Leo Xiang (@leeoxiang)Photo by Leo Xiang (@leeoxiang)Photo by Leo Xiang (@leeoxiang)
开放我的 M5Stack Chan 和 Grokbot 的打通方案。 支持语音唤醒、语音控制、Grokbot 双向互通。 github.com/notedit/GrokChan
2
7
966
求靠谱的 gpt-image-2.6 渠道
25
10
9,834
目前的 Personal agent 都没有为语音交互做好准备，比如 grokbot，如果给他支持上三段式的语音接入体验会比较差。 一个可行的方案是在这些 Personal agent 之上在做一个接入层，接入层做基本的语音交互逻辑，Personal agent 只做异步的交互。
10
1
5
2,225
huggingface 要成为最大的硬件开源平台了。
etienne (@cetiennec) profile pictureetienne@cetiennecOct 30
Welcome to @huggingface family @asimovinc ! Very excited about this collaboration @menloresearch ! Sound on ! 🎶
1
1
694
在 Grok bot 使用 X 的 API 是免费的， 可以 X 当成你的日常资讯 以及 商业决策的辅助了。
Image from Leo Xiang (@leeoxiang)
2
1
768
看了下 Reachy Mini 和 Picroduck 都是 PC 或者 Mac 当做算力中心，后面的硬件可能也是这样，手机或者电脑作为算力中心。
3
2
788
不知道有没有好用的(要足够快) phone use 的模型，目前截帧+Codex 的方式还是太慢了。
7
8
5,064
今天刚跟一个朋友讨论了这个问题： 只比别人持续的快一步就好了
jack (@jack) profile picturejack
@jackOct 24
there is no moat
1
1
1,174
硬件比软件有意思多了，考虑入手个M5Stack 硬件套件。
ぶんかい@AIで遊ぶ人 (@bunkaich) profile pictureぶんかい@AIで遊ぶ人
@bunkaichOct 12
とりあえずiPhone UseをiPhoneから実現するためにM5Stack StopWatchには専用デバイスになってもらった。 iPhoneアプリはサンドボックスに閉じ込められていて他のアプリに影響を及ぼせないから画面収録とバックグラウンド実行、入力デバイスのアプローチで実現しようと思ってる。
3
6
1,692
这个交互太棒了。 未来的交互会不会是这样，大部分通过语音交互，少部分通过键盘鼠标。
ぶんかい@AIで遊ぶ人 (@bunkaich) profile pictureぶんかい@AIで遊ぶ人
@bunkaichOct 12
とりあえずiPhone UseをiPhoneから実現するためにM5Stack StopWatchには専用デバイスになってもらった。 iPhoneアプリはサンドボックスに閉じ込められていて他のアプリに影響を及ぼせないから画面収録とバックグラウンド実行、入力デバイスのアプローチで実現しようと思ってる。
26
26
4,514
太残暴了
宝玉 (@dotey) profile picture宝玉
@doteyOct 12
录屏是个好办法👍 继续贡献一个 REA 案例，除了录屏还可以用 Computer Use，我想学习一下 CapCut 的动态字幕格式，我也不知道格式存在哪里怎么渲染的。 继续问 REA，它的字幕是怎么渲染的，这次我让它自己用 Computer Use 去操作，去点击下载 Templates，然后它会自己打开 CapCut 去一个个点击下载，下载的同时去监控网络地址和磁盘保存地址。 就这样操作了几十个后，Codex 发现这样点击太慢了，自己拼 URL 去从 URL 下载了，就这样下载了 2291 个 Templates。
Image from 宝玉 (@dotey)
Image from 宝玉 (@dotey)
Image from 宝玉 (@dotey)
2
1,832
音视频的实时决策模型， 场景太丰富了，搞了几个场景 demo 让大家感受下。 会带来一波 VoiceAgent 以及 具身智能场景的落地。 realtime-omni.dot.cc/
Image from Leo Xiang (@leeoxiang)
4
5
2
52
6,148
用 REA 逆向了一个加密的二进制库， 然后让 claude code 重新实现了一遍，评测了一下指标和原来的库差不多。 从这个层面来说的话 mac 上那些不开放的接口很快都能被人逆向出来。
23
14
5
433
141,881
JEV 这样的决策模型让 VoiceAgent 充满新的可能性，jev 用来做轮次检测准确度非常高了。 如果基于音频的实时决策模型能支持如下能力： 1、用户是否说完 2、是否要打断 3、什么情绪：开心、伤心等 4、是否要拒识 5、是否要调用工具 VoiceAgent 的体验能提升一大截，而且根本不需要什么端到端模型。
Image from Leo Xiang (@leeoxiang)
6
1
53
3,488
在 DSH 中实现了一个语音唤醒语音输入的插件，实现了这个插件的自动安装，重启了下 DSH 然后这个功能就自动能用了。 DSH 已经初步实现了他们当初说的 Harness自我迭代的能力。
Image from Leo Xiang (@leeoxiang)
18
2
1,178
实验了一下 dsh 开发一个插件，并自动更新，真自动完成了， 并立即可用。 如果配合上omarchy 就有点 agent os 的感觉了。
1
1
1,078
解决方案：申述被驳回。继续注册了一个号，避免被直接封，先从 pro 订阅开始。
Leo Xiang (@leeoxiang) profile pictureLeo Xiang
@leeoxiangSep 26
有点晴天霹雳了，这个账号用了两年多，一直没有啥问题。忽然被封，Fable 5 已经是我每天在用的模型，对我日常的算法实验提效很高，被忽然干掉对效率影响蛮大。 另外申请解封的概率高么？ 另外同步求其他稳定使用 claude code Max 套餐的方案。
Image from Leo Xiang (@leeoxiang)
12
8
5,782
有点晴天霹雳了，这个账号用了两年多，一直没有啥问题。忽然被封，Fable 5 已经是我每天在用的模型，对我日常的算法实验提效很高，被忽然干掉对效率影响蛮大。 另外申请解封的概率高么？ 另外同步求其他稳定使用 claude code Max 套餐的方案。
Image from Leo Xiang (@leeoxiang)
93
4
93
68,246
确实非常轻量的 TTS 实现，尝试用 2000 个小时数据复现了一下 Audio8的从头训练，在 H200上训了不到 10 个小时 SIM 指标就已经达到 0.72了。
Samuel Zeng (@SamuelZengML) profile pictureSamuel Zeng
@SamuelZengMLAug 25
Audio8 TTS Preview 0.1B — now on Hugging Face as ONNX INT8 ~100M params · 11 languages · zero-shot voice cloning Runs on CPU only (~0.4 GB RAM) — no PyTorch, no CUDA 44.1 kHz · OpenAI-compatible API · Apache 2.0 Try it 👇 huggingface.co/Audio8/audio8… #TTS #VoiceCloning #ONNX #OpenSource
Image from Samuel Zeng (@SamuelZengML)
1
1
13
3,940
Fable 5 这消耗量，要冲两个 Max 套餐才够用了。
10
1
16
13,926

No more items