higurashi retweeted
love seeing brilliant teams open-source their research
We’ve open-sourced our 4B full-duplex speech model under Apache 2.0 !!
Our model was trained on 40M hours and uses continuous tokens.
Full-duplex AI for "Human like AI" is still largely unexplored.
Let’s push the boundaries together!
Check out our demos! 🚀
Website: higurashi.ai/haru4b/
Code: github.com/higurashi-ai/Haru
Model: huggingface.co/higurashi-ai/…
Technical blog: blog.higurashi.ai/melte/haru…
We’ve open-sourced our 4B full-duplex speech model under Apache 2.0 !!
Our model was trained on 40M hours and uses continuous tokens.
Full-duplex AI for "Human like AI" is still largely unexplored.
Let’s push the boundaries together!
Check out our demos! 🚀
Website: higurashi.ai/haru4b/
Code: github.com/higurashi-ai/Haru
Model: huggingface.co/higurashi-ai/…
Technical blog: blog.higurashi.ai/melte/haru…
Full-duplex modelの研究は未だに発展段階です。
この技術をより多くの人とともに発展させるため、私たちはこのpre trained full-duplexモデルをオープンソースとして重み・推論コードを公開します。
この領域を皆様と共に切り拓いて行ければと思います。
github.com/higurashi-ai/Haru
huggingface.co/higurashi-ai/…
弊社の4Bモデルを含め、現在公開されている多くのFull-duplexモデルと、私たちが思い描く「人間らしいAI」との間には、今だ大きな隔たりがあると考えています。
higurashiは、Full-duplexモデルを言語モデルと同じように大規模モデルへスケーリングさせ高い知性を宿すことで、「人間らしいAI」を完成させることを目指しています。この挑戦をともに進める研究者・エンジニアを募集しています。
4Bモデルの公開に合わせてMeetupを11/26 (木)に本郷三丁目周辺で開催予定です。私たちの取り組みに関心のある方は、ぜひご参加ください。
・app.notion.com/p/Careers-32f…
・connpass.com/event/412879/
Full-duplex 2話者データの音声分離・復元モデル「DialogueSidon」の高速版「FastDialogueSidon」を公開しました！
1ステップ推論＋軽量デコーダで、DialogueSidon公式実装比で約100倍の高速化と同等の性能を実現しています（H100上で計測）
GitHub：github.com/higurashi-ai/Fast…
Huggingface：huggingface.co/higurashi-ai/…
Real-world noise makes speech tokens unstable.
We train a neural codec to recover clean speech from degraded audio through augment-and-denoise training.
Our new blog is here！！
blog.dubguild.com/melte/nois…
higurashi retweeted
面白い記事！とても参考になります。
テックブログ事後学習編公開！
概要編、前処理編、事前学習編に続き、音声言語モデルのTTSへの事後学習に関する知見をまとめています。
blog.dubguild.com/melte/post…
・SFT＋RLによってJ-HARDのCERと話者類似度を改善
・報酬設計次第では発話が不自然に長くなり、声質がほぼ女性側へ偏る
・BF16では、vLLMとTransformers間のトークン対数確率の差がFP16の約8倍に拡大
テックブログ事後学習編公開！
概要編、前処理編、事前学習編に続き、音声言語モデルのTTSへの事後学習に関する知見をまとめています。
blog.dubguild.com/melte/post…
・SFT＋RLによってJ-HARDのCERと話者類似度を改善
・報酬設計次第では発話が不自然に長くなり、声質がほぼ女性側へ偏る
・BF16では、vLLMとTransformers間のトークン対数確率の差がFP16の約8倍に拡大
テックブログ第3弾公開！
概要編、前処理編に続き、日本語音声言語基盤モデルの事前学習に関する知見をまとめています。
・ASRとのマルチタスクより、TTSのみを学習する構成の方がTTSタスクでは高性能（1B）
・テキストデータの混合はモデル規模で効果が異なり、3Bでは10%混合が最良
是非ご覧ください！
blog.dubguild.com/melte/pret…
DubGuild is looking for exceptional talent based in Japan.
You don’t need to speak Japanese — English is enough. We also support visa and permanent residency applications, housing, and other essentials for living in Japan.
If you’re interested in building the future of Speech AI with us, please apply here:
frequent-crowley-6fb.notion.…
DubGuildは、シードラウンドの資金調達を完了いたしました。
あわせて、国家プロジェクト「GENIAC」第4期に採択されました。
調達・各種支援の累計額は約21億円となります。
加えて、音声情報処理を専門とされている名古屋大学戸田智基教授にアドバイザーとして着任いただきました。
これらを弾みに、DubGuildは「Scaling Speech AI」のミッションのもと、大規模な音声言語基盤モデルの研究開発を、よりいっそう加速させてまいります。
詳細はこちらをご覧ください。
prtimes.jp/main/html/rd/p/00…
テックブログ第2弾公開！
概要編に続き、日本語音声の前処理パイプラインを公開しました。
・faster-whisper、Sidonにおけるチャンキングの工夫と高速化
・SkyPilotによるスケールアウト
・パイプライン化による高速化
大規模な前処理を行っている方、是非ご覧ください
blog.dubguild.com/melte/prep…
