bilibiliのDeepSeek娘の歌声合成モデル(DeepSeekの読み上げ音声を学習させてる)、違法すぎるという問題はあるのだけど完成度高くて驚いてた。教師データどうしたんだと思ったが、DeepSeekには読み上げ音声を歌わせるというハックがあるらしい(ChatGPTやGeminiだとできなかった)。
新しい歌声合成ソフトを公開しました! インストール、GPU不要で、あなたのCPUとブラウザで軽快に動作するフル機能のSVSです(Chrome推奨)。ページにアクセスしてすぐ使えるので、ぜひ触ってみてください。
wavtechyukky.github.io/vocat…
歌声合成用の音響モデルLeapSingerを更新しました! GANの廃止、reverse step前の擬似melの最適化、reflowの導入などにより、RTFはそのままに、より話者再現度の高いmelが生成されます。
github.com/wavtechyukky/Leap…
歌声合成用の音響モデルを公開しました!
・高精細なmelを生成できながら、1コアのCPUでRTF0.03を切ります。
・歌声合成への適性を考慮し、入力したF0に完全に忠実で、周期的成分を鮮明に描画します。
Releaseに学習済みのモデルを公開しています。DBの製作者様方に感謝…!
github.com/wavtechyukky/Leap…
Replying to @Yh_evil
頂いたデータでF0モデルと音響モデルを学習させました。韓国語の発音は全く分からないのですがどうでしょう? 問題点について忌憚なく指摘していただけると助かります…! なお、楽譜には擬似的な英語が含まれます。
韓国語の多話者音響モデル作ってるが、男性の方はそこそこ良さそうなのに女性の方の発音が悪い…。5人に増やして回してみてるけど追加データの音質が良くないから改善の望み薄かもしれない。いい韓国語モデルを作ってみたいのだが…。




