深層学習を最適化するライブラリ DeepSpeed の情報を日本語で発信する公式アカウントです。 大規模な分散学習や推論を高速かつ簡単に実施できます。 このアカウントでは、DeepSpeedの新機能や論文などの最新情報を紹介していきます。英語Twitterアカウント: @DeepSpeedAI
Joined March 2023
- Tweets139
- Following43
- Followers1.3K
- Likes132
DeepSpeedの新機能 "DeepCompile" をリリースしました！
✅プロファイルに基づく並列処理の自動最適化
✅ ZeROやオフロードをコンパイラの最適化パスとして実現
✅ ZeRO1 / ZeRO3 / オフロードの 1.2〜7倍の高速化を達成
詳細は下記をご覧ください
ブログ(英語): tinyurl.com/8cys28xk
Introducing 🚀DeepCompile🚀: compiler-based distributed training optimizations.
- Automatic parallelization & profile-guided optimizations
- Enable ZeRO1, ZeRO3, Offloading, etc. via compiler passes
- 1.2X-7X speedups over manual ZeRO1/ZeRO3/Offloading
tinyurl.com/8cys28xk
当日の録画はこちら: youtube.com/watch?v=49tjdYpU…
先日のDeepSpeed Meetupに関する記事が、マイクロソフトの公式サイトに掲載されました！
news.microsoft.com/ja-jp/202…
先日のMeetupの録画をアップロードしました！
youtube.com/watch?v=49tjdYpU…
遠方でお越しいただけなかった方、満席でご参加いただけなかった方は、ぜひご覧ください。
来週23日開催予定のDeepSpeed Meetupで、パネルディスカッションの開催が決まりました！
大変豪華な顔ぶれの方々にパネリストをご担当いただけることとなりました。お引き受けいただいたみなさま、ありがとうございます！ @iwiwi @rioyokota @ymg_aq @LWisteria
deepspeed.connpass.com/event…
#DeepSpeed-FastGen で新たに Mixtral, Phi2, Falcon, Qwen が利用可能になりました！
その他、多くのアップデートが含まれます。
- 既存ソフトウェアより2.5倍高速
- SplitFuse / トークンサンプリングの最適化
- REST APIのサポート等の多くの新機能
github.com/microsoft/DeepSpe…
#DeepSpeeed #AI
Introducing Mixtral, Phi2, Falcon, and Qwen support in #DeepSpeed-FastGen!
- Up to 2.5x faster LLM inference
- Optimized SplitFuse and token sampling
- Exciting new features like RESTful API and more!
For more details: github.com/microsoft/DeepSpe…
#DeepSpeeed #AI
LLMのテキスト生成を高速化するDeepSpeed-FastGenをリリース！🚀
- スループット2.3倍
- 平均レイテンシを半減（95パーセンタイルでは1/4）
Dynamic SplitFuseと呼ぶ新技術の他、自動テンソル並列、理想的なスケーラビリティのロードバランサ、簡単なAPIを提供しています。
github.com/microsoft/DeepSpe…
🚀マルチモーダルなチャットを実現する#DeepSpeed-VisualChatを公開！🖼📜
- 複数ラウンド・複数画像の入力
- マルチモーダル用causal attention
- データブレンディングで訓練データを増強
- 高スケーラビリティ(70Bパラメータ超)
ブログ: github.com/microsoft/DeepSpe…
論文: arxiv.org/abs/2309.14327
ハイライト2:
アルゴンヌ国立研究所によるGenSLMs COVIDモデルのような大規模な科学用モデルを、非常に長い系列で訓練できます！
- スループットを2倍に高速化🚀
- Megatron-LMのような既存技術と比較して13倍長い系列を処理可能
deepspeed.ai/deepspeed4scien…
ハイライト1:
Evoformerで構成される生物学用モデルをスケールアップさせる際に、極めて大きなメモリが必要となる問題を解決しました🧬
訓練と推論の両方に使用でき、メモリ使用量を1/13にまで減少させた、Evoformerのアテンションのカーネルをリリースしました🚀
deepspeed.ai/deepspeed4scien…
DeepSpeed4Scienceイニシアティブが新たに発足しました！🚀
創薬から再生可能エネルギーに至る社会的に重要な科学的課題において、様々なドメインの専門家がAIを用いて取り組むために有用な技術を提供していきます。
ブログ: github.com/microsoft/DeepSpe…
Webサイト: deepspeed4science.ai
DeepSpeed4Science aims to build unique capabilities via AI system technology innovations to help domain experts unlock today’s biggest science mysteries. Success could mean significant advancements across sectors from drug development to renewable energy: bit.ly/48iTGem