データブリックス ジャパン 🇯🇵 の公式アカウント データ活用の最新ニュースを発信中🚀 『DATA+AIの民主化』を実現します！ 🧱#JEDAI→https://teapaw.org/t.co/fvOID1nocu 📕Blog→https://teapaw.org/t.co/HwENydHKzl 🎥Youtube→https://teapaw.org/t.co/wLcg2qB7ny
Joined December 2019
- Tweets3.3K
- Following25
- Followers3K
- Likes9.8K
📊 データを移行せずに、投資判断のインサイトを引き出しませんか？
Databricks Lakehouse Federation で実現する分析をご紹介します！
▶︎databricks.com/jp/blog/unloc…
🔗 外部データを、その場で分析できます
SQL Server、PostgreSQL、Snowflake などに接続し、Databricks から標準 SQL で直接クエリできます。分析用のコピーや同期、複雑な ETL パイプラインの構築を減らせます。
💼 社内の保有データ × 外部の財務データを組み合わせます
記事では、オンプレミス SQL Server のポートフォリオ保有データと、Databricks Marketplace の FactSet 財務データを活用しています。Unity Catalog 上で管理し、1 本の SQL で結合できます。
💬 ダッシュボードでも、自然言語でも確認できます
同じクエリをダッシュボードと Genie に活用します。ビューなどの永続化オブジェクトを作らず、SQL を書けない担当者も保有資産合計や予想収益、高リスク比率を把握できます。
🏥 投資以外にも応用できます
医療の患者記録、製造の IoT、小売の POS へ。「データを動かさずに分析する」可能性が広がります。
#Databricks #LakehouseFederation
Databricks Japan🧱 retweeted
データコピーが無くてもデータを見える！
Databricks Lakehouse Federationを活用すると、オンプレミスの機密データなどをクラウドへ移行・複製せずに直接クエリを実行可能です
また、Databricks Marketplaceから取得するFactSet等の外部金融データと連携する場合も、複雑なETLパイプラインを構築する必要はありません！
これらのファーストパーティとサードパーティのデータはUnity Catalog上でシームレスに統合され、単一のSQLを用いて簡単にJOINも可能です
中間データを一切保持せず最新のインサイトを抽出でき、高度な投資ダッシュボードの構築やGenieを用いた自然言語によるデータ検索まで、セキュリティとコンプライアンスを完全に維持したまま迅速に実現可能です！
databricks.com/blog/unlockin…
Databricks Japan🧱 retweeted
BigQueryからオープンなLakehouseへの戦略的な移行フレームワークについての解説記事でした
移行は単なるデータ複製ではなく、BI、ETL、AIを単一のガバナンス下で統合、運用を簡素化する戦略的進化となっています。
移行の成功の鍵は「プロセス」「技術」「人」の3つにあります
プロセスでは、事前の評価に基づき段階的に移行を進め、用途に応じてBIからかETLからか等を選択
技術面では、データをオープンフォーマットへ移し、LakeBridgeなどのツールを用いてロジックを変換し厳格な検証を実行
組織面ではサイロ化を解消し、AI支援によりデータチームを強化することで、将来のAI活用を見据えた強固な基盤が構築することができます！
databricks.com/blog/bigquery…
Databricks Japan🧱 retweeted
DatabricksのDSAってご存知ですか！？
DSAはDelivery Solutions Architectというロールです！DSAはポストセールスになりますが、単なる開発者やPMではなく、お客様がDatabricks導入後に本番運用し、事業成果を出すまでを技術面からリードするロールとなっています！
そのDSAの現役メンバー4名へのインタビューを通じて紹介！
メンバーは技術力に加えて課題の本質を見極める力や、関係者を巻き込む推進力が求められ、最新技術への学習意欲と、顧客の課題を自分事として捉え、最後まで成果にこだわり抜く熱量を持つ人材を歓迎しております！
DatabricksはSA、FDEだけじゃないよ！色んなロールがあるので是非ご興味あったらお声がけください！
qiita.com/DatabricksJapanTA/… #Qiita
Databricks Japan🧱 retweeted
記事を書いた。
セマンティックレイヤーを作り、ダッシュボードと AI から参照する構成にした。
zenn.dev/kkk555/articles/dat…
Databricks Japan🧱 retweeted
DatabricksではDSA (Delivery Solutions Architect)という「お客様がDatabricksの導入を決めた後、実際に本番運用され、事業成果が出るまでを技術面からリードする役割」を担うポジションがあります。
現役社員4名が実際にどのように仕事に取り組んでいるか、インタビュー形式で記事を執筆しました。Databricksのテックロールにご興味のある方ぜひご覧ください！
qiita.com/DatabricksJapanTA/…
AIエージェントに、自社の「当たり前」は伝わっていますか？
「同じ指標を聞いたのに、人とAIで答えが違う」
その背景には、業務の定義や前提が共有されていないという課題があります。参照するデータや計算ルールが違えば、もっともらしい回答も、現場の実態とはズレてしまいます。
AIをPoCから本番活用へ進める鍵は、企業固有の「文脈」を整えることが必要です。
🔹メタデータ：データの構造・来歴・所有者
🔹セマンティクス：業務の指標・用語の定義
🔹オントロジー：業務の対象同士の関係
人が定めた正式な定義と、AIが抽出する業務知識をどう組み合わせるか。回答の精度・応答速度の向上と、コスト削減につなげる考え方を、製造業の具体例とともに紹介します。
自社でのAI活用を前に進めたい方は、ぜひご覧ください👇
news.mynavi.jp/techplus/arti…
#AIエージェント #データ活用 #Databricks
Databricks Japan🧱 retweeted
Load billions of rows into Lakebase Postgres without competing with live application workloads.
With LTAP, Spark handles bulk loads on separate compute, keeping the primary focused on serving queries. databricks.com/blog/load-ter…
💡 AIは「どれだけ使ったか」から「どれだけ価値を生んだか」へ。コスト管理の新たな経済学を、Databricksがお届けします。
▶︎databricks.com/jp/blog/ai-co…
📊 評価軸は消費量からROIへ
トークン消費量を追う「tokenmaxxing」ではなく、1ドルあたりのビジネス価値を高める「valuemaxxing」が重要です。チーム・プロジェクト・顧客・機能ごとに支出を紐づけ、投資効果を測ります。
⚙️ 必要な情報とモデルを、必要なときだけ
情報はツール経由でオンデマンド取得し、コンテキストの肥大化を抑えます。タスクの難易度に応じてモデルを選び、高性能モデルへの過剰な依存を減らします。
🛡️ 予算には段階的なガードレールを
チーム別予算や利用上限を設定します。予算の70％消費時点で高コストモデルの利用を絞るなど、使い切る前に対策します。
🔍 AI Gatewayで全体を可視化
すべてのAI通信を一元管理し、監視・コスト配分・予算適用を集約します。処理全体のトレーシングと実験で、無駄の削減と品質維持を検証します。
🚀 「測定できないものは管理できない」。エージェント活用が本格化する前に、管理基盤を整えましょう。
#Databricks #AI #コスト最適化
Databricks Japan🧱 retweeted
ontologyやknowledge graphが構築できるdatabricksの ontobricksではグラフ上で選んだエンティティをダッシュボードで分析できる機能があります。設定に手こずったのでブログにまとめました。
OntobricksのDashboard Mappingを使ってみる - Vポイントマーケティング｜TECH LABの Tech Blog techblog.vpoint.co.jp/entry/… #Databricks
Databricks Japan🧱 retweeted
Now available on Databricks: GPT-6.1 Terra.
On our OfficeQA Pro v2 benchmark, it shows a large quality improvement and sits on the quality-cost pareto frontier.
Use it, or any of 70+ other models, on the data already in your Lakehouse to build governed AI apps and agents.
Unity Gateway governs, monitors, and secures every call from a single control plane.
Try GPT-6.1 Terra ↓
docs.databricks.com/aws/en/r…
🤖 AIエージェントが作るデータパイプライン、「動けばOK」で終わっていませんか？
Spark宣言型パイプライン（SDP）が本番運用に向く理由を、528本のベンチマークからご紹介します。
▶︎databricks.com/jp/blog/built…
📊 完了率はほぼ同等、違いは「失敗の見つけ方」です
手続き型PySparkは255/264件、宣言型SDPは258/264件が完了しました。注目すべきは、エラー検知のタイミングと保守性です。
🛡️ 実行前に構造的エラーを検知します
SDPは「何を作るか」を記述し、Sparkがカラム参照やテーブル依存関係を検証します。264件中55件を実行前に停止し、検証時のクラスター時間は手続き型の約34分の1でした。
📝 コードが短く、レビューしやすくなります
コード行数の中央値は131行から64行へ約51％削減しました。将来スケールしにくい、メモリ上での1行ずつの処理も19件から0件になりました。
🔍 テストは引き続き必要です
正常終了しても答えが誤る「サイレントバグ」は残ります。LLM費用は増えるものの、実行時の無駄を抑えたい本番規模でこそ、宣言型が有力な選択肢です。
#Databricks #ApacheSpark #AIエージェント
Databricks Japan🧱 retweeted
Icebergだからオープン！？
違います！
真にオープンになるためのカタログについての解説とDatabricksがUnity Catalogでそれに対してどのような取り組みをしているのかのBlogとなります！
🔓「オープンフォーマット対応」だけで、本当にオープンと言えますか？
真にオープンなカタログを見極める3つの条件と、Unity Catalogの取り組みをご紹介します。
▶︎databricks.com/jp/blog/what-…
✅ データは「お客様のもの」
・テーブルはプロバイダー所有ではなく、お客様自身のクラウドストレージに置くことが重要です。Unity Catalogでは、マネージドテーブルの99％がお客様所有のストレージ上にあります。
⚙️ 自分のストレージでも機能はフル活用
・「マネージド」は所有ではなく、保守を担うという意味です。自動最適化や不要ファイルの削除、削除したテーブルの最大30日間の復元などを利用できます。
・Zeptoでは、年間100万ドル以上のストレージコスト削減を実現しています。
🔄 コピーせずにカタログを移行
・DatabricksはApache Iceberg RESTカタログ仕様にUNREGISTERを寄贈しました。REGISTERとの組み合わせで、データをコピー・移動せずにテーブルの登録先を変更できます。
・現在はプライベートプレビューです。ご希望の方は担当アカウントチームへご相談ください。
#Databricks #UnityCatalog #レイクハウス
Databricks Japan🧱 retweeted
IDOM、「Gulliver AX宣言」を発表 AgentforceとDatabricksを全面採用 enterprisezine.jp/news/detai…
Databricks Japan🧱 retweeted
MIXIさんの事例がでております！
全社のデータ・AI基盤として「Databricks Data+AI プラットフォーム」を採用！
主な目的は、意思決定から価値提供までのリードタイムの短縮と、人とAIエージェントが連携して事業価値を生み出す環境の構築のためです！
これまでは、データの部署間分散や、専門部門への抽出依頼による待ち時間の発生、AI活用のためのガバナンス強化などが課題となっており、Databricks導入により、データの統合と安全な権限管理を実現します！
全従業員が自然言語で自律的にデータ分析を行えるようになり、統制されたAIエージェントの運用と併せることで、意思決定の迅速化とデータドリブンなAI経営を推進していくとのことです！
databricks.com/jp/company/ne…
🔓「オープンフォーマット対応」だけで、本当にオープンと言えますか？
真にオープンなカタログを見極める3つの条件と、Unity Catalogの取り組みをご紹介します。
▶︎databricks.com/jp/blog/what-…
✅ データは「お客様のもの」
・テーブルはプロバイダー所有ではなく、お客様自身のクラウドストレージに置くことが重要です。Unity Catalogでは、マネージドテーブルの99％がお客様所有のストレージ上にあります。
⚙️ 自分のストレージでも機能はフル活用
・「マネージド」は所有ではなく、保守を担うという意味です。自動最適化や不要ファイルの削除、削除したテーブルの最大30日間の復元などを利用できます。
・Zeptoでは、年間100万ドル以上のストレージコスト削減を実現しています。
🔄 コピーせずにカタログを移行
・DatabricksはApache Iceberg RESTカタログ仕様にUNREGISTERを寄贈しました。REGISTERとの組み合わせで、データをコピー・移動せずにテーブルの登録先を変更できます。
・現在はプライベートプレビューです。ご希望の方は担当アカウントチームへご相談ください。
#Databricks #UnityCatalog #レイクハウス
Databricks Japan🧱 retweeted
AI is getting more autonomous, and governance has to keep up. Teams need control over what AI can access and do, a handle on rising AI costs and the freedom to choose the best models, agents and tools.
The Big Book of AI Governance shows how leading organizations manage all three at enterprise scale without slowing innovation.
Download the eBook →
databricks.com/resources/ebo…
🧠 AIエージェントが「覚えて、学び、次はもっと賢く動く」。
Databricksが発表した本番環境向け永続メモリ設計「MemCurrent」をご紹介します！
▶︎databricks.com/jp/blog/memcu…
📚 記憶は「履歴」と「学び」の2層です
会話履歴を残す「エピソードメモリ」と、知識や手順を構造化して蓄える「派生メモリ」を組み合わせます。学びを活用しながら、必要な詳細も振り返れます。
🔄 記憶の使い方は3通りです
自動で読み書きするプラグイン、エージェントが呼び出すツール、裏側で記憶を整理・統合する「ドリーミング」を使い分けます。Agent Bricks MemoryやGenieの基盤として稼働しています。
📊 精度と効率を両立します
公開ベンチマークでは、入力トークン数を約1/12に抑えながらフルコンテキストと同等の精度を達成しました。社内評価では、メモリなし比でパス率が22.3%→68.4%に向上し、高速化・低コスト化も実現しました。
⚡ 経験を次の行動に生かします
約6分・11回のツール呼び出しを要した調査手順を記憶し、類似タスクを41秒・2回で完了した事例もあります。
#Databricks #AIエージェント
Databricks Japan🧱 retweeted
AI Runtime is now generally available, bringing serverless, on-demand GPUs directly into Databricks to power the next generation of AI development.
As AI teams scale model training and agent-driven experimentation, they need GPU infrastructure that can keep pace. AI Runtime delivers seconds-level launch latency, reliable multinode training, and Unity Catalog governance on every workload.
Hundreds of customers, including Robinhood, PicPay, Flo Health and FactSet already use it to ship deep learning models to production.
Accelerate AI innovation, from experimentation to production → databricks.com/blog/ai-runti…
Databricks Japan🧱 retweeted
書いた。
Databricks でデータ分析基盤を作成してみた。
dbt も使えるし、開発体験が非常に良かった。
無料なのに、かなり便利なので他のデータも全て Databricks に集約していこうかと考えている。
zenn.dev/kkk555/articles/dat…
