Databricks 深度拆解 — 数据 + AI 湖仓一体

Databricks 深度拆解 — 数据 + AI 湖仓一体
开场
2026 年 1 月,Databricks 宣布年化收入突破 54 亿美元,同比增长超过 65%。上一轮融资 50 亿美元(含 20 亿债务),估值 1340 亿——这让它成为全球估值最高的未上市 AI 公司之一。我在做 GenAI 平台选型的时候,几乎每个企业客户的数据栈里都绑着 Databricks。它不是一个"可能会用到"的产品,而是很多数据团队的操作系统。
这篇文章拆解 Databricks 的产品逻辑、商业模式、竞争格局,以及我在实际项目中看到的真实情况。
他们解决什么问题
企业数据基础设施长期面临一个结构性矛盾:数据湖便宜但查询慢、治理弱;数据仓库查询快但贵且封闭。两套系统之间要搬数据、做 ETL、维护一致性,数据团队 60%-70% 的时间花在管道维护上,而不是分析和建模。
Databricks 的核心主张就是"湖仓一体"(Lakehouse)——把数据湖的开放性和低成本,与数据仓库的性能和治理能力合并到一个平台上。
目标客户画像:500 人以上的企业数据团队,已经在用 Spark 或者有大量非结构化数据需要处理的组织。金融、医疗、零售、科技行业渗透率最高。
为什么现在需要解决:AI 模型训练需要大规模、高质量的数据访问。传统数据仓库不支持非结构化数据(图片、PDF、音频),传统数据湖没有治理能力(谁能访问什么数据、数据血缘怎么追踪)。企业要做 RAG、要微调模型、要建 AI Agent——这些场景都需要同时处理结构化和非结构化数据,还要有权限管控。湖仓一体从"可选升级"变成了 AI 原生企业的基础设施必选项。
产品矩阵
核心产品
Delta Lake:开源存储层,在数据湖之上提供 ACID 事务、版本控制和 schema 演进。这是整个 Lakehouse 架构的基石,已经是 Apache 基金会项目。
Unity Catalog:统一的数据治理层,管理结构化数据、非结构化数据、ML 模型和 AI 资产的权限与血缘。Premium 和 Enterprise 版本才包含。
Mosaic AI:2023 年收购 MosaicML 后整合的 AI 平台,包含模型训练、微调、部署和 AI Gateway(统一管理多个 LLM 提供商的 API 调用)。
Lakebase:2025 年末推出的 Serverless Postgres 数据库,专为 AI Agent 场景设计,解决 Agent 需要快速读写状态数据的需求。
Genie:对话式 AI 助手,让非技术用户用自然语言查询数据。定位是数据民主化的入口。
技术差异化
Databricks 的核心壁垒在于开源生态控制力。Delta Lake 是开源的,但最优性能跑在 Databricks 平台上。Unity Catalog 是开源的,但深度集成只在 Databricks 里完整。这种"开源引流、商业变现"的模式跟 Red Hat 类似,但执行力更强。
跟 Snowflake 比,Databricks 对非结构化数据和 ML 工作负载的支持明显更好。跟 AWS Glue、Google BigQuery 比,Databricks 的优势在于跨云和供应商中立。
商业模式
定价策略
Databricks 采用 DBU(Databricks Unit)计费,按使用量收费。
| 方案 | 特点 | 适合客户 |
|---|---|---|
| Standard | 基础 Notebook、Spark、Delta Lake、Job 调度 | 小团队试用 |
| Premium | + Unity Catalog、RBAC、审计日志、表级权限 | 生产环境标配 |
| Enterprise | + 高级安全、合规、专属支持 | 大型企业、金融/医疗 |
DBU 单价因工作负载类型差异很大:AI 模型 Serving 从 $0.07/DBU 起,Serverless SQL 可以到 $0.70/DBU 以上。实际部署中,中型企业年费通常在 $50 万-$200 万之间,大型企业轻松超过 $500 万。
收入模式
核心是消费模式——用多少付多少。增长飞轮是:数据团队一旦在 Databricks 上建好 Lakehouse,迁移成本极高(数据血缘、权限、Notebook 都绑定了),新项目自然在平台上扩展。AI 收入已经单独突破 14 亿年化,说明 Mosaic AI 和模型训练场景确实在贡献增量。
融资与估值
| 轮次 | 时间 | 金额 | 估值 |
|---|---|---|---|
| Series I | 2021 | $16 亿 | $380 亿 |
| Series J | 2023 | $5 亿 | $430 亿 |
| Series L | 2025 年底 | $50 亿+(含 $20 亿债务) | $1340 亿 |
主要投资人:a16z、T. Rowe Price、Fidelity、NVIDIA。NVIDIA 的战略投资值得注意——说明 Databricks 在 GPU 计算和 AI 训练基础设施层有长期合作关系。
客户与市场
标杆客户
- Shell:在 Databricks 上建了工业 IoT 数据平台,处理油田传感器数据做预测性维护
- Comcast:用 Databricks 统一了 NBC Universal 的内容推荐数据管道
- H&M:供应链优化和需求预测的 ML 管道跑在 Databricks 上
- Block(Square):金融风控模型的训练和推理全在 Databricks 平台
超过 800 个客户年消费超 $100 万,70 多个客户年消费超 $1000 万。净留存率超过 140%——这个数字在企业软件里属于顶级水平。
市场规模
Databricks 面对的市场是"数据基础设施 + AI 平台"的交集。Gartner 估计 2026 年全球数据管理市场规模约 $1100 亿,AI 平台市场约 $650 亿。Databricks 的可服务市场(SAM)大约在 $300-500 亿之间。以 $54 亿收入计算,渗透率还不到 15%。
竞争格局
| 维度 | Databricks | Snowflake | Google BigQuery | AWS Glue + SageMaker |
|---|---|---|---|---|
| 核心定位 | 湖仓 + AI 平台 | 数据云 + SQL 分析 | Serverless 数据仓库 | 云原生组件拼装 |
| AI/ML 原生支持 | 强(Mosaic AI) | 中等(Cortex) | 中等(Vertex AI 独立) | 强(SageMaker)但割裂 |
| 开源生态 | 强(Delta Lake, Spark) | 弱(封闭) | 中等 | 中等 |
| 非结构化数据 | 强 | 弱 | 中等 | 强 |
| 跨云能力 | 支持三大云 | 支持三大云 | 仅 GCP | 仅 AWS |
| 定价透明度 | 低(DBU 复杂) | 中等(Credit 制) | 中等 | 低(组件太多) |
| 增长速度 | 65% YoY | 29% YoY | 未单独披露 | 未单独披露 |
关键观察:Databricks 和 Snowflake 正在走向融合——Databricks 补 SQL 能力,Snowflake 补 AI 能力。但 Databricks 在 AI 原生方向上领先至少 18 个月,这在当前 AI 投资周期中是显著优势。
我实际看到的
好的:数据工程师一旦用上 Databricks,基本不想回去。Notebook 体验流畅,Delta Lake 的版本控制和时间旅行功能解决了数据管道调试的痛点。Unity Catalog 终于让"数据治理"从 PPT 概念变成了可落地的工具。我给客户做 GenAI 项目选型时,如果他们已经在用 Databricks,用 Mosaic AI 做模型训练和部署的成本确实比自建低很多。
复杂的:DBU 定价模型极其不透明。我见过客户因为 Serverless SQL 的突发使用量,月账单比预期高出 3 倍。对于没有专职 FinOps 团队的中型企业,成本控制是个实际问题。另外,Databricks 的学习曲线不算低——要把 Lakehouse 玩好,团队至少需要 1-2 个熟悉 Spark 的数据工程师。
现实的:Databricks 的"湖仓一体"叙事很好听,但很多企业并没有真正用到全部能力。我见过不少客户花了大钱搭 Lakehouse,实际 80% 的使用场景就是跑 SQL 查询和出报表——这些 Snowflake 做得一样好,还更便宜。AI 功能确实是差异化,但大多数非科技企业还没到 serious 的 ML 阶段。
我的判断
- ✅ 适合:数据量大(PB 级)、有 ML/AI 项目需求、数据团队 10 人以上的企业。如果你要同时做数据分析和模型训练,Databricks 目前是最整合的选择。
- ✅ 适合:已经在用 Spark 的团队——迁移到 Databricks 几乎是无缝的。
- ❌ 跳过如果:你的核心需求就是 SQL 分析和 BI 报表。Snowflake 或者 BigQuery 更简单、更便宜。
- ❌ 跳过如果:团队没有数据工程师。Databricks 不是一个"开箱即用"的 BI 工具,它需要工程投入。
一句话:Databricks 是给 serious 的数据团队用的平台——用得好是竞争武器,用不好是成本黑洞。
互动
你的团队在用 Databricks 还是 Snowflake?最影响你选择的因素是什么——AI 能力、SQL 性能、还是价格?欢迎分享你的实际体验。