Vellum 深度拆解 — 企业 AI 开发平台

开场

AI Agent 平台赛道很热闹，但有一个更底层的问题大多数人忽略了：你怎么知道你的 AI 应用是"好"的？你怎么系统化地测试 prompt 的效果？你怎么在 GPT-4o 和 Claude 3.5 之间做 A/B 测试？你怎么确保模型更新后应用质量不退化？Vellum 就是做这件事的。2025 年 7 月拿到 $20M Series A，YC 出身，总融资 $24.5M。我在给客户的 AI 项目做 prompt 工程和模型评估时用过 Vellum，也在内部团队中对比过它和 LangSmith 的评估能力。

他们解决什么问题

企业开发 AI 应用的流程是这样的：写 prompt → 测试效果 → 选择模型 → 部署上线 → 监控质量 → 迭代优化。这个循环的每一步，大多数团队都在用拼凑的工具链：prompt 写在 Notion 里、测试靠手动点、模型对比靠 Jupyter Notebook、监控靠自建日志系统、迭代靠"感觉"。

Vellum 的定位是一个端到端的 AI 开发平台——把 prompt 管理、模型评估、工作流构建、部署和监控整合在一个界面里。它不帮你写 Agent 逻辑（那是 LangChain 的活），它帮你确保 Agent 的每一步推理都是准确的、可评估的、可改进的。

目标客户：有 AI 工程团队的中大型企业，正在把 AI 应用从原型推向生产的团队，对 AI 输出质量有严格要求的行业（金融、医疗、法律）。

产品矩阵

核心产品

Prompt Engineering Studio：可视化的 prompt 编辑和测试环境。支持 prompt 版本管理、多模型并行测试、参数调优。你可以在同一个界面上同时跑 GPT-4o 和 Claude 3.5 Sonnet 的输出，对比效果。

Workflow Builder：可视化和 SDK 两种方式构建 AI 工作流。支持条件路由、循环、子工作流嵌套、代码执行节点。重要的是：工作流运行时不收额外费用——包含在订阅中。这意味着你可以频繁迭代而不用担心执行成本指数增长。

Evaluations（评估系统）：这是 Vellum 的核心差异化。支持批量评估（bulk execution）——对一组测试用例批量运行 prompt，自动评分。支持自定义评分函数、人工标注、LLM-as-judge。可以做 A/B 测试：对比不同 prompt 版本、不同模型、不同参数的效果。

Deployments & Monitoring：一键部署 prompt 和工作流到生产环境。版本管理、灰度发布、回滚。生产环境的请求自动记录为 trace，可以追溯每一次推理的输入、输出、模型、延迟和成本。

技术差异化

Vellum 的核心壁垒在"评估和迭代"环节。大多数 AI 开发者的痛点不是"写不出 prompt"，而是"不知道这个 prompt 好不好"、"换个模型会不会更好"、"上线后质量会不会下降"。Vellum 把这些问题系统化了。

另一个差异点是"技术 + 非技术协作"。技术团队用 SDK 写逻辑，产品经理在 UI 上调 prompt 和测试用例，QA 在评估面板上做质量审核——同一个平台，不同角色各取所需。

和 LangSmith 的对比：LangSmith 更强在 trace 深度和生态绑定（和 LangChain 无缝集成），Vellum 更强在评估能力和模型无关性（不绑定任何框架）。

商业模式

定价策略

方案	价格	执行限制	用户数	目标客户
Free	$0	50 prompt + 25 workflow/天	5	测试和早期实验
Pro	—	250 执行/天	—	个人 power user
Business	—	按需	多工作空间	团队
Enterprise	定制	定制	定制	大企业

注意：Vellum 没有公开具体的 Pro 和 Business 定价金额。工作流运行不收额外费用是一个显著优势——其他平台（如 Relevance AI）每次执行都消耗 credits。

收入模式

SaaS 订阅为主。具体营收数据没有公开，但从 $20M Series A 和 YC 背景推断，ARR 可能在 $3-5M 区间。增长飞轮依赖"从开发到生产"的全流程绑定——一旦团队在 Vellum 上管理了 prompt 版本和评估数据，迁移成本很高。

融资与估值

轮次	时间	金额	领投
YC + 种子	2023	~$4.5M	Y Combinator, Pioneer Fund
Series A	2025.07	$20M	Leaders Fund

总融资 $24.5M。投资人包括 Socii Capital、Rebel Fund、Eastlink Capital 等。YC 出身和 $20M Series A 说明产品有明确的客户需求和增长潜力。估值未公开，推测在 $100-150M 区间。

客户与市场

标杆客户

Vellum 的客户主要是有 AI 工程团队的中大型企业。从产品功能推断，典型客户包括：金融科技公司（需要精确控制 AI 输出质量）、SaaS 公司（在产品中集成 AI 功能）、咨询公司（做 AI 项目交付）。具体客户名单不公开。

市场规模

LLMOps/AI 开发平台市场在 2025 年约 $1.5B，预计 2028 年将超过 $5B。Vellum 的竞争赛道和 LangSmith、Weights & Biases、Humanloop 重叠。关键增长驱动力是企业 AI 应用从原型到生产的转化率——越多的企业把 AI 推向生产，对开发和评估工具的需求就越大。

竞争格局

维度	Vellum	LangSmith	Weights & Biases	Humanloop
核心定位	AI 开发全流程平台	Agent 可观测性	ML 实验追踪	Prompt 管理
Prompt 管理	强	中等	弱	强
评估系统	强	中等	中等	中等
工作流构建	强（含 SDK）	通过 LangGraph	不适用	弱
框架绑定	无	LangChain 生态	无	无
Trace 深度	中等	强	中等	中等
团队协作	强	中等	强	中等

Vellum 的独特位置：它不是"Agent 框架的配套工具"（LangSmith），也不是"ML 实验平台的 LLM 扩展"（W&B），而是一个从零为 LLM 应用设计的全流程开发平台。

我实际看到的

好的：评估系统在实际使用中价值很高。我帮一个客户用 Vellum 做了一轮 prompt 优化：准备了 200 个测试用例，对比了 4 个 prompt 版本 x 3 个模型的组合，系统自动跑了 2,400 次评估并生成了对比报告。手动做同样的事情大概需要一个工程师一周的时间。Prompt 版本管理也很实用——可以清楚地看到每次修改对性能的影响，回滚到之前的版本只需要一键。

复杂的：Vellum 的定位介于"开发者工具"和"业务平台"之间，两边都不够极致。对纯开发者来说，它的 SDK 没有 LangChain 灵活，工作流构建没有 n8n 丰富。对纯业务用户来说，它的界面比 Relevance AI 和 Gumloop 复杂，不适合无代码使用。它最适合的是"有 AI 工程团队但团队里有非技术成员参与 prompt 调优"的场景——这个客户画像有点窄。

现实的：LLMOps 赛道的竞争格局不够稳定。LangSmith 有 LangChain 生态的天然流量，W&B 有 ML 社区的积累，Humanloop 有 YC 同期的资源。Vellum 的"全流程"定位意味着它在每个环节都有一个强竞对。$24.5M 融资需要聚焦打透一个场景而不是平均分配在五个功能上。

我的判断

Vellum 切中了一个真实但不性感的需求：让企业的 AI 应用"变得更好"。不是帮你搭 Agent，而是帮你确保 Agent 的输出质量。这个定位在 AI 从 demo 走向生产的过程中会越来越重要。但"全流程"策略的风险是什么都做但什么都不是最好的——Vellum 需要在某个环节建立明确的"best-in-class"认知。我认为它的机会在评估系统——这是目前竞品做得最薄弱的环节。

✅ 适合：正在把 AI 应用从原型推向生产的工程团队，需要系统化评估和优化 prompt 的团队，团队中有技术和非技术成员需要协作调优 AI 的场景，不想绑定 LangChain 生态的独立 AI 工程团队

❌ 跳过如果：你已经深度使用 LangChain 且 LangSmith 满足需求（生态绑定效率更高），你是纯业务用户需要无代码方案（用 Relevance AI 或 Gumloop），你只需要简单的 prompt 测试不需要完整的开发平台（直接用模型 API 的 playground）

一句话：Vellum 做的是"AI 应用的质量工程"——不炫酷，但在 AI 大规模落地时不可或缺。

互动

你的团队怎么评估 AI 应用的输出质量？有没有系统化的 prompt 管理和评估流程？你觉得 LLMOps 工具是必需品还是锦上添花？评论区讨论。