OpenLIT成本追踪功能详解：为自定义和微调模型精准预算

OpenLIT成本追踪功能详解：为自定义和微调模型精准预算

【免费下载链接】openlitOpen source platform for AI Engineering: OpenTelemetry-native LLM Observability, GPU Monitoring, Guardrails, Evaluations, Prompt Management, Vault, Playground. 🚀💻 Integrates with 50+ LLM Providers, VectorDBs, Agent Frameworks and GPUs.项目地址: https://gitcode.com/gh_mirrors/ope/openlit

在AI工程领域，成本控制是项目成功的关键因素之一。OpenLIT作为一款开源的AI工程平台，提供了强大的成本追踪功能，帮助开发者为自定义和微调模型精准预算。本文将详细介绍OpenLIT的成本追踪功能，包括模型定价管理、成本自动计算、历史数据重新计算以及多维度成本分析等核心特性。

模型定价管理：灵活应对多样化需求

OpenLIT的"管理模型"功能是成本追踪的基础，它允许用户查看、编辑和添加跨所有提供商的每个模型定价。这一独立功能被OpenLIT的多个模块所使用，包括聊天、评估、OpenGround和定价模块，用于查找模型详情和计算成本。

每个连接到OpenLIT的ClickHouse数据库都会自动获得一组预填充的14个提供商和45+个模型的默认定价。所有模型都是完全可编辑的，用户可以根据自己的需求更新定价、添加新模型或删除不使用的模型。

添加新模型非常简单，只需点击任何提供商标题旁边的**+** 按钮，然后填写模型ID（SDK发送的标识符，例如gpt-4o-2024-08-06）、显示名称和定价信息。这种灵活性使得OpenLIT能够轻松适应各种自定义和微调模型的定价需求。

成本自动计算：实时掌握支出情况

OpenLIT的成本追踪功能能够自动计算LLM使用成本，并将其作为属性gen_ai.usage.cost记录在追踪数据中。这一过程基于"管理模型"中存储的每个模型的定价信息。

在聊天界面中，用户可以将鼠标悬停在聊天输入旁边的信息图标上，查看当前提供商、模型和定价详情。这种实时反馈让用户在使用过程中就能了解成本情况，避免意外支出。

OpenLIT支持多种模型类型的成本计算，包括聊天模型、嵌入模型、图像模型和音频模型。每种模型类型都有专门的计算函数，确保成本计算的准确性。例如，聊天模型的成本计算考虑了提示 tokens 和完成 tokens 的数量，以及各自的单价：

cost = ((prompt_tokens / 1000) * model_pricing["promptPrice"]) + ((completion_tokens / 1000) * model_pricing["completionPrice"])

历史数据重新计算：确保数据准确性

当模型定价发生变化时，OpenLIT的"成本重新计算"功能允许用户使用当前模型定价重新计算现有LLM追踪的gen_ai.usage.cost属性。这对于保持历史数据的准确性和进行成本分析非常重要。

用户可以通过点击追踪详情页面上的"重新计算成本"按钮，手动触发单个追踪的成本重新计算。如果成本已经存在，点击后将使用最新的定价重新计算。

此外，OpenLIT还支持自动重新计算功能。用户可以设置一个计划，定期为所有新摄入的LLM追踪重新计算定价。这通过创建或更新定价配置来实现，OpenLIT会安装一个 cron 作业，按照用户定义的计划运行定价重新计算。

当OpenLIT服务器重启时（例如容器重新部署后），所有活动的自动定价 cron 作业都会从数据库中自动恢复，无需手动重新设置。

多维度成本分析：深入了解支出结构

OpenLIT提供了强大的成本分析功能，帮助用户从多个维度了解LLM使用成本。通过与Dash0等工具的集成，用户可以创建直观的成本仪表盘，实时监控和分析支出情况。

上图展示了一个典型的OpenLIT成本指标仪表盘，其中包含了gen_ai.usage.cost等关键指标。用户可以通过这个仪表盘快速了解总体支出情况，并识别潜在的成本优化机会。

除了总体成本视图，OpenLIT还提供了细粒度的追踪详情页面。在这个页面中，用户可以查看单个LLM请求的详细成本信息，包括使用的模型、tokens数量和计算出的成本。

这个详细视图不仅有助于用户了解特定请求的成本构成，还可以用于调试和优化LLM应用程序，从而进一步降低成本。

自定义定价集成：灵活适应各种场景

OpenLIT允许用户通过多种方式集成自定义定价信息，以适应不同的使用场景。用户可以导出定价JSON文件，然后将其导入到OpenLIT SDK中，或者直接使用公共定价URL。

GET /api/openground/models/export端点返回所有模型的SDK兼容pricing.json格式，按模型类型分组。这对于当默认定价数据不包含用户的模型时，将自定义定价输入到OpenLIT Python或TypeScript SDK中非常有用。

每个数据库配置都有一个公共的、无需身份验证的定价URL，用户可以直接传递给OpenLIT SDK。这使得SDK可以从用户在UI中管理的相同模型加载定价，无需手动维护JSON文件。

例如，在Python SDK中，可以这样配置：

pricing_json="http://your-openlit-host/api/pricing/export/<your-db-config-id>",

SDK会在启动时获取这个URL。如果用户在"管理模型"中更新了模型的价格，只需重启应用（或等待SDK的刷新间隔）即可获取新的定价。

总结

OpenLIT的成本追踪功能为AI开发者提供了全面的成本管理解决方案。通过灵活的模型定价管理、实时成本计算、历史数据重新计算和多维度成本分析，用户可以精准控制LLM应用的成本，避免意外支出。无论是使用预定义模型还是自定义和微调模型，OpenLIT都能提供准确的成本追踪和分析，帮助用户优化资源分配，提高AI项目的投资回报率。

通过将成本追踪功能与OpenLIT的其他特性（如GPU监控、护栏、评估和提示管理）相结合，开发者可以构建更高效、更经济的AI应用，推动AI工程的可持续发展。

要开始使用OpenLIT的成本追踪功能，只需克隆仓库并按照官方文档进行设置：

git clone https://gitcode.com/gh_mirrors/ope/openlit

详细的配置指南可以在docs/latest/openlit/pricing/manage-models.mdx中找到。

【免费下载链接】openlitOpen source platform for AI Engineering: OpenTelemetry-native LLM Observability, GPU Monitoring, Guardrails, Evaluations, Prompt Management, Vault, Playground. 🚀💻 Integrates with 50+ LLM Providers, VectorDBs, Agent Frameworks and GPUs.项目地址: https://gitcode.com/gh_mirrors/ope/openlit