Arize 追踪与跨度排查
下载、导出和检查已有 Arize 追踪与跨度,以理解大语言模型应用的行为或调试运行问题。使用 ax CLI,涵盖按 ID 导出追踪、按 ID 导出跨度、按 ID 导出会话,以及根因调查。适用于用户想查看已有追踪数据、了解模型应用在做什么、导出追踪、下载跨度、调查错误或分析行为退化的情况。
先选你要完成的事,也可以按职业筛选。技术、工具与产品名称保留在标签中。
下载、导出和检查已有 Arize 追踪与跨度,以理解大语言模型应用的行为或调试运行问题。使用 ax CLI,涵盖按 ID 导出追踪、按 ID 导出跨度、按 ID 导出会话,以及根因调查。适用于用户想查看已有追踪数据、了解模型应用在做什么、导出追踪、下载跨度、调查错误或分析行为退化的情况。
使用 ax CLI 创建、运行和分析 Arize 实验,以评估和比较模型表现。涵盖实验增删改查、导出运行结果、比较结果和评估工作流。适用于用户提到创建实验、运行实验、比较模型、模型表现、评估 AI、实验结果、基准测试、模型 A/B 测试或衡量准确率的情况。
在 Arize 上创建和管理标注配置(分类、连续数值及自由文本标签模式)与标注队列(人工复核工作流)。通过 Python SDK,将人工标注应用到项目跨度。适用于用户提到标注配置、标注队列、标签模式、人工反馈、批量标注跨度、update_annotations、标签队列、标注记录或人工复核的情况。
处理 Arize 上以大语言模型为裁判的评估工作流,包括创建或更新评估器、在跨度或实验上运行评估、管理任务、触发运行、列映射和持续监控。适用于用户提到创建评估器、模型裁判、幻觉、忠实性、正确性、相关性、运行评估、为跨度评分、为实验评分、触发运行、列映射、持续监控或改进评估器提示词的情况。
创建、读取、更新和删除 Arize AI 集成;这些集成保存评估器及其他 Arize 功能使用的大语言模型提供商凭据。支持任意模型提供商,例如 OpenAI、Anthropic、Azure OpenAI、AWS Bedrock、Vertex AI、Gemini 和 NVIDIA NIM。适用于用户提到 AI 集成、模型提供商凭据、创建集成、列出集成、更新凭据
为 Arize UI 中的 trace、span、会话、数据集、标注队列、评估器和标注配置生成深层链接。输出可点击的 URL,方便与团队成员分享 Arize 资源。当用户希望链接到或打开 Arize UI 中的 trace、span、会话、数据集、评估器或标注配置时使用。
使用 ax CLI 创建、管理和查询 Arize 数据集及示例。涵盖数据集增删改查、追加示例、导出数据,以及通过文件创建数据集。适用于用户需要测试数据、评估示例,或提到创建数据集、列出数据集、导出数据集、追加示例、数据集版本、黄金数据集或测试集的情况。
使用生产追踪数据、评估结果和标注来优化、改进和调试大语言模型提示词。从跨度中提取提示词、收集性能信号,并使用 ax CLI 运行数据驱动的优化循环。适用于用户提到优化提示词、改进提示词、让 AI 回答得更好、提高输出质量、提示词工程、提示词调优或系统提示词改进的情况。