技术
LLM Observability(大模型可观测性)
LLM可观测性是对大模型应用进行监控、追踪与评估的技术,解决黑盒不可控问题,确保输出质量与安全。典型应用如LangSmith、Arize,代表工作有Weights & Biases。
详细解释
LLM可观测性涵盖日志、指标、追踪与评估,监控延迟、成本、幻觉等。背景是LLM应用复杂化,需调试与优化。技术包括提示追踪、嵌入分析、自动评估。代表工作有LangSmith、Arize Phoenix、Weights & Biases,挑战在于评估标准与数据隐私。
别名与相关写法
llm observability