06 · PERFORMANCE & DIAGNOSTICS

把吞吐、资源和延迟放在同一条时间线上

性能页结合系统指标、llama-server metrics、slots、服务器日志与本地 SQLite 遥测，并根据生成、Embedding 或 Reranker 显示正确指标。

指标如何理解

生成输出 tokens/s、活动 slots、请求耗时与 KV / 上下文压力。

Embedding输入 tokens/s、向量项/s、任务 P50 / P95 延迟。

Reranker输入 tokens/s、文档项/s、任务 P50 / P95 延迟。

路由HTTP 请求数、失败率和请求延迟；只覆盖经过应用路由的流量。