标签 · 成本

新闻

AI 功能的埋点与看板：该记录哪些字段

AI 功能埋点要能回答谁在用、用得好不好、错在哪里、花了多少钱。本文列出该记的字段（基础/调用/质量/成本）、三张必备看板与四个常见坑，并给出落地顺序。

新闻

响应慢在哪里：把首字延迟与总时长分开优化

用户感知的慢，往往拆成首字延迟与生成速度两部分。本文给出各自的成因、该测的指标与优化手段，并说明流式输出、并行前置与缓存分别改善哪一段。

新闻

批量推理怎么降本：缓存、批处理与路由的叠加顺序

降本手段有先后：先用缓存把重复请求消灭，再用批处理摊薄单价，最后才考虑换更便宜的模型。本文给出可执行的顺序与各自的适用边界，并说明哪些「省法」会伤质量。

新闻

向量索引怎么选：HNSW、IVF 与量化索引的取舍

向量检索的性能瓶颈通常在索引而不是模型。本文对比 HNSW、IVF 与量化三类索引的取舍，给出按数据规模选型的判断顺序，并说明「先过滤再检索」为何容易踩坑。