预算不是越大越好。我们用 500 道题测了 6 档预算,找到了准确率和成本之间的拐点。
直接塞进上下文、切块检索、先摘要再问、开缓存、换长上下文便宜的模型。我们把五种做法都跑了一遍。
大部分代码不用动,但有四个地方容易出问题:模型名、超时、流式中断和用量字段。
什么错误该重试、重试几次、什么时候换模型。附一份可以直接复制的封装。
缓存只认前缀。调整消息顺序、固定工具定义的排列、把时间戳移到最后,就能大幅提高命中率。
我们把 40 个常见的运镜和景别词各生成 5 次,统计模型执行正确的比例。