可靠性

LLM 有一个根本矛盾：它的输出是概率性的，同一个输入每次调用都可能得到不同的回答。而生产环境的 AI Agent 对可靠性有刚性要求——同样的操作不能这次成功下次失败，同一个查询不能这次给正确答案下次胡说八道。 ...

AI Agent 测试方法论：如何让 autonomous agent 不把事情搞砸 让 AI Agent 在 demo 环境里跑起来不难。难的永远是这件事：Agent 在凌晨 3 点、你没有在看的时候，自动执行了一个你没预期到的操作——删了数据、发了邮件、批了付款。 ...