我们团队负责公司内部的 AI 应用平台。平台跑起来的第一年,接得最多的是问答类场景:知识库问答、制度查询、接口文档答疑。这类场景上手快,用量数字也拿得出手,但有个共同的毛病:用户问完就走,AI 到底替谁省下了哪一件具体的事,说不清楚。所以 2024 下半年我们做了件挺笨的事,挨个找业务线和值班团队聊,问他们每天最烦、最重复、又最不敢不做的事情是什么。告警是我们发现值得做的一个点。
我们和某条业务线的同学一起盘过一次他们的告警。结论不太好看:告警多到没人能逐条看完,其中有很大部分是正常波动、重复触发或者短时抖动,值班同学长期处在告警疲劳的状态里。这不能怪谁不负责。告警量一旦超过人能处理的上限,人会自动降低对每一条的敏感度,而在这种状态下漏掉一条真实事故,往往事后才知道。