数据预警监控怎么实现?一文搞懂-九数云BI

标签: 数据预警监控 | 发布时间: 2024-12-31 16:56:50

我们在做数据分析的时候,有一个重要的环节,就是发现目前运行数据的异常,然后基于异常寻找原因、提出意见和建议。数据预警监控怎么实现?下面为大家进行介绍。

我们在做数据分析的时候,有一个重要的环节,就是发现目前运行数据的异常,然后基于异常寻找原因、提出意见和建议。数据预警监控怎么实现?下面为大家进行介绍。

1.时序异常数据识别

时间序列相关的异常判定,应该是我们最常见的异常识别情景。尤其是在数据产品中,我们关注的大部分内容都是和时间序列有关系。

(1)基于固定数值

这个比较好理解,就是直接按照固定的数值进行异常判定。逻辑简单、容易实现与理解。

数据预警监控怎么实现?一文搞懂-九数云BI插图

比如上图中,我们设定固定数值是[3800-5600],在这个区间范围内的数据,我们认为是正常数据;低于或者高于该区间的数据,认为是异常数据。

固定数值判断异常的方法,核心在于如何取合理区间的上下限。如果有明确的业务红线,可以将业务红线设为上下限;如果没有业务限制,可以使用分位数进行取值,比如历史5%-95%分位认为是正常的。

对于一个发展比较稳定业务而言,设定固定的绝对数值是没啥问题的。但是对于一个快速发展期的业务,很明显,固定数值并不适用。

随着时间的变化,合理的区间也相应发生了变化。这种情况不适合用固定数值进行异常判定,而是需要相对值。

(2)基于相对数值

上面讲到了固定数值数据预警监控方法的缺点。因此,我们考虑相对数值的方法。提到相对值,主要就是同比和环比(关于同比和环比可参考历史文章)。

由于同比通常的定义指的是与去年同期比较,因此针对单天,我们往往是与上周进行对比。如此,上周的数值就是基准值,再增加一个波动区间范围即可。比如上周二的新增用户数200,波动范围设定[-10%,10%],那么本周二如果新增用户数在180-220则认为是正常的;超出该范围则判定异常。

该方法也有明显的缺点。如果上周二就是一个异常值(假设数值异常低),而本周二数据是恢复正常了。那么根据相对值得判定逻辑,很容易把本周二判定为「异常高」。这是点对点对比的缺点。

(3)基于统计分布

如何能避免单个异常点对后续判断的影响呢?这里就可以基于统计分布进行规则建立。

这里我们可以采取 均值±标准差×3 的方式。这里的均值可以采取当天之前一段时间的均值,比如90天、30天;标准差也选取相应时间段的标准差;倍数可以基于情况设置。

由于均值是一段时间内的均值,不是某一个具体点。因此通过这种方式,能消除异常数据对于后续的异常判定。

(4)基于时序模型

最后,数据预警监控还可以基于时间序列模型进行异常判定。

在统计模型中,有一类模型是专门针对时间序列进行建模的,用以预测未来一段时间的数据走势。我们可以建立相应的ARMA模型等,基于实际值和预测值的差异,判定是否异常。

2.数据预警监控工具推荐

数据预警监控怎么实现?一文搞懂-九数云BI插图1

九数云是一款无需代码、易于操作的在线数据分析和可视化工具,九数云BI在数据预警监控方面提供了强大的功能,九数云BI支持实时数据刷新和预警系统。例如,它可以实时更新生产线进度、销售业绩等,并通过颜色变化或弹出警告提醒相关人员采取行动。九数云BI允许不同部门根据关注点不同,灵活配置数据展示内容。它作为一个高度自助的数据分析工具,能够快速计算复杂数据指标,并按照用户需求搭建数据大屏。九数云BI支持与多种ERP系统进行数据对接,并提供了ERP库存预警的实现方法及其带来的优势,帮助企业有效地监控库存水平,减少库存呆滞和过期情况,提高运营效率。

九数云BI设置了自动化功能,允许用户设置安全警戒线或定时预警。当数据异常时,系统可以自动通过短信、钉钉、企业微信等方式向相关责任人发送提醒。

数据预警监控怎么实现?一文搞懂-九数云BI插图2



上一篇:
下一篇:
相关内容