【R】异常值检测

引言

受Netfix帖子的启发，我决定写一篇如何利用R语言实现该异常值检验的博文。

有好几个非常棒的软件包可以实现这个功能，本文所采用的是AnomalyDetection包。

你可以从这里下载完整的R语言代码。

正常值 vs.异常值

异常值的定义是：和大多数样本表现不一致的个体。

数据噪声：就好比当你收听一个信号不好的无线广播时，你会听到许多背景噪声。

图中红圈中的数据是噪声数据吗?抑或是某种未发现趋势的峰值呢?

一个好的算法可以检测出异常值并将其剔除掉，AnomalyDetection包种的AnomalyDetectionTs函数可以很好地实现这个功能。

异常值检测实例

本文案例采用的是维基百科的数据，我们可以利用R通过API接口下载某个特定词项每日浏览量的数据。

本文的研究数据是：英文词语fifa从2013-02-22至今每日浏览量的数据。

应用上文提到的算法，我们可以绘制出原始的时间序列图并标注出异常值的位置。算法解析

算法中的参数max_anoms=0.01表示在最终结果中标注出0.01%的异常值;而参数direction=”pos”则表示检测高于平均水平的异常值。

如下表所示，该算法不仅可以检测出异常值，还会返回对应的平均水平值。

发现异常情况

新闻核实

词语fifa浏览量的异常值与国际足联的新闻消息息息相关，第一组异常值出现在2014年世界杯期间(2014年6 – 7月)，而第二组异常值出现在国际足联丑闻事件期间(2015年5月)。

洛杉矶时报中展示了国际足联丑闻事件进展的时间表，正如我们算法所检测出的异常值，该丑闻事件有两个重要的时间点：5月27日和28日。

附录(R Code)

install.packages(“devtools”)

devtools::install_github(“petermeissner/wikipediatrend”)

devtools::install_github(“twitter/AnomalyDetection”)

install.packages(“Rcpp”)

library(wikipediatrend) ## Library containing API wikipedia access

library(AnomalyDetection)

library(ggplot2)

Download wiki webpage “fifa”

fifa_data = wp_trend(“fifa”, from=”2013-03-18”, lang = “en”)

Plotting data

ggplot(fifa_data, aes(x=date, y=count, color=count)) + geom_line()

Convert date variable

fifa_data<img alt=”date=as.POSIXct(fift_data”data-cke-saved-src=”https://chart.googleapis.com/chart?cht=tx&chl=date%20%3D%20as.POSIXct(fifa_data”>date)

Keep only desiered variables (date & page views)

fifa_data=fifa_data[,c(1,2)]

Apply anomaly detection

data_anomaly = AnomalyDetectionTs(fifa_data, max_anoms=0.01, direction=”pos”, plot=TRUE, e_value = T)

jpeg(“03_fifa_wikipedia_term_page_views_anomaly_detection.jpg”, width= 8.25, height= 5.25, units=”in”, res=500, pointsize = 4)

Plot original data + anomalies points

data_anomaly$plot

dev.off()

Calculate deviation percentage from the expected value

data_anomalyperc_diff=round(100*(data_anomalyexpected_value-data_anomalyanoms)/data_anomalyexpected_value)

Plot anomalies table

anomaly_table=data_anomaly$anoms

​

原文：Anomaly Detection in R

End.

转载请注明来自36大数据（36dsj.com)：36大数据 » 【R】异常值检测