基于模式识别的电能表监测数据的处理

DPC密度峰值聚类

输入：用于模型训练的数据集$D = \{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\},x_i\in X\subset \mathbb{R}^n,y_i \in Y\subset\mathbb{R}$

输出：划分$C = \{C_1,C_2,dots,C_k\}$

1. 计算任意两点间的距离

2. 计算局部密度

3. 计算相对距离

4. 以$\rho$为横轴，$\delta$为纵轴画出决策图
5. 利用决策图，$\rho$和$\delta$大为簇中心点，$\rho$小但$\delta$大为噪声点
6. 把剩余点分配到最近邻且中心局部密度比它大的簇中

基于两步分配策略和共享近邻相似度的密度峰值聚类方法

输入：样本数据集$X = (x_1,x_2,\dots,x_n)$，其中$n$是样本数量，样本近邻数$k$

输出：聚类结果$\Psi = \{C_1,c_2,\dots,C_N\}$

步骤一：对数据集$X$进行预处理，其中包括标准化处理、缺失值处理等

步骤二：计算距离矩阵$D\in R^{n\times n}$

步骤三：计算每个样本点的局部密度$\rho$

此处的局部密度为基于共享近邻的局部密度衡量，共享近邻为样本点之间共同的$k$近邻相似度。对于共享近邻相似度$Sim_{i,j}$：

其中，$SNN(i,j)$表示样本点$x_i$和$x_j$之间的共享近邻集合，$|SNN(i,j)|$表示共享近邻集合中的样本点数量。$d_{ip}$和$d_{jp}$表示$x_i$和$x_j$与共享近邻集合中任意一点$p$的欧氏距离，只有当$x_i$和$x_j$都属于彼此的$k$近邻集合时才计算两点之间的共享近邻相似度。对于距离之和的倒数，可以用于衡量两个点的局部信息也就是两点周围的密度。基于两点间的共享近邻相似度的计算可以进一步获取到局部密度$\rho$，也就是样本点的局部密度为$x_i$与其相似度最高的$k$个点的相似度之和：

步骤四：计算每个样本点的相对距离$\delta$

将聚类过程中的相对距离定义为：

在上式中，$sum(i)$表示样本点$x_i$到其$k$近邻集合中每个数据点的距离和，对于样本点$x_i$，$\delta_i$表示在局部密度大于$x_i$的样本点中选取一点$x_j$，并满足$x_i$与$x_j$两点间的距离与其各自$k$近邻距离之和的乘积最小。对于低密度区域点，其$k$近邻距离相对较远，通过上式的计算可以对相对距离进行补偿。

步骤五：计算决策值$\gamma = \rho\cdot \delta$，并将决策值进行降序排列。

步骤六：构建决策图或者根据排序好的$\gamma$值构建$\gamma$图

步骤七：在决策图中选择右上角的点或者在$\gamma$图中选择决策值较大的点作为样本聚类中心，得到样本初始聚类中心集合。

步骤八：进行必然从属点分配，得到初步聚类结果。

必然从属点，假设已知样本点$A$的簇类标签为$C$，样本点$B$为未分配点，当$B$满足下式条件时，则称$B$是簇$C$的必然从属点。

步骤九：进行可能从属点分配，得到最终聚类结果。

可能从属点，已知点$A$的簇标签为$C$，点$B$为未分配点，当$B$满足下式条件时，则称$B$是簇$C$的可能从属点。

必然从属点的分配策略：

输入：初始聚类中心集$C = [c_1,c_2,c_3,\dots,c_N]$，样本近邻数$k$，距离矩阵$D\in R^{n\times n}$

输出：初步聚类结果$\Psi_1 = [C_1,C_2,C_3,\dots,C_N]$

1. 初始化队列$Q$，将初始聚类中心集合$C$全部放进队列$Q$

2. 选取队列$Q$的队头样本$q$，标记已访问，找出$q$点的$k$近邻集合$L = [l_1,l_2,l_3,\dots,l_k]$

3. 任选集合$L$中的一点$l_i$，如果$l_i$满足这两个条件

   1. 它是未分配点
   2. 点$l_i$与点$q$的共享邻居满足必然从属点分配判断式，则将它赋予样本点$q$的类别标签，并加入队列$Q$队尾，遍历整个集合$L$。

4. 遍历队列$Q$，直到队列$Q$为空，得到初步聚类结果$\Psi_1 = [C_1,C_2,C_3,\dots,C_N]$

可能从属点分配策略

输入：初步聚类结果$\Psi_1$，样本近邻数$k$，未分配点数量$nr$，聚类中心个数$N$

输出：最终聚类结果$\Psi = [C_1,C_2,\dots,C_N]$

1. 构造全$0$辨识矩阵$recognize\in R^{nr\times N}$
2. 从辨识矩阵$recognize$中挑选一个样本$i$，$i$表示行号，统计其$k$近邻中属于各个不同簇类的数量，即当$i$的$k$近邻中属于类簇$j$的样本有$m$个时，就在辨识矩阵$recognize$所对应的第$i$行$j$列记为$m$，遍历整个辨识矩阵。其中$i=1,2,3,\dots,nr$，$j = 1,2,3,\dots,N$
3. 找出$recognize$中最大的点$recogmax$（第$i$行第$j$列），如果$recogmax>0$则将其对应原矩阵的样本点$p$归属于类簇$j$；如果$recogmax = 0$，则令$k = k+1$，扩大其$k$近邻的搜索半径范围，同时更新辨识矩阵$recognize$。其中$recogmax = max(recognize(:))$
4. 若所有的样本分配完成，结束算法2，否则转步骤2

在通过上述的基于两步分配策略与共享近邻的密度峰值聚类对区域总站中对区域中全部电能表的监测数据进行模式识别的过程中。

首先，通过区域总站与所有电能表之间的通信过程进行数据采集，在区域总站中获取到电能表的实时监测数据，在区域总站对监测数据进行后续的存储管理之前，需要对实时采集到的监测数据进行异常识别。

基于模式识别的实时监测数据的异常检测逻辑过程：

1. 通过历史数据进行模式识别，建立不同模式的模型，如DPC模型
2. 获取电能表的实时监测数据
3. 将实时监测数据放入DPC模型，在聚类模型中通过实时监测数据点呈现出的与簇类中心的相对距离进行异常检测
4. 对检测出的异常数据通过重采样的方式进行处理，消除异常电能表监测数据

在这个过程中，存在什么问题，在模式识别的过程中，是否需要模型的动态更新进行模式识别的优化。

在现有的通过聚类模型进行电能表实时采集数据的检测过程中，需要通过历史数据进行模式识别模型的建立，并且通过每个电能表的历史监测数据所在的簇类进行模式标签确定，之后对于电能表通过该模式对应的数值变化模式进行异常监测。从而保证对于电能表监测数据采集的准确性。

但是在这个过程中因为存在着民用电能表的使用模式变化，所以需要在模式识别的过程中对单个电能表出现的模式变化进行进一步的异常检测优化，也就是对电能表的每日子序列放入模型进行识别优化，在这个过程中对于用电时序数据在聚类模型中的簇类评估，需要通过新增时序数据在子序列数据空间中与簇类中心点之间的近邻关系进行判断。但是在近邻关系的判断过程中需要计算新增每日用电时序数据与数据空间中每个序列之间的相似程度，在对实时数据进行异常监测的过程需要耗费较多的时间，不具有实时性，所以在这个过程中，需要对于获取到的密度峰值聚类模型，需要通过新增的每个电能表的每日时序数据进行与聚类中心之间的距离判断，之后通过距离关系进行所属簇类

步骤一：通过区域总站对电能表的每日数据同步进行电能表的每日新增用电数据采集。

步骤二：通过电能表的用电模式变化过程中的波动程度对电能表每日子序列之间的距离进行优化，并根据优化后的子序列距离获取离群因子

1. 通过区域电能表的历史用电数据获取用于模式识别的聚类模型。
2. 通过新增每日用电数据在聚类模型中的变化信息获取模式波动程度。
3. 通过模式波动程度对单个电能表的子序列距离进行优化，并根据优化后的距离获取新增子序列的波动程度。

步骤三：通过优化后的离群因子进行电能表用电异常检测过程。