Python中的孤立森林算法：轻松检测异常数据

2025年12月18日/ 浏览 16

首页 公司动态 文章详情

今天，我们来探讨Python中如何使用孤立森林算法轻松检测异常数据。首先，我们先了解什么是孤立森林。

孤立森林是一种基于随机森林的思想，但与传统的随机森林不同，它通过多次随机划分数据来检测异常点。每次划分都会将数据点分成两个部分，如果数据点被多次分割到一个子树中的叶子节点，说明它离正常数据点的距离远，可能是一个异常点。

筛选异常数据：孤立森林算法的原理

孤立森林的核心思想是通过多次划分数据来识别异常点。具体来说，算法构建一个森林结构，其中每个树的结构都是随机划分的。每次划分都会将数据点分成两个子集，如果一个数据点被多次分割到一个子集，说明它离正常数据点的距离远，可能是一个异常点。

1. 构建森林结构

孤立森林的构建过程如下：

  1. 生成一个随机种子。
  2. 为每个数据点生成一个初始值。
  3. 随机选择一个特征和一个值，将数据点分成两个子集。
  4. 将数据点标记为正常点。
  5. 重复上述过程，直到所有的数据点都被划分。
  6. 构建森林结构。

2. 计算异常概率

孤立森林算法通过计算每个数据点在不同树中的异常概率来检测异常点。具体步骤如下：

  1. 对于每个数据点，计算它在所有树中的异常概率。
  2. 根据异常概率，给每个数据点一个异常概率值。
  3. 根据给定的阈值，将异常概率高于阈值的点标记为异常点。

实现孤立森林算法的Python代码

为了方便实现孤立森林算法，可以参考以下示例代码。代码中包含了生成森林、划分数据、计算异常概率以及异常点筛选的步骤。

python
import numpy as np
import pandas as pd
import random
import time
from sklearn import tree
from sklearn.ensemble import Isolation森林

def buildisolation森林( X, nestimators=100, maxdepth=10 ):
“””
基于孤立森林算法构建森林结构
参数：
X: 数据集，形状为[n samples, n features]
nestimators: 树的数量
maxdepth: 每棵树的最大深度
返回：
forest: 林的结构
“””
nsamples = len(X)
if n_samples == 0:
return []

forest = []
for _ in range(n_estimators):
    # 随机选择一个特征
    feature = np.random.choice(X.shape[1], 1)
    value = np.random.choice(X[:, feature].reshape(-1), 1)

    # 随机选择一个数据点
    i = np.random.randint(0, n_samples)
    x = X[i:i+1]
    y = X[i:i+1]

    # 随机生成一个初始值
    initial_value = np.random.choice(X[y[:, feature].reshape(-1), feature].reshape(-1), 1)

    # 创建一棵树
    tree = tree.IsolationTree(max_depth=max_depth, random_state=_)
    tree.fit(x, y, initial_value=initial_value)
    forest.append(tree)

return forest

def calculateoutlierscore( forest, X ):
“””
计算每个数据点的异常概率
参数：
forest: 林的结构
X: 数据集，形状为[n samples, n features]
返回：
scores: 异常概率值
“””
nsamples = len(X)
scores = np.zeros(nsamples)

for i, tree in enumerate(forest):
    # 计算每个数据点的异常概率
    tree_score = tree.decision_path(X)
    scores[i] = np.mean(tree_score)  # 常数因子不影响结果

return scores

def find_outliers( scores, threshold ):
“””
根据异常概率筛选异常点
参数：
scores: 异常概率值
threshold: 阈值
返回：
outliers: 异常点列表
“””
outliers = []
for i in range(len(scores)):
if scores[i] > threshold:
outliers.append(X[i])
return outliers

示例：使用孤立森林检测异常数据

data = pd.readcsv(‘https://raw.githubusercontent.com/mwasko/datasets/master/outeranomalies.csv’)
X = data[[‘X1’, ‘X2’]].values

基于孤立森林构建森林

forest = build_isolationforest(X)

计算异常概率

scores = calculateoutlierscore(forest, X)

根据阈值筛选异常点

threshold = 0.1
outliers = find_outliers(scores, threshold)

输出结果

print(“异常点数目:”, len(outliers))
print(“异常点:”, outliers)

应用孤立森林算法的场景

孤立森林算法在实际应用中非常有用。以下是一些常见的应用场景：

  1. 金融数据异常检测：金融机构需要识别异常交易记录或异常交易行为，以检测潜在的欺诈或错误。
  2. 医疗数据异常检测：在医疗领域，孤立森林算法可以帮助识别异常的疾病症状或异常的 patient record。
  3. 物流和供应链管理：在物流中，孤立森林算法可以检测异常的物品或配送记录，以避免丢失或损坏。

总结

通过以上内容，我们了解了孤立森林算法的基本原理、实现步骤以及在Python中的应用。通过生成代码和示例，我们能够轻松地使用孤立森林算法来检测异常数据。在实际应用中，我们需要根据具体的需求选择合适的参数，比如树的数量和深度，以获得最佳的异常检测效果。同时，孤立森林算法的灵活性也使得它能够适应多种不同的数据环境和应用场景。

picture loss