企业官网建设流程全解析

简介：本资源是一份面向Python数据挖掘与机器学习初学者的实战项目包，聚焦电力行业典型风控场景——窃漏电用户自动识别，兼顾算法原理理解与工程落地能力培养。资源共13个文件，含4个Python脚本（覆盖拉格朗日插值、决策树、逻辑回归等建模流程）、4个Numpy数组格式数据文件（用于模型训练与验证）、3个Excel表格（含原始缺失数据、预处理后数据及模型评估结果）、1个已训练好的.pkl模型文件和1个.model文件，整体仅23KB，轻量易解压运行。已有443人学习下载，适合具备基础Python语法能力的学习者系统掌握从数据清洗、特征工程、多模型对比（DT/LM/SVM等）到评估部署的完整闭环。代码结构清晰、注释充分，配套数据集真实可复现，特别适合作为课程设计、竞赛选题或行业AI入门实践范例。

1. 电力用户行为异常，靠规则引擎早晚会漏网——用 Python 数据挖掘+机器学习建模识别窃漏电，不是加个 if 判断就能解决的事

某地市供电公司每月人工筛查 20 万低压用户用电数据，靠“月电量突降 80%”“连续 3 天零电量”这类硬规则，每年仅能捕获约 37% 的真实窃漏电案例。漏报主因是：老式机械表倒转、绕越计量装置、CT 二次短接等手法，会让日电量曲线呈现“平滑衰减+周期性微幅波动”，完全绕过阈值型规则。真正有效的识别，必须把电压、电流、功率因数、负荷曲线形态、时段用电占比等多维时序特征联合建模——这正是本项目标题中“Python 数据挖掘机器学习实战”要落地的场景：不依赖专家经验规则，而是用真实配变台区采集的电流/电压/有功功率原始数据（含已标注的窃漏电样本），训练一个能泛化到新台区的二分类模型。适合电网公司信息中心工程师、高校电力系统方向研究生、以及正在准备机器学习课程设计的本科生——你不需要懂继电保护原理，但得会用 pandas 读 CSV、用 sklearn 拆训练集、用 matplotlib 画负荷曲线。

2. 从原始电参量到可建模特征：用 Python 完成电力时序数据的清洗、聚合与工程化

电力营销系统导出的原始数据通常是每 15 分钟一条的三相电压、电流、有功功率、无功功率、功率因数记录，单个用户一年超 35,000 条。直接喂给模型只会让准确率跌破 60%。关键在特征构造——不是简单算均值或最大值，而是模拟现场运维人员看表逻辑。

2.1 原始数据加载与基础清洗：处理缺失、跳变与时间对齐

import pandas as pd import numpy as np # 假设数据文件为 'power_data.csv'，含字段：user_id, timestamp, Ua, Ub, Uc, Ia, Ib, Ic, P, Q, PF df = pd.read_csv('power_data.csv', parse_dates=['timestamp']) df = df.sort_values(['user_id', 'timestamp']).reset_index(drop=True) # 删除明显异常值：电流 > 500A（超出常见低压表计量程）或 < 0（物理不可行） df = df[(df['Ia'] >= 0) & (df['Ia'] <= 500) & (df['Ib'] >= 0) & (df['Ib'] <= 500) & (df['Ic'] >= 0) & (df['Ic'] <= 500)] # 对每个用户，按 15 分钟补全缺失时间点（避免后续聚合偏差） full_time_range = pd.date_range(start=df['timestamp'].min(), end=df['timestamp'].max(), freq='15T') user_time_grid = pd.MultiIndex.from_product( [df['user_id'].unique(), full_time_range], names=['user_id', 'timestamp'] ) df_full = df.set_index(['user_id', 'timestamp']).reindex(user_time_grid).reset_index() df_full['Ia'] = df_full['Ia'].interpolate(method='time') # 时间线性插值 df_full['Ib'] = df_full['Ib'].interpolate(method='time') df_full['Ic'] = df_full['Ic'].interpolate(method='time')

提示：interpolate(method='time')比method='linear'更合理——它按真实时间间隔插值，避免因节假日停采导致的等距误判。若某用户连续 48 小时无数据，则视为离线，该时段特征置 NaN 后在后续聚合中跳过。

2.2 构造 4 类核心特征：负荷稳定性、相位不平衡、功率因数劣化、时段偏离度

单纯统计量（如日均电流）无法捕捉窃漏电典型模式。我们定义以下可解释性强、且被《电能计量装置技术管理规程》（DL/T 448）隐含认可的特征：

# 按用户+日聚合，生成每日特征 df_daily = df_full.groupby(['user_id', pd.Grouper(key='timestamp', freq='D')]).agg({ 'Ia': 'sum', 'Ib': 'sum', 'Ic': 'sum', 'P': 'sum', 'PF': 'mean' }).reset_index() # 计算三相电流不平衡度（当日最大相电流差 / 最大相电流） df_daily['I_sum'] = df_daily['Ia'] + df_daily['Ib'] + df_daily['Ic'] df_daily['I_max'] = df_daily[['Ia','Ib','Ic']].max(axis=1) df_daily['imbalance'] = (df_daily[['Ia','Ib','Ic']].diff(axis=1).abs().max(axis=1) / df_daily['I_max']).fillna(0) # 计算功率因数达标率（当日 PF ≥ 0.9 的比例） pf_daily = df_full.groupby(['user_id', pd.Grouper(key='timestamp', freq='D')])['PF'].apply( lambda x: (x >= 0.9).mean() ).reset_index(name='pf_compliance_rate') # 合并到主表 df_features = df_daily.merge(pf_daily, on=['user_id', 'timestamp'], how='left')

2.3 生成负荷曲线形态特征：用傅里叶变换提取周期性扰动

窃漏电设备（如晶闸管调压）会在电流波形中引入特定频次谐波，导致负荷曲线出现非工频周期性波动。我们对每户 30 天电流序列做 FFT，取前 5 个幅值最大的频率分量作为特征：

from scipy.fft import fft def extract_fft_features(current_series, n_top=5): """输入：长度为 N 的电流序列；输出：n_top 个最大幅值对应频率（Hz）""" n = len(current_series) if n < 100: # 数据不足，返回空 return [0] * n_top fft_result = np.abs(fft(current_series)) freqs = np.fft.fftfreq(n, d=1/96) # 15 分钟采样 → 96 点/天 → 采样频率 96/86400 Hz # 取正频率部分（0~0.5Hz），排除直流分量 mask = (freqs > 0) & (freqs < 0.5) top_indices = np.argsort(fft_result[mask])[-n_top:][::-1] return freqs[mask][top_indices].tolist() # 对每个用户，取最近 30 天电流和（Ia+Ib+Ic）序列 user_curves = df_full.groupby('user_id').apply( lambda x: extract_fft_features(x['Ia']+x['Ib']+x['Ic'], n_top=5) ).to_frame('fft_freqs') # 展开为 5 列 fft_df = pd.DataFrame(user_curves['fft_freqs'].tolist(), columns=[f'fft_freq_{i+1}' for i in range(5)], index=user_curves.index)

注意：FFT 特征对采样连续性敏感。若某用户 30 天内缺失点 > 10%，需先用pandas.interpolate(method='spline')进行样条插值，而非线性插值——样条能更好保留波形拐点。

3. 选择与训练模型：为什么 XGBoost 在电力窃漏电识别中比随机森林更稳、比深度学习更易部署

电力场景下，模型必须满足三个硬约束：① 特征重要性可解释（供稽查人员复核）；② 单次预测耗时 < 50ms（支撑百万级用户日批处理）；③ 对小样本（窃电标签仅占 0.3%）鲁棒。XGBoost 在这三个维度上形成最优平衡——其树结构天然支持特征贡献度分析，C++ 实现保证推理速度，而 scale_pos_weight 参数能有效缓解类别极度不平衡。

3.1 构建正负样本集：用业务规则初筛 + 人工复核生成高质量标签

本项目所附数据集已包含经供电所现场核查确认的标签（label: 0=正常, 1=窃漏电），但实际工作中需自行构建：

# 基于业务知识生成候选正样本（减少人工复核量） candidate_theft = df_features[ (df_features['imbalance'] > 0.3) & (df_features['pf_compliance_rate'] < 0.2) & (df_features['I_sum'] > 100) # 排除小负荷用户干扰 ].copy() # 人工复核后，保存为 final_labels.csv（含 user_id, label） labels = pd.read_csv('final_labels.csv') df_labeled = df_features.merge(labels, on='user_id', how='inner')

提示：正样本必须来自现场查处记录，严禁用“模型预测高分样本”反标——这会导致标签污染，使模型学偏。本项目数据集中的标签即为真实查处结果，可直接用于训练。

3.2 处理类别不平衡：SMOTE 过采样 + XGBoost 内置权重双保险

窃漏电用户占比通常低于 0.5%，直接训练会导致模型将所有样本判为“正常”。我们采用分层策略：

from imblearn.over_sampling import SMOTE from sklearn.model_selection import train_test_split import xgboost as xgb # 提取特征列（剔除 timestamp 和 user_id） feature_cols = ['I_sum', 'imbalance', 'pf_compliance_rate', 'fft_freq_1', 'fft_freq_2', 'fft_freq_3', 'fft_freq_4', 'fft_freq_5'] X = df_labeled[feature_cols] y = df_labeled['label'] # 分层划分训练/测试集（保持正负样本比例） X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, stratify=y, random_state=42 ) # SMOTE 过采样（仅作用于训练集） smote = SMOTE(random_state=42, k_neighbors=3) X_train_res, y_train_res = smote.fit_resample(X_train, y_train) # XGBoost 参数：scale_pos_weight 自动适配正负样本比 pos_ratio = len(y_train_res[y_train_res==0]) / len(y_train_res[y_train_res==1]) model = xgb.XGBClassifier( n_estimators=300, max_depth=6, learning_rate=0.1, scale_pos_weight=pos_ratio, # 关键！根据过采样后比例动态调整 eval_metric='auc', use_label_encoder=False, random_state=42 ) model.fit(X_train_res, y_train_res)

3.3 模型评估必须用业务指标：不能只看准确率，要看“查全率”和“误报率”

在电力稽查中，漏掉一个窃电用户（假阴性）意味着电费损失；但误报一个正常用户（假阳性）则需派员现场核查，成本约 300 元/次。因此评估需聚焦：

from sklearn.metrics import classification_report, confusion_matrix y_pred = model.predict(X_test) print(classification_report(y_test, y_pred)) # 输出混淆矩阵（关键！看 FN 数量） cm = confusion_matrix(y_test, y_pred) print(f"查全率 = {cm[1,1]/(cm[1,0]+cm[1,1]):.3f}") print(f"误报率 = {cm[0,1]/(cm[0,0]+cm[0,1]):.3f}")

注意：classification_report中的support列显示各类样本数，务必确认label=1的 support ≥ 50——否则测试集正样本不足，评估结果不可信。若不足，需扩大标签数据集或改用留一法交叉验证。

4. 部署为可执行脚本：用 joblib 保存模型 + CLI 参数解析，让一线班组也能跑起来

模型训练完若锁在 Jupyter 里，就失去了业务价值。本项目提供predict_theft.py脚本，支持命令行直接传入新用户数据 CSV，输出嫌疑用户列表及风险分。

4.1 保存模型与预处理器：确保线上推理与训练环境一致

import joblib # 保存训练好的模型 joblib.dump(model, 'theft_xgb_model.pkl') # 保存用于填充缺失值的 SimpleImputer（若训练中用了） from sklearn.impute import SimpleImputer imputer = SimpleImputer(strategy='median') X_train_imputed = imputer.fit_transform(X_train_res) joblib.dump(imputer, 'imputer.pkl') # 保存特征列名（避免线上读取时列顺序错乱） with open('feature_cols.txt', 'w') as f: f.write(','.join(feature_cols))

4.2 编写 CLI 脚本：支持单文件预测与批量目录处理

#!/usr/bin/env python3 # predict_theft.py import argparse import pandas as pd import joblib import numpy as np def load_model_and_preprocessor(): model = joblib.load('theft_xgb_model.pkl') imputer = joblib.load('imputer.pkl') with open('feature_cols.txt') as f: feature_cols = f.read().strip().split(',') return model, imputer, feature_cols def predict_single_file(filepath, model, imputer, feature_cols): df = pd.read_csv(filepath) # 确保列存在且顺序一致 X = df[feature_cols].values X = imputer.transform(X) proba = model.predict_proba(X)[:, 1] # 取正类概率 df['risk_score'] = proba df['is_suspect'] = (proba >= 0.7).astype(int) # 阈值可调 return df if __name__ == '__main__': parser = argparse.ArgumentParser(description='电力窃漏电用户识别预测工具') parser.add_argument('--input', type=str, required=True, help='输入CSV文件路径（含user_id及特征列）') parser.add_argument('--output', type=str, default='prediction_result.csv', help='输出结果文件路径') parser.add_argument('--threshold', type=float, default=0.7, help='风险分阈值（默认0.7）') args = parser.parse_args() model, imputer, feature_cols = load_model_and_preprocessor() result_df = predict_single_file(args.input, model, imputer, feature_cols) result_df.to_csv(args.output, index=False) print(f"预测完成，结果已保存至 {args.output}，共 {result_df['is_suspect'].sum()} 名高风险用户")

使用方式：

# 安装依赖（仅需一次） pip install pandas scikit-learn xgboost imblearn # 对单个用户数据文件预测 python predict_theft.py --input new_users.csv --output suspects.csv --threshold 0.65 # 输出示例：suspects.csv 包含 user_id, risk_score, is_suspect 列

提示：脚本中--threshold参数允许稽查班长根据当前人力调整——人力充足时设 0.6 提高查全率；人力紧张时设 0.8 降低误报率。这种灵活性比固定阈值模型更贴近业务。

5. 模型上线后的持续监控：用 PSI 指标检测数据漂移，避免模型在生产环境失效

模型上线 3 个月后，某县局反馈识别准确率从 89% 降至 72%。检查发现：新装智能电表启用 DL/T 645-2007 协议，电流采样精度提升，导致imbalance特征整体右移。这属于典型的数据漂移（Data Drift）——训练数据与线上数据分布不一致。必须建立监控机制。

5.1 计算 PSI（Population Stability Index）量化漂移程度

PSI 对比训练集与线上月数据在各特征上的分布变化，>0.25 视为严重漂移：

def calculate_psi(expected, actual, bucket_num=10): """计算单特征 PSI""" # 将特征分桶（等宽分箱） expected_percents = np.histogram(expected, bins=bucket_num)[0] / len(expected) actual_percents = np.histogram(actual, bins=bucket_num)[0] / len(actual) # 避免除零 expected_percents = np.where(expected_percents == 0, 1e-5, expected_percents) actual_percents = np.where(actual_percents == 0, 1e-5, actual_percents) psi = np.sum((actual_percents - expected_percents) * np.log(actual_percents / expected_percents)) return psi # 加载训练集特征分布（存档） X_train_archive = pd.read_csv('X_train_features.csv') # 训练时保存的特征 # 加载当月线上预测数据 X_online = pd.read_csv('online_monthly_features.csv') psi_results = {} for col in feature_cols: psi = calculate_psi(X_train_archive[col], X_online[col]) psi_results[col] = psi print(f"{col}: PSI = {psi:.4f} {'⚠️ 严重漂移' if psi > 0.25 else '✅ 正常'}") # 若任一特征 PSI > 0.25，则触发告警并建议重训模型 if any(psi > 0.25 for psi in psi_results.values()): print("检测到数据漂移，建议启动模型迭代流程")

5.2 建立最小可行监控流水线：每天自动运行 PSI 检查

将上述脚本封装为 cron 任务，每日凌晨 2 点执行：

# 添加到 crontab（每天执行） 0 2 * * * cd /path/to/project && python monitor_drift.py >> /var/log/theft_monitor.log 2>&1

监控日志示例：

2024-06-15 02:00:01 imbalance: PSI = 0.3124 ⚠️ 严重漂移 2024-06-15 02:00:01 pf_compliance_rate: PSI = 0.0872 ✅ 正常 2024-06-15 02:00:01 fft_freq_1: PSI = 0.0215 ✅ 正常

关键技巧：PSI 监控必须基于线上实际预测所用的特征值，而非原始电参量。例如imbalance是由Ia/Ib/Ic计算得出，监控对象是imbalance本身，而非原始电流——因为模型学到的是imbalance与窃电的关联，而非电流绝对值。

当imbalance的 PSI 超限时，立即通知数据工程师：检查新电表协议是否改变了电流采样算法，并用最新 30 天数据重跑特征工程 pipeline，重新训练模型。这个闭环，才是“电力窃漏电用户自动识别”真正落地的最后一步。

本文还有配套的精品资源，点击获取