快速了解 探索性数据分析EDA
554 tokens
探索性数据分析（EDA）快速入门
一、什么是EDA？
大白话： 拿到数据先别急着建模，先像“相亲”一样好好看看数据——有没有缺胳膊少腿（缺失值）、有没有怪胎（异常值）、哪些特征之间有暧昧（相关性），心里有数了，再开始正经建模。
专业叫法： 探索性数据分析（Exploratory Data Analysis），就是用统计和可视化的手段，把数据里隐藏的规律和问题先摸。
一句话： EDA就是“建模前的侦察兵”。
二、EDA为什么重要？（应用场景）
- 建模前的必做步骤：不检查数据，模型跑出来也是垃圾
- 发现质量问题：缺失、重复、异常值，不处理会误导模型
- 发现特征之间的关系：比如“消费金额”和“购买次数”高度相关，可以考虑合并特征
- 指导特征工程：通过EDA哪些特征重要、哪些是垃圾，帮助建模时选择特征
工作中真正的比例： 一个数据项目，80%时间在清洗和EDA，20%时间在跑模型。
三、EDA到底做什么核心步骤）
用大白话列出来，按顺序做：
| 步骤 | 大白话解释 | 对应代码 |
|---|---|---|
| 1. 看数据长啥样 | 多少行、多少列，每列是什么东西 | df.shape、df.head() |
| 2. 看列类型 | 哪列是数字、哪列是文字（类别） | df.info() |
| 3. 描述性统计 每列的平均值、最大最小、上下四分位数 | df.describe() |
|
| 4. 检查缺失 | 有没有空值，空值多不多 | df.isnull().sum() |
| 5.检查重复 | 有没有一模一样的行 | df.duplicated().sum() |
| 6. 看分布 | 每列数值是否集中、是否有偏 | 直方图、箱线图 |
| 7.看相关性 | 特征之间是正相关还是负相关 | df.corr() + 热力图 |
| 8. 看类别特征 | 类别有哪些，各有多少人 | df['列名'].value_counts()— |
四、常用工具
- Pandas：处理数据（读取、统计、清洗）
- Matplotlib：基础画图
- Seaborn：画更好看的统计图（热力图、图）
五、快速上手案例（代码全流程）
假设拿到一份用户数据，做EDA：
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# 1.读取数据
df = pd.read_csv('user_data.csv')
# 2. 看数据基本情况
print(df.shape) # (行数, 列数)
print(df.head()) # 前5行内容
print(df.info()) # 每列类型、空值数量
# 3. 描述性统计
print(df.describe()) # 数值列的统计量
# 4. 缺失值检查
print(df.isnull().sum())
# 5. 重复值检查
print(df.duplicated().sum())
# 6. 看数值分布（直方图）
df['消费金额'].hist(bins=30)
plt.show()
# 7.看是否有异常值（箱线图）
sns.boxplot(x=df['消费金额'])
plt.show()
# 8. 看特征相关性（热力图）
corr = df.corr()
sns.heatmap(corr, annot=True, cmap='coolwarm')
plt.show()
# 9. 看类别特征分布
print(df['性别'].value_counts())
sns.countplot(x='性别', data=df)
plt.show()
跑完这些，你就对数据心里有数了。 比如发现：
- “消费金额”有大量缺失 → 需要填充或删除
- “年龄”有负数 → 异常值要处理
- “消费金额”和“收入”相关性0.9 → 建模时可能只需要保留一个
六、总结（面试/工作必背重点）
EDA的核心就是：
- 看数据规模（shape）
- 看数据类型（info）
- 看统计量（describe）
- 看缺失/重复（isnull/duplicated）
- 看分布（hist/boxplot）
- 看相关性（corr/heatmap）
口诀：** “shape、info、describe，isnull、duplicated、corr，最后记得画个图。”
面试常问： “拿到一份数据，你第一步怎么做？”
标准回答： “先做EDA，我会先看数据的行列数、每列类型、缺失情况、统计分布、相关性，再决定怎么清洗和建模。”