简介问卷调查模拟数据压缩包面向数据分析入门者及产品市场研究相关人员提供一组贴近真实场景的问卷作答记录可用于练习数据清洗、描述性统计、交叉分析与可视化呈现。压缩包共含1388个文件大小19.2MB内部以gif、js、tpl、mod、class、png、jsp、css、jpg等类型为主涵盖网页样式脚本、动态页面模板和图片素材目录结构较完整便于按需提取数据或结合项目环境观察数据流转。压缩包不仅包含结构化问卷结果还涉及问卷设计、题型选择、变量编码、缺失值与异常值处理等常见环节能帮助使用者在模拟环境中熟悉从数据整理到结果解释的完整流程。目前已有1373人学习下载适合需要积累真实感调研数据、验证分析工具或开展教学演示的用户。1. 问卷调查模拟数据2.rar用它跑通问卷数据处理流程到底值不值得拿到「问卷调查模拟数据2.rar」这种压缩包先别急着解压双击你要想清楚一个问题这份模拟数据是拿来测试流程的还是拿来当真实样本用的。文件名里的「2」多半是版本号或批号不是格式标准解压前不用过度解读。这类包里通常装着程序生成的假问卷数据没有真实受访者隐私但字段结构和真实问卷基本一致正好拿去跑数据清洗、统计分析、系统联调这些环节。适合的对象很明确做问卷系统前后端联调的开发者、要用假数据练手的学生、需要给演示 Demo 准备干净素材的产品或运营。我会从解压开始带你把它读进 pandas、看清字段、跑完基本统计再把最容易翻车的几个坑逐个讲透。2. 解压与摸底把 RAR 压缩包变成能进 pandas 的问卷表2.1 先 list 再解压用一条命令看清包内容RAR 不是 CSV 那种可以直接打开的纯文本必须靠压缩工具解压。常见做法是解压到一个独立目录里不要直接丢到桌面或者项目根目录否则后面找文件、清理都麻烦。命令行环境里我一般会分两步走先列出压缩包的内容再真正解压# 第一步只看不解压确认里面有多少文件、目录结构长什么样 unrar l 问卷调查模拟数据2.rar # 第二步解压到指定目录目录不存在会自动创建 mkdir -p survey_data unrar x 问卷调查模拟数据2.rar survey_data/这里l参数是 list 的简写只会把压缩包里的文件清单、原始大小、压缩后大小打出来不会落地任何文件。这样做的意义是让你提前知道包里是只有一个 CSV还是一个包含多个子目录的完整数据包避免解压出几十个文件之后茫然不知道从哪下手。x参数会按压缩包内保存的目录结构完整解压比e参数更稳妥因为e会把所有文件平铺到同一个目录遇到同名文件会直接互相覆盖。在 Windows 上如果不想开命令行用常见压缩软件也可以右键解压到指定文件夹即可但逻辑一样先看清单再解压。2.2 文件类型台账csv、xlsx、sav、json 分别怎么打开解压完成后你会得到一组文件。模拟问卷数据常见的存储格式有四种我通常会在解压后马上做一次类型盘点因为后续读取方案完全取决于文件类型。文件扩展名大概率是什么读取方式备注.csv表格数据最常见pandas.read_csv注意编码见 2.3.xlsxExcel 数据可能带多个 sheetpandas.read_excel注意日期和公式残留.savSPSS 格式问卷数据pyreadstat.read_sav会附带变量标签和值标签.json结构化数据接口导出pandas.read_json 或 json.load通常是单选或多选展开后的格式先别管什么统计分析把每个文件都跑一遍file命令看它到底是什么编码和格式能帮你躲开第一次翻车# 列出解压目录下的所有文件包括隐藏文件 find survey_data -type f -print | sort # 逐个识别文件类型输出里会带上编码信息和真实格式 file survey_data/*file的输出很直白比如它会告诉你这是一个 CSV 文本文件编码是 UTF-8 Unicode 还是 ISO-8859还是说这其实是一个伪装成 .csv 的 Excel 文件。这一步看起来多余但很多压缩包里的扩展名和真实格式对不上你用错误的方式去读轻则乱码重则直接报解析错误。如果你解压后发现文件里有 README 或数据字典文档优先读它。没有文档的时候才需要靠下一章的内容反推字段结构。2.3 编码先行把中文乱码挡在 pandas 读入之前中文问卷数据最经典的一个坑是编码。很多压缩包里的 CSV 是从 Windows 系统导出的默认用 GBK 或 GB18030 保存而你用 pandas 的默认编码 UTF-8 去读就会得到一屏幕乱码或者直接报UnicodeDecodeError。我处理任何中文 CSV 的第一步都是先探测编码而不是盲目试import pandas as pd from chardet import detect # 读取原始字节只取前 10000 个字节就够判断了 raw open(survey_data/questionnaire_data.csv, rb).read(10000) print(detect(raw))detect返回的是一个字典里面会有encoding字段比如GB2312或utf-8。拿到结果之后再正式读入# 根据探测结果选择编码utf-8-sig 会自动去掉 Excel 存 CSV 时加的 BOM 头 df pd.read_csv(survey_data/questionnaire_data.csv, encodingutf-8-sig)参数utf-8-sig是另一个值得记住的 TrickExcel 在 Windows 上另存为 UTF-8 格式 CSV 时会在文件开头加一个不可见的 BOM 标记pandas 用utf-8读会把 BOM 当成列名的一部分于是第一列列名会变成\ufeff姓名这种奇怪的东西。用utf-8-sig就不会有这个烦恼。如果探测出来是 GBK就把参数改成encodinggbk而不要试图用 Excel 打开再另存因为 Excel 的另存经常会二次污染数据类型。3. 看懂列结构模拟问卷的题型、取值和字段对齐3.1 从列名反推题型单选题、多选题、量表题的不同存储方式模拟问卷数据不会自己告诉你哪些列是单选、哪些列是多选你得从列名规律里反推。真实问卷系统导出的数据列名往往带着题型痕迹。单选题一般是一列一个答案值可能是数字编码也可能是「男」「女」这种明文多选题在导出时通常被拆成多列列名形如q5_1、q5_2每列取值是 0 或 1代表这个选项有没有被选中量表题则是 1 到 5、1 到 7 的整数列名一般以q加题号加序号结尾。题型存储特征判定线索分析方式单选题单列字符串或编码数字列名直接对应题号值域有限频数表、交叉表多选题多列 0/1列名有_1、_2后缀多重响应频次统计量表题多列 1-5 或 1-7列名相似度高值域连续整数均值、信度检验填空题/文本题单列长文本列名一般是开放题编号文本分析前先做缺失处理拿到数据后的第一件事不是做图而是先看列名带着列名反推问卷原题。比如你看到q3_gender、q4_age_group就能猜出来这大概率是单选题看到q7_1到q7_6并且取值只有 0 和 1那就基本可以确定是多选题的 6 个选项拆成了 6 列。3.2 用 pandas 读入并核对数据类型第一件事是打印形状读入之后不要急着算统计先用最基础的三个操作把数据框架摸清楚import pandas as pd df pd.read_csv(survey_data/questionnaire_data.csv, encodingutf-8-sig) # 先看形状多少行样本、多少列字段 print(数据形状:, df.shape) # 再看前几行确认列名和取值是预期形式 print(df.head()) # 最后看每列类型 print(df.dtypes)df.shape返回的是(行数, 列数)这个数字是你所有后续检验的基准。模拟数据如果号称有 1000 份问卷读进来行数必须是 1000 左右如果只有 100 行说明原始文件本身就不完整。dtypes用来发现类型错位比如gender列被读成了浮点数通常代表这一列里混入了空值和非数字文本这会直接影响后续统计。如果df.head()显示年龄段的取值是1.0、2.0这种带小数点的数字说明原始数据本身就是数值编码应该在读入时用dtype参数指定列类型# 指定性别列读成字符串年龄段读成分类变量 df pd.read_csv( survey_data/questionnaire_data.csv, encodingutf-8-sig, dtype{gender: string, age_group: category}, )dtype参数在数据量大的时候特别有用字符串默认按 object 存储内存占用高指定成category后重复值多的列会显著压缩内存。这一点在处理大数据问卷时差别很明显。3.3 缺失值和重复 ID模拟数据里的两条隐形规则模拟数据有一个特点它经常「太干净」缺失值少得反常重复记录也几乎没有。这不是好事因为真实问卷必然有漏答、误答和重复提交。你可以在数据分析之前先把这两条基线跑出来# 逐列统计缺失值数量 print(df.isna().sum()) # 检查有没有重复的受访者编号 if respondent_id in df.columns: dup df[respondent_id].duplicated().sum() print(f重复受访者编号数量: {dup})isna().sum()会按列输出缺失值个数让你一眼看出哪一题的漏答率偏高。duplicated()默认把当前行与前边所有行做比较重复返回 Truesum()拿到重复总条数。问卷系统有时允许用户重复提交所以respondent_id重复不一定是脏数据但你需要知道它存在。如果模拟数据的缺失值全是 0重复也是 0那这份数据只适合跑通流程不适合用来验证业务结论。因为真实问卷的缺失不是均匀分布的年龄大的人更容易跳过某些敏感题这种规律在干净的模拟数据里完全不存在。4. 跑统计分析频数、交叉表与信度检验怎么在这一份数据上落地4.1 单题频数value_counts 直接暴露选项命名和异常取值拿到字段结构和缺失情况之后第一个该做的统计动作是频数表。频数表告诉你每个选项被选了多少次也是最容易发现异常取值的方式。比如一个性别字段频数表输出的取值是Male、Female、M、F、男、女混在一起说明原始数据没有做值域清洗# 对可能的前六个单选题列依次输出频数 for col in [gender, age_group, education, satisfaction, purchase_intent]: if col in df.columns: print(f--- {col} ---) print(df[col].value_counts(dropnaFalse))value_counts(dropnaFalse)比默认写法多了一点它会把NaN也作为一个单独分组输出方便你看到缺失值占比。如果一个选项的频数占比超过了 80%要回头检查是不是这一题的选项设置有问题或者数据生成的时候只用了少数几个选项。频数表还有一种用法是检查选项顺序。如果数据是 1 到 5 的李克特量表频数表的索引应该按 1、2、3、4、5 排列如果出现 0 或者 6说明原始文件里混进了异常编码。这时不要擅自删除先在回源码里确认是不是多选题误判成了单选题。4.2 交叉表与卡方检验性别和满意度之间到底有没有关系问卷分析里最常问的问题是「不同人群的满意度有没有差异」。模拟数据往往故意设置了某种差异你可以用交叉表和卡方检验把它找出来。以性别和满意度为例标准做法如下import pandas as pd from scipy.stats import chi2_contingency # 生成交叉表行是性别列是满意度等级 tab pd.crosstab(df[gender], df[satisfaction]) print(tab) # 卡方检验返回卡方值、p 值、自由度和期望频数 chi2, p, dof, expected chi2_contingency(tab) print(f卡方值: {chi2:.2f}, p 值: {p:.4f})pd.crosstab的两个参数分别是行和列它会自动计算交叉频数。chi2_contingency接受的参数是一个二维数组pd.crosstab的结果正好满足这个结构。返回的p值小于 0.05 时我们说性别和满意度之间存在统计显著的相关性。这里有一个容易误用的点卡方检验要求每个格子的期望频数不要太小一般不能有超过 20% 的格子期望频数小于 5。如果你的交叉表里有大量零值卡方检验的 p 值会失真。这种情况在模拟数据里不常见因为生成器通常会把样本量做足但一旦出现应该改用 Fisher 精确检验而不是硬跑卡方。4.3 李克特量表的信度用 Cronbachs α 检验题目一致性如果压缩包里有多列 1 到 5 的量表题比如满意度量表的四道题q8_1到q8_4那你在分析前应该先看这四道题内部是否一致。最常用来做量表信度检验的指标是 Cronbachs α它衡量的是多道题是不是在测同一个概念。标准统计软件里有现成函数自己用 numpy 实现也很简单import numpy as np import pandas as pd items df[[q8_1, q8_2, q8_3, q8_4]].dropna() k items.shape[1] # 量表题数 var_sum items.var(ddof1).sum() # 各题方差之和 var_total items.sum(axis1).var(ddof1) # 总分方差 alpha k / (k - 1) * (1 - var_sum / var_total) print(fCronbachs α: {alpha:.3f})公式本身不复杂α 等于题数除以题数减一再乘以一减去各题方差之和除以总分方差。ddof1表示用样本方差即分母是 n-1这是统计默认。α 值在 0.7 以上可以接受0.8 以上比较好但超过 0.95 反而要警惕——那可能说明题目几乎在重复问同一个问题人工设计时应该避免。如果你发现 α 很低比如只有 0.4最常见的原因是这四道题里有一道是反向计分题它表达的方向和其他题目相反。这时候要把那道题的分数反向转换后再重新计算 α而不是直接删除。5. 避坑记录模拟问卷数据最容易翻车的五个场景5.1 解压提示「文件损坏」先看文件头别急着重新下载现象双击压缩包解压工具提示文件已损坏或无法作为压缩包打开。 原因文件名后缀是 .rar但真实文件不一定是 RAR 格式。很多渠道下载的文件只是把文件名命名为 .rar实际内容可能是 ZIP也可能在传输中被截断。另一个常见原因是下载工具把网页当成了文件保存导致整个文件其实是 HTML。 解决先用file命令看文件头RAR 的神奇字节是Rar!ZIP 是PK。看到PK就改用 ZIP 方式解压看到纯文本或 HTML 就删掉重新下载。在 Windows 上也可以把扩展名改成 .zip 再试一次但前提是你已经确认文件头。5.2 中文列名读进去全是乱码不是编码玄学是漏了 BOM现象pandas 读 CSV 后第一列列名显示成\ufeff性别或者所有中文全部乱码。 原因Windows 下 Excel 导出的 CSV 有两种编码路径一种是 GBK一种是带 BOM 的 UTF-8。\ufeff是 BOM 被当成字符读进来了GBK 文件用 UTF-8 读也会整体乱码。 解决读入前用 chardet 探测编码或者直接尝试encodingutf-8-sig和encodinggbk两种情况。更彻底的做法是约定好所有模拟数据统一用无 BOM 的 UTF-8 保存这需要在导出阶段就把编码固定下来。5.3 每个选项的样本量都差不多模拟数据太干净分析结果要打问号现象性别比例各 50%年龄段各 20%满意度每个等级都接近 20%频数分布均匀得不像真实问卷。 原因数据生成器默认用了均匀分布采样这是模拟数据最常见的通病。真实问卷的性别比例、年龄分布、满意度分布都带有明显的偏态比如满意度通常呈现右偏或左偏的倒 U 型。 解决看频数表时如果发现分布异常均匀先把结论标注为「仅用于流程验证」不能当作真实业务洞察。要生成更接近真实的数据需要按真实统计年鉴的比例做分层抽样而不是直接随机均匀采样。5.4 模拟数据上模型 99% 准确一上真实数据就崩缺噪音现象同一套分类模型在模拟问卷数据上准确率接近 99%上线用真实问卷预测时掉到 60% 出头。 原因模拟数据没有噪音没有错填没有矛盾回答没有缺失值模型的决策边界被拟合得过于干净。真实问卷里经常出现同一道题选了「非常满意」但下一道题又选了「非常不满意」的矛盾样本这些噪音会让模型边界完全失效。 解决用模拟数据训练时主动加入噪音。把 2% 到 5% 的答案随机改成其他选项再随机删掉一部分值制造缺失模拟数据的行为才会贴近真实。你可以在清洗这一步就留下这些噪音不要全部修正干净。5.5 导出数据库后时间字段全成文本CSV 的时间格式不统一现象把模拟数据的 CSV 导入数据库后submit_time字段显示成文本无法参与时间筛选和排序。 原因模拟数据的生成器把时间字段写成了混合格式比如一部分是2024-05-06 12:30:22一部分是2024/05/06 12:30数据库无法自动识别为时间类型只能降级为文本。 解决读入时把时间字段统一转换成 pandas 的datetime类型转换失败的行单独拎出来检查# 将 submit_time 列统一转换为时间类型errors 参数让非法值变成 NaT df[submit_time] pd.to_datetime(df[submit_time], errorscoerce) # 输出转换失败的行数量 print(df[submit_time].isna().sum())errorscoerce表示遇到无法解析的时间字符串时不报错而是把它变成缺失值。转换通过之后再导出到数据库时建议用 ISO 格式字符串比如2024-05-06T12:30:22这是跨系统最不容易出错的表示方式。6. 把模拟数据变成回归基线固定种子、固定断言再谈扩展模拟数据最大的价值不在本次分析而在它可以重复使用。我接手过的问卷项目里有个血泪教训前期用模拟数据把流程跑通了但数据文件被反复覆盖等系统升级后想回归验证发现基线没了只能重新造数据。所以我现在拿到任何模拟问卷数据第一件事是先复制一份原始压缩包单独存档然后建立一套回归基线校验。回归基线的基本思路是用同一份模拟数据固定一组断言每次数据处理代码改动后跑一遍断言保证流程没有破坏数据的基本特征。比如你解压后得到 1000 行 18 列性别只有男和女满意度取值在 1 到 5这些就是断言import pandas as pd df pd.read_csv(survey_data/questionnaire_data.csv, encodingutf-8-sig) # 回归基线任何流程改动后这几个断言都必须通过才算没翻车 assert df.shape[0] 1000, 样本行数不符合基线 assert df.shape[1] 18, 字段列数不符合基线 assert set(df[gender].dropna()) {男, 女}, 性别出现异常取值 assert df[satisfaction].between(1, 5).all(), 满意度取值越界把这段脚本放进测试目录之后每次改动数据清洗逻辑、字段映射逻辑都跑一遍。一旦断言失败你能立刻定位是哪一步处理改变了数据而不是等到分析结果不对劲再去从头排查。如果你需要扩大模拟数据规模不要手动复制行来凑数这会让重复样本把统计结果搞假。更可靠的做法是固定随机种子生成新的模拟数据比如用numpy.random.default_rng(42)的种子值保证每次生成的结果可复现同时保留原始数据作为对照。人们在处理模拟问卷数据时最常忽略的一点是模拟数据不是为了代替真实数据而是为了固定一个可重复的测试环境。理解了这一点这份压缩包对你来说就不是一次性文件而是一个可以长期依赖的基线工具。希望我上面写到的这些路径和坑能帮你在下一次拿到类似数据包时少走几步弯路。本文还有配套的精品资源点击获取 
长河君 · 2026/10/13 13:39:34 · 阅读 1.2k 问卷调查模拟数据2.rar怎么用：从解压到pandas统计分析的完整避坑指南
简介问卷调查模拟数据压缩包面向数据分析入门者及产品市场研究相关人员提供一组贴近真实场景的问卷作答记录可用于练习数据清洗、描述性统计、交叉分析与可视化呈现。压缩包共含1388个文件大小19.2MB内部以gif、js、tpl、mod、class、png、jsp、css、jpg等类型为主涵盖网页样式脚本、动态页面模板和图片素材目录结构较完整便于按需提取数据或结合项目环境观察数据流转。压缩包不仅包含结构化问卷结果还涉及问卷设计、题型选择、变量编码、缺失值与异常值处理等常见环节能帮助使用者在模拟环境中熟悉从数据整理到结果解释的完整流程。目前已有1373人学习下载适合需要积累真实感调研数据、验证分析工具或开展教学演示的用户。1. 问卷调查模拟数据2.rar用它跑通问卷数据处理流程到底值不值得拿到「问卷调查模拟数据2.rar」这种压缩包先别急着解压双击你要想清楚一个问题这份模拟数据是拿来测试流程的还是拿来当真实样本用的。文件名里的「2」多半是版本号或批号不是格式标准解压前不用过度解读。这类包里通常装着程序生成的假问卷数据没有真实受访者隐私但字段结构和真实问卷基本一致正好拿去跑数据清洗、统计分析、系统联调这些环节。适合的对象很明确做问卷系统前后端联调的开发者、要用假数据练手的学生、需要给演示 Demo 准备干净素材的产品或运营。我会从解压开始带你把它读进 pandas、看清字段、跑完基本统计再把最容易翻车的几个坑逐个讲透。2. 解压与摸底把 RAR 压缩包变成能进 pandas 的问卷表2.1 先 list 再解压用一条命令看清包内容RAR 不是 CSV 那种可以直接打开的纯文本必须靠压缩工具解压。常见做法是解压到一个独立目录里不要直接丢到桌面或者项目根目录否则后面找文件、清理都麻烦。命令行环境里我一般会分两步走先列出压缩包的内容再真正解压# 第一步只看不解压确认里面有多少文件、目录结构长什么样 unrar l 问卷调查模拟数据2.rar # 第二步解压到指定目录目录不存在会自动创建 mkdir -p survey_data unrar x 问卷调查模拟数据2.rar survey_data/这里l参数是 list 的简写只会把压缩包里的文件清单、原始大小、压缩后大小打出来不会落地任何文件。这样做的意义是让你提前知道包里是只有一个 CSV还是一个包含多个子目录的完整数据包避免解压出几十个文件之后茫然不知道从哪下手。x参数会按压缩包内保存的目录结构完整解压比e参数更稳妥因为e会把所有文件平铺到同一个目录遇到同名文件会直接互相覆盖。在 Windows 上如果不想开命令行用常见压缩软件也可以右键解压到指定文件夹即可但逻辑一样先看清单再解压。2.2 文件类型台账csv、xlsx、sav、json 分别怎么打开解压完成后你会得到一组文件。模拟问卷数据常见的存储格式有四种我通常会在解压后马上做一次类型盘点因为后续读取方案完全取决于文件类型。文件扩展名大概率是什么读取方式备注.csv表格数据最常见pandas.read_csv注意编码见 2.3.xlsxExcel 数据可能带多个 sheetpandas.read_excel注意日期和公式残留.savSPSS 格式问卷数据pyreadstat.read_sav会附带变量标签和值标签.json结构化数据接口导出pandas.read_json 或 json.load通常是单选或多选展开后的格式先别管什么统计分析把每个文件都跑一遍file命令看它到底是什么编码和格式能帮你躲开第一次翻车# 列出解压目录下的所有文件包括隐藏文件 find survey_data -type f -print | sort # 逐个识别文件类型输出里会带上编码信息和真实格式 file survey_data/*file的输出很直白比如它会告诉你这是一个 CSV 文本文件编码是 UTF-8 Unicode 还是 ISO-8859还是说这其实是一个伪装成 .csv 的 Excel 文件。这一步看起来多余但很多压缩包里的扩展名和真实格式对不上你用错误的方式去读轻则乱码重则直接报解析错误。如果你解压后发现文件里有 README 或数据字典文档优先读它。没有文档的时候才需要靠下一章的内容反推字段结构。2.3 编码先行把中文乱码挡在 pandas 读入之前中文问卷数据最经典的一个坑是编码。很多压缩包里的 CSV 是从 Windows 系统导出的默认用 GBK 或 GB18030 保存而你用 pandas 的默认编码 UTF-8 去读就会得到一屏幕乱码或者直接报UnicodeDecodeError。我处理任何中文 CSV 的第一步都是先探测编码而不是盲目试import pandas as pd from chardet import detect # 读取原始字节只取前 10000 个字节就够判断了 raw open(survey_data/questionnaire_data.csv, rb).read(10000) print(detect(raw))detect返回的是一个字典里面会有encoding字段比如GB2312或utf-8。拿到结果之后再正式读入# 根据探测结果选择编码utf-8-sig 会自动去掉 Excel 存 CSV 时加的 BOM 头 df pd.read_csv(survey_data/questionnaire_data.csv, encodingutf-8-sig)参数utf-8-sig是另一个值得记住的 TrickExcel 在 Windows 上另存为 UTF-8 格式 CSV 时会在文件开头加一个不可见的 BOM 标记pandas 用utf-8读会把 BOM 当成列名的一部分于是第一列列名会变成\ufeff姓名这种奇怪的东西。用utf-8-sig就不会有这个烦恼。如果探测出来是 GBK就把参数改成encodinggbk而不要试图用 Excel 打开再另存因为 Excel 的另存经常会二次污染数据类型。3. 看懂列结构模拟问卷的题型、取值和字段对齐3.1 从列名反推题型单选题、多选题、量表题的不同存储方式模拟问卷数据不会自己告诉你哪些列是单选、哪些列是多选你得从列名规律里反推。真实问卷系统导出的数据列名往往带着题型痕迹。单选题一般是一列一个答案值可能是数字编码也可能是「男」「女」这种明文多选题在导出时通常被拆成多列列名形如q5_1、q5_2每列取值是 0 或 1代表这个选项有没有被选中量表题则是 1 到 5、1 到 7 的整数列名一般以q加题号加序号结尾。题型存储特征判定线索分析方式单选题单列字符串或编码数字列名直接对应题号值域有限频数表、交叉表多选题多列 0/1列名有_1、_2后缀多重响应频次统计量表题多列 1-5 或 1-7列名相似度高值域连续整数均值、信度检验填空题/文本题单列长文本列名一般是开放题编号文本分析前先做缺失处理拿到数据后的第一件事不是做图而是先看列名带着列名反推问卷原题。比如你看到q3_gender、q4_age_group就能猜出来这大概率是单选题看到q7_1到q7_6并且取值只有 0 和 1那就基本可以确定是多选题的 6 个选项拆成了 6 列。3.2 用 pandas 读入并核对数据类型第一件事是打印形状读入之后不要急着算统计先用最基础的三个操作把数据框架摸清楚import pandas as pd df pd.read_csv(survey_data/questionnaire_data.csv, encodingutf-8-sig) # 先看形状多少行样本、多少列字段 print(数据形状:, df.shape) # 再看前几行确认列名和取值是预期形式 print(df.head()) # 最后看每列类型 print(df.dtypes)df.shape返回的是(行数, 列数)这个数字是你所有后续检验的基准。模拟数据如果号称有 1000 份问卷读进来行数必须是 1000 左右如果只有 100 行说明原始文件本身就不完整。dtypes用来发现类型错位比如gender列被读成了浮点数通常代表这一列里混入了空值和非数字文本这会直接影响后续统计。如果df.head()显示年龄段的取值是1.0、2.0这种带小数点的数字说明原始数据本身就是数值编码应该在读入时用dtype参数指定列类型# 指定性别列读成字符串年龄段读成分类变量 df pd.read_csv( survey_data/questionnaire_data.csv, encodingutf-8-sig, dtype{gender: string, age_group: category}, )dtype参数在数据量大的时候特别有用字符串默认按 object 存储内存占用高指定成category后重复值多的列会显著压缩内存。这一点在处理大数据问卷时差别很明显。3.3 缺失值和重复 ID模拟数据里的两条隐形规则模拟数据有一个特点它经常「太干净」缺失值少得反常重复记录也几乎没有。这不是好事因为真实问卷必然有漏答、误答和重复提交。你可以在数据分析之前先把这两条基线跑出来# 逐列统计缺失值数量 print(df.isna().sum()) # 检查有没有重复的受访者编号 if respondent_id in df.columns: dup df[respondent_id].duplicated().sum() print(f重复受访者编号数量: {dup})isna().sum()会按列输出缺失值个数让你一眼看出哪一题的漏答率偏高。duplicated()默认把当前行与前边所有行做比较重复返回 Truesum()拿到重复总条数。问卷系统有时允许用户重复提交所以respondent_id重复不一定是脏数据但你需要知道它存在。如果模拟数据的缺失值全是 0重复也是 0那这份数据只适合跑通流程不适合用来验证业务结论。因为真实问卷的缺失不是均匀分布的年龄大的人更容易跳过某些敏感题这种规律在干净的模拟数据里完全不存在。4. 跑统计分析频数、交叉表与信度检验怎么在这一份数据上落地4.1 单题频数value_counts 直接暴露选项命名和异常取值拿到字段结构和缺失情况之后第一个该做的统计动作是频数表。频数表告诉你每个选项被选了多少次也是最容易发现异常取值的方式。比如一个性别字段频数表输出的取值是Male、Female、M、F、男、女混在一起说明原始数据没有做值域清洗# 对可能的前六个单选题列依次输出频数 for col in [gender, age_group, education, satisfaction, purchase_intent]: if col in df.columns: print(f--- {col} ---) print(df[col].value_counts(dropnaFalse))value_counts(dropnaFalse)比默认写法多了一点它会把NaN也作为一个单独分组输出方便你看到缺失值占比。如果一个选项的频数占比超过了 80%要回头检查是不是这一题的选项设置有问题或者数据生成的时候只用了少数几个选项。频数表还有一种用法是检查选项顺序。如果数据是 1 到 5 的李克特量表频数表的索引应该按 1、2、3、4、5 排列如果出现 0 或者 6说明原始文件里混进了异常编码。这时不要擅自删除先在回源码里确认是不是多选题误判成了单选题。4.2 交叉表与卡方检验性别和满意度之间到底有没有关系问卷分析里最常问的问题是「不同人群的满意度有没有差异」。模拟数据往往故意设置了某种差异你可以用交叉表和卡方检验把它找出来。以性别和满意度为例标准做法如下import pandas as pd from scipy.stats import chi2_contingency # 生成交叉表行是性别列是满意度等级 tab pd.crosstab(df[gender], df[satisfaction]) print(tab) # 卡方检验返回卡方值、p 值、自由度和期望频数 chi2, p, dof, expected chi2_contingency(tab) print(f卡方值: {chi2:.2f}, p 值: {p:.4f})pd.crosstab的两个参数分别是行和列它会自动计算交叉频数。chi2_contingency接受的参数是一个二维数组pd.crosstab的结果正好满足这个结构。返回的p值小于 0.05 时我们说性别和满意度之间存在统计显著的相关性。这里有一个容易误用的点卡方检验要求每个格子的期望频数不要太小一般不能有超过 20% 的格子期望频数小于 5。如果你的交叉表里有大量零值卡方检验的 p 值会失真。这种情况在模拟数据里不常见因为生成器通常会把样本量做足但一旦出现应该改用 Fisher 精确检验而不是硬跑卡方。4.3 李克特量表的信度用 Cronbachs α 检验题目一致性如果压缩包里有多列 1 到 5 的量表题比如满意度量表的四道题q8_1到q8_4那你在分析前应该先看这四道题内部是否一致。最常用来做量表信度检验的指标是 Cronbachs α它衡量的是多道题是不是在测同一个概念。标准统计软件里有现成函数自己用 numpy 实现也很简单import numpy as np import pandas as pd items df[[q8_1, q8_2, q8_3, q8_4]].dropna() k items.shape[1] # 量表题数 var_sum items.var(ddof1).sum() # 各题方差之和 var_total items.sum(axis1).var(ddof1) # 总分方差 alpha k / (k - 1) * (1 - var_sum / var_total) print(fCronbachs α: {alpha:.3f})公式本身不复杂α 等于题数除以题数减一再乘以一减去各题方差之和除以总分方差。ddof1表示用样本方差即分母是 n-1这是统计默认。α 值在 0.7 以上可以接受0.8 以上比较好但超过 0.95 反而要警惕——那可能说明题目几乎在重复问同一个问题人工设计时应该避免。如果你发现 α 很低比如只有 0.4最常见的原因是这四道题里有一道是反向计分题它表达的方向和其他题目相反。这时候要把那道题的分数反向转换后再重新计算 α而不是直接删除。5. 避坑记录模拟问卷数据最容易翻车的五个场景5.1 解压提示「文件损坏」先看文件头别急着重新下载现象双击压缩包解压工具提示文件已损坏或无法作为压缩包打开。 原因文件名后缀是 .rar但真实文件不一定是 RAR 格式。很多渠道下载的文件只是把文件名命名为 .rar实际内容可能是 ZIP也可能在传输中被截断。另一个常见原因是下载工具把网页当成了文件保存导致整个文件其实是 HTML。 解决先用file命令看文件头RAR 的神奇字节是Rar!ZIP 是PK。看到PK就改用 ZIP 方式解压看到纯文本或 HTML 就删掉重新下载。在 Windows 上也可以把扩展名改成 .zip 再试一次但前提是你已经确认文件头。5.2 中文列名读进去全是乱码不是编码玄学是漏了 BOM现象pandas 读 CSV 后第一列列名显示成\ufeff性别或者所有中文全部乱码。 原因Windows 下 Excel 导出的 CSV 有两种编码路径一种是 GBK一种是带 BOM 的 UTF-8。\ufeff是 BOM 被当成字符读进来了GBK 文件用 UTF-8 读也会整体乱码。 解决读入前用 chardet 探测编码或者直接尝试encodingutf-8-sig和encodinggbk两种情况。更彻底的做法是约定好所有模拟数据统一用无 BOM 的 UTF-8 保存这需要在导出阶段就把编码固定下来。5.3 每个选项的样本量都差不多模拟数据太干净分析结果要打问号现象性别比例各 50%年龄段各 20%满意度每个等级都接近 20%频数分布均匀得不像真实问卷。 原因数据生成器默认用了均匀分布采样这是模拟数据最常见的通病。真实问卷的性别比例、年龄分布、满意度分布都带有明显的偏态比如满意度通常呈现右偏或左偏的倒 U 型。 解决看频数表时如果发现分布异常均匀先把结论标注为「仅用于流程验证」不能当作真实业务洞察。要生成更接近真实的数据需要按真实统计年鉴的比例做分层抽样而不是直接随机均匀采样。5.4 模拟数据上模型 99% 准确一上真实数据就崩缺噪音现象同一套分类模型在模拟问卷数据上准确率接近 99%上线用真实问卷预测时掉到 60% 出头。 原因模拟数据没有噪音没有错填没有矛盾回答没有缺失值模型的决策边界被拟合得过于干净。真实问卷里经常出现同一道题选了「非常满意」但下一道题又选了「非常不满意」的矛盾样本这些噪音会让模型边界完全失效。 解决用模拟数据训练时主动加入噪音。把 2% 到 5% 的答案随机改成其他选项再随机删掉一部分值制造缺失模拟数据的行为才会贴近真实。你可以在清洗这一步就留下这些噪音不要全部修正干净。5.5 导出数据库后时间字段全成文本CSV 的时间格式不统一现象把模拟数据的 CSV 导入数据库后submit_time字段显示成文本无法参与时间筛选和排序。 原因模拟数据的生成器把时间字段写成了混合格式比如一部分是2024-05-06 12:30:22一部分是2024/05/06 12:30数据库无法自动识别为时间类型只能降级为文本。 解决读入时把时间字段统一转换成 pandas 的datetime类型转换失败的行单独拎出来检查# 将 submit_time 列统一转换为时间类型errors 参数让非法值变成 NaT df[submit_time] pd.to_datetime(df[submit_time], errorscoerce) # 输出转换失败的行数量 print(df[submit_time].isna().sum())errorscoerce表示遇到无法解析的时间字符串时不报错而是把它变成缺失值。转换通过之后再导出到数据库时建议用 ISO 格式字符串比如2024-05-06T12:30:22这是跨系统最不容易出错的表示方式。6. 把模拟数据变成回归基线固定种子、固定断言再谈扩展模拟数据最大的价值不在本次分析而在它可以重复使用。我接手过的问卷项目里有个血泪教训前期用模拟数据把流程跑通了但数据文件被反复覆盖等系统升级后想回归验证发现基线没了只能重新造数据。所以我现在拿到任何模拟问卷数据第一件事是先复制一份原始压缩包单独存档然后建立一套回归基线校验。回归基线的基本思路是用同一份模拟数据固定一组断言每次数据处理代码改动后跑一遍断言保证流程没有破坏数据的基本特征。比如你解压后得到 1000 行 18 列性别只有男和女满意度取值在 1 到 5这些就是断言import pandas as pd df pd.read_csv(survey_data/questionnaire_data.csv, encodingutf-8-sig) # 回归基线任何流程改动后这几个断言都必须通过才算没翻车 assert df.shape[0] 1000, 样本行数不符合基线 assert df.shape[1] 18, 字段列数不符合基线 assert set(df[gender].dropna()) {男, 女}, 性别出现异常取值 assert df[satisfaction].between(1, 5).all(), 满意度取值越界把这段脚本放进测试目录之后每次改动数据清洗逻辑、字段映射逻辑都跑一遍。一旦断言失败你能立刻定位是哪一步处理改变了数据而不是等到分析结果不对劲再去从头排查。如果你需要扩大模拟数据规模不要手动复制行来凑数这会让重复样本把统计结果搞假。更可靠的做法是固定随机种子生成新的模拟数据比如用numpy.random.default_rng(42)的种子值保证每次生成的结果可复现同时保留原始数据作为对照。人们在处理模拟问卷数据时最常忽略的一点是模拟数据不是为了代替真实数据而是为了固定一个可重复的测试环境。理解了这一点这份压缩包对你来说就不是一次性文件而是一个可以长期依赖的基线工具。希望我上面写到的这些路径和坑能帮你在下一次拿到类似数据包时少走几步弯路。本文还有配套的精品资源点击获取