1. 为什么需要处理JSON到CSV的转换在日常数据处理工作中JSON和CSV是两种最常见的结构化数据格式。JSON以其灵活性和层次化结构著称特别适合API响应和配置存储而CSV则因其简洁性和广泛兼容性成为数据分析、电子表格处理的通用格式。最近我在处理一个电商平台的订单数据导出项目时就遇到了典型的JSON转CSV需求。平台API返回的是包含多层嵌套的JSON数据而业务部门需要的是能用Excel直接打开的平面表格。这个过程中我发现许多初级开发者面对嵌套JSON时容易手足无措要么丢失深层数据要么生成错误的CSV结构。2. 基础JSON到CSV转换实战2.1 准备工作与环境搭建首先确保你的Python环境已安装pandas库——这是数据处理的事实标准工具。如果尚未安装执行pip install pandas准备一个简单的JSON示例文件simple_data.json[ {id: 1, name: 产品A, price: 99.99}, {id: 2, name: 产品B, price: 149.99}, {id: 3, name: 产品C, price: 199.99} ]2.2 基础转换代码实现使用pandas进行基础转换仅需三行代码import pandas as pd df pd.read_json(simple_data.json) df.to_csv(output.csv, indexFalse)关键参数说明indexFalse避免生成多余的索引列这是新手常犯的错误之一。2.3 处理日期和特殊字符实际业务数据往往包含需要特殊处理的字段。比如遇到日期时间戳时df[create_time] pd.to_datetime(df[timestamp], unitms)当JSON中包含换行符等特殊字符时建议指定CSV编码df.to_csv(output.csv, indexFalse, encodingutf-8-sig)3. 嵌套JSON数据处理技巧3.1 识别嵌套结构类型复杂JSON通常包含以下几种嵌套形式对象嵌套{user: {name: Alice, age: 30}}数组嵌套{orders: [{id: 1}, {id: 2}]}混合嵌套{data: {items: [{sku: A1}, {sku: B2}]}}3.2 使用json_normalize展开嵌套pandas的json_normalize是处理嵌套的利器。假设有嵌套JSON文件nested_data.json{ orders: [ { id: 1001, customer: { name: 张三, vip: true }, items: [ {sku: A001, qty: 2}, {sku: B002, qty: 1} ] } ] }处理代码示例from pandas import json_normalize import json with open(nested_data.json) as f: data json.load(f) # 展开第一层嵌套 df_orders json_normalize(data[orders]) # 展开深层嵌套items数组 df_items json_normalize( data[orders], items, [id, [customer, name]] )3.3 自定义展开逻辑对于更复杂的场景可能需要编写自定义处理函数。比如需要将数组嵌套展开为多行def expand_nested_json(data): rows [] for order in data[orders]: base_info { order_id: order[id], customer: order[customer][name] } for item in order[items]: row {**base_info, **item} rows.append(row) return pd.DataFrame(rows)4. 高级技巧与性能优化4.1 处理大型JSON文件当JSON文件超过内存时可以采用流式处理import ijson def process_large_json(input_file): with open(input_file, rb) as f: for record in ijson.items(f, item): yield { id: record[id], name: record.get(name, ) } pd.DataFrame(process_large_json(big_data.json)).to_csv(big_output.csv)4.2 字段映射与重命名转换时经常需要规范化字段名column_mapping { customer.name: customer_name, items[0].sku: main_sku } df.rename(columnscolumn_mapping, inplaceTrue)4.3 类型转换最佳实践自动类型推断有时会出错建议显式指定dtype_spec { id: int32, price: float64, is_vip: boolean } df df.astype(dtype_spec)5. 常见问题排查手册5.1 编码问题解决方案问题现象可能原因解决方案中文乱码编码不匹配使用encodingutf-8-sig特殊符号错误CSV注入添加quotingcsv.QUOTE_NONNUMERIC5.2 嵌套处理典型错误数组展开不全忘记设置meta参数指定父字段数据类型丢失嵌套展开后数字变为字符串空值处理不当使用pd.NA替代Python的None5.3 性能优化检查点对于100MB的JSON考虑分块处理避免在循环中反复创建DataFrame使用dtype参数减少内存占用6. 完整项目示例下面是一个处理电商订单的完整示例import pandas as pd from pandas import json_normalize import json def process_order_data(input_file, output_file): with open(input_file) as f: raw_data json.load(f) # 展开订单基本信息 orders_df json_normalize( raw_data[orders], sep_ ) # 展开商品明细 items_df json_normalize( raw_data[orders], items, [id, [customer, name]], meta_prefixorder_ ) # 合并关键字段 result pd.merge( orders_df, items_df, left_onid, right_onorder_id ) # 字段清理 result.drop(columns[order_id], inplaceTrue) result.rename(columns{customer_name: buyer}, inplaceTrue) # 输出CSV result.to_csv(output_file, indexFalse, encodingutf-8-sig) process_order_data(complex_orders.json, order_report.csv)这个方案在实际项目中处理了包含5万条订单记录的JSON文件平均处理时间约8秒配置i5-1135G7, 16GB RAM。关键点在于分阶段处理不同层级的嵌套使用有意义的字段命名合理控制内存使用 
长河君 · 2026/10/13 15:46:40 · 阅读 1.2k Python实现JSON转CSV的完整指南与实战技巧
1. 为什么需要处理JSON到CSV的转换在日常数据处理工作中JSON和CSV是两种最常见的结构化数据格式。JSON以其灵活性和层次化结构著称特别适合API响应和配置存储而CSV则因其简洁性和广泛兼容性成为数据分析、电子表格处理的通用格式。最近我在处理一个电商平台的订单数据导出项目时就遇到了典型的JSON转CSV需求。平台API返回的是包含多层嵌套的JSON数据而业务部门需要的是能用Excel直接打开的平面表格。这个过程中我发现许多初级开发者面对嵌套JSON时容易手足无措要么丢失深层数据要么生成错误的CSV结构。2. 基础JSON到CSV转换实战2.1 准备工作与环境搭建首先确保你的Python环境已安装pandas库——这是数据处理的事实标准工具。如果尚未安装执行pip install pandas准备一个简单的JSON示例文件simple_data.json[ {id: 1, name: 产品A, price: 99.99}, {id: 2, name: 产品B, price: 149.99}, {id: 3, name: 产品C, price: 199.99} ]2.2 基础转换代码实现使用pandas进行基础转换仅需三行代码import pandas as pd df pd.read_json(simple_data.json) df.to_csv(output.csv, indexFalse)关键参数说明indexFalse避免生成多余的索引列这是新手常犯的错误之一。2.3 处理日期和特殊字符实际业务数据往往包含需要特殊处理的字段。比如遇到日期时间戳时df[create_time] pd.to_datetime(df[timestamp], unitms)当JSON中包含换行符等特殊字符时建议指定CSV编码df.to_csv(output.csv, indexFalse, encodingutf-8-sig)3. 嵌套JSON数据处理技巧3.1 识别嵌套结构类型复杂JSON通常包含以下几种嵌套形式对象嵌套{user: {name: Alice, age: 30}}数组嵌套{orders: [{id: 1}, {id: 2}]}混合嵌套{data: {items: [{sku: A1}, {sku: B2}]}}3.2 使用json_normalize展开嵌套pandas的json_normalize是处理嵌套的利器。假设有嵌套JSON文件nested_data.json{ orders: [ { id: 1001, customer: { name: 张三, vip: true }, items: [ {sku: A001, qty: 2}, {sku: B002, qty: 1} ] } ] }处理代码示例from pandas import json_normalize import json with open(nested_data.json) as f: data json.load(f) # 展开第一层嵌套 df_orders json_normalize(data[orders]) # 展开深层嵌套items数组 df_items json_normalize( data[orders], items, [id, [customer, name]] )3.3 自定义展开逻辑对于更复杂的场景可能需要编写自定义处理函数。比如需要将数组嵌套展开为多行def expand_nested_json(data): rows [] for order in data[orders]: base_info { order_id: order[id], customer: order[customer][name] } for item in order[items]: row {**base_info, **item} rows.append(row) return pd.DataFrame(rows)4. 高级技巧与性能优化4.1 处理大型JSON文件当JSON文件超过内存时可以采用流式处理import ijson def process_large_json(input_file): with open(input_file, rb) as f: for record in ijson.items(f, item): yield { id: record[id], name: record.get(name, ) } pd.DataFrame(process_large_json(big_data.json)).to_csv(big_output.csv)4.2 字段映射与重命名转换时经常需要规范化字段名column_mapping { customer.name: customer_name, items[0].sku: main_sku } df.rename(columnscolumn_mapping, inplaceTrue)4.3 类型转换最佳实践自动类型推断有时会出错建议显式指定dtype_spec { id: int32, price: float64, is_vip: boolean } df df.astype(dtype_spec)5. 常见问题排查手册5.1 编码问题解决方案问题现象可能原因解决方案中文乱码编码不匹配使用encodingutf-8-sig特殊符号错误CSV注入添加quotingcsv.QUOTE_NONNUMERIC5.2 嵌套处理典型错误数组展开不全忘记设置meta参数指定父字段数据类型丢失嵌套展开后数字变为字符串空值处理不当使用pd.NA替代Python的None5.3 性能优化检查点对于100MB的JSON考虑分块处理避免在循环中反复创建DataFrame使用dtype参数减少内存占用6. 完整项目示例下面是一个处理电商订单的完整示例import pandas as pd from pandas import json_normalize import json def process_order_data(input_file, output_file): with open(input_file) as f: raw_data json.load(f) # 展开订单基本信息 orders_df json_normalize( raw_data[orders], sep_ ) # 展开商品明细 items_df json_normalize( raw_data[orders], items, [id, [customer, name]], meta_prefixorder_ ) # 合并关键字段 result pd.merge( orders_df, items_df, left_onid, right_onorder_id ) # 字段清理 result.drop(columns[order_id], inplaceTrue) result.rename(columns{customer_name: buyer}, inplaceTrue) # 输出CSV result.to_csv(output_file, indexFalse, encodingutf-8-sig) process_order_data(complex_orders.json, order_report.csv)这个方案在实际项目中处理了包含5万条订单记录的JSON文件平均处理时间约8秒配置i5-1135G7, 16GB RAM。关键点在于分阶段处理不同层级的嵌套使用有意义的字段命名合理控制内存使用