Python代码解析：处理JSON数据并导入Neo4j数据库

- 引言
- 代码结构概览
- 代码详解
- - 1. 导入必要的库
  - 2. 定义数据文件路径
  - 3. 读取JSON文件内容
  - 4. 连接Neo4j服务器
  - 5. 遍历数据并处理
- 总结
- 参考资料

引言

在数据处理和分析中，JSON是一种常见的数据格式。Neo4j是一个高性能的图数据库，能够存储和查询复杂的网络关系。本文将通过解析一段Python代码，详细介绍如何处理JSON数据并将其导入Neo4j数据库。

代码结构概览

首先，我们来看一下代码的整体结构：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time     :2022/9/13 10:03
# @File     :handler_person_data.py
# @Description: 处理json数据import json
import osfrom common import constant
from common.conn_neo4j import ConnNeo4j# 获得数据文件的路径
data_path = os.path.join(constant.DATA_DIR, "data-json.json")
# 读取数据文件的内容
data = json.load(open(data_path, 'r', encoding='utf-8'))
print("人物数目：", len(data))# 连接Neo4j服务器
neo4j = ConnNeo4j()
# 遍历数据
for item in data:item['name'] = item['中文名']# 毕业于school = []if '毕业于' in item.keys():school = item['毕业于']item.pop('毕业于')# 作品works = []if '作品' in item.keys():works = item['作品']item.pop('作品')# 相关人物relate_persons = {}if '相关人物' in item.keys():relate_persons = item['相关人物']item.pop('相关人物')print(item)# 创建人物节点neo4j.create_node("人物", item)# 创建学校节点，人物与学校间的关系neo4j.create_node_relations("人物", item, "学校", school, "毕业于", {'type': '毕业于'}, False)# 创建作品节点，人物与作品间的关系neo4j.create_node_relations("人物", item, "作品", works, "创作", {'type': '创作'}, False)# 创建相关人物，人物社会关系for key in relate_persons.keys():tmp_value = relate_persons[key]tmp_rel_type = keyif key in ['儿子', '女儿', '父亲', '母亲']:neo4j.create_node_relations("人物", item, "人物", tmp_value, tmp_rel_type, {'type': '亲子'}, False)elif key in ['孙子', '孙女', '爷爷', '奶奶']:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '祖孙'}, False)elif key in ['哥哥', '妹妹', '弟弟', '姐姐']:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '兄弟姐妹'}, False)elif key in ['丈夫', '妻子']:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '夫妻'}, False)elif key in ['女婿', '儿媳']:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '婿媳'}, False)elif key in ['学生', '老师']:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '师生'}, False)else:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '其他'}, False)

代码详解

1. 导入必要的库

import json
import osfrom common import constant
from common.conn_neo4j import ConnNeo4j

json：用于处理JSON格式的数据。
os：用于处理文件路径。
constant：从common模块中导入的常量，可能包含数据目录等信息。
ConnNeo4j：从common.conn_neo4j模块中导入的Neo4j连接类。

2. 定义数据文件路径

# 获得数据文件的路径
data_path = os.path.join(constant.DATA_DIR, "data-json.json")

data_path：指向包含数据的JSON文件路径。

3. 读取JSON文件内容

# 读取数据文件的内容
data = json.load(open(data_path, 'r', encoding='utf-8'))
print("人物数目：", len(data))

使用json.load()函数读取JSON文件的内容，并将其存储在data变量中。
打印出数据中的人物数目。

4. 连接Neo4j服务器

# 连接Neo4j服务器
neo4j = ConnNeo4j()

创建一个ConnNeo4j对象，用于连接Neo4j数据库。

5. 遍历数据并处理

# 遍历数据
for item in data:item['name'] = item['中文名']# 毕业于school = []if '毕业于' in item.keys():school = item['毕业于']item.pop('毕业于')# 作品works = []if '作品' in item.keys():works = item['作品']item.pop('作品')# 相关人物relate_persons = {}if '相关人物' in item.keys():relate_persons = item['相关人物']item.pop('相关人物')print(item)# 创建人物节点neo4j.create_node("人物", item)# 创建学校节点，人物与学校间的关系neo4j.create_node_relations("人物", item, "学校", school, "毕业于", {'type': '毕业于'}, False)# 创建作品节点，人物与作品间的关系neo4j.create_node_relations("人物", item, "作品", works, "创作", {'type': '创作'}, False)# 创建相关人物，人物社会关系for key in relate_persons.keys():tmp_value = relate_persons[key]tmp_rel_type = keyif key in ['儿子', '女儿', '父亲', '母亲']:neo4j.create_node_relations("人物", item, "人物", tmp_value, tmp_rel_type, {'type': '亲子'}, False)elif key in ['孙子', '孙女', '爷爷', '奶奶']:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '祖孙'}, False)elif key in ['哥哥', '妹妹', '弟弟', '姐姐']:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '兄弟姐妹'}, False)elif key in ['丈夫', '妻子']:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '夫妻'}, False)elif key in ['女婿', '儿媳']:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '婿媳'}, False)elif key in ['学生', '老师']:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '师生'}, False)else:neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '其他'}, False)