医学数据分析实训 项目三 关联规则分析作业--在线购物车分析--痹症方剂用药规律分析

文章目录

  • 项目三 关联规则分析
    • 一、实践目的
    • 二、实践平台
    • 三、实践内容
      • 任务一：在线购物车分析
        • （一）数据读入
        • （二）数据理解
        • （三）数据预处理
        • （四）生成频繁项集
        • （五）计算关联度
        • （六）可视化
        • （七）Apriori参数及其解读
        • （八）association_rules参数及其解读
      • 任务二：用药规律分析
    • 四、结果提交
      • 任务一：在线购物车分析
        • （三）数据预处理
        • （四）生成频繁项集
        • （五）计算关联度
        • 可视化结果
      • 任务二：用药规律分析

项目三 关联规则分析

一、实践目的

  1. 了解关联规则算法原理；
  2. 熟悉关联规则应用场景；
  3. 掌握使用 Apriori算法、FP-grouth算法进行关联规则分析的方法；

二、实践平台

  1. 操作系统：Windows7及以上
  2. Python版本：3.8.x及以上
  3. PyCharm或 Anoconda集成环境

三、实践内容

任务一：在线购物车分析

针对数据集 Online Retail.xlsx进行预处理。该数据集记录了在 2010年 12月 01日至 2011年 12月 09日的 541909条在线交易记录，包含 8个属性，主要属性如下：

  1. InvoiceNo: 订单编号，由 6位整数表示，退货单号由字母“C”开头。
  2. StockCode: 产品编号，每个不同的产品由不重复的 5位整数表示。
  3. Description: 产品描述。
  4. Quantity: 产品数量，每笔交易的每件产品的数量。
  5. InvoiceDate: 订单日期和时间，表示生成每笔交易的日期和时间。
  6. UnitPrice: 单价，单位产品的英镑价格。
  7. CustomerID: 顾客编号，每个客户由唯一的 5位整数表示。
  8. Country: 国家名称，每个客户所在国家/地区的名称。
（一）数据读入
  1. 导入本案例所需的 Python包；
  2. 将数据读入并存为 DataFrame格式，查看前 5行数据。
（二）数据理解
  1. 调用 shape属性查看数据集的形状；
  2. 调用 describe()方法对数据集进行探索性分析；
  3. 调用 info()方法查看样本数据的相关信息概览；
  4. 查看国家列（country）的取值；
  5. 查看各国家的购物数量；
  6. 查看订单编号（invoiceno）一列中是否有重复值；
（三）数据预处理
  1. 查看数据集中是否有缺失值；
  2. 删除商品名称（description）一列的字符串头尾的空白字符；
  3. 查看商品名称（description）一列的缺失值个数，并去除缺失值；
  4. 由于退货的订单编号由字母“C”开头，删除含有 C字母的已取消订单，并查看数据集形状；
  5. 将数据改为每一行一条购物记录（只计算德国客户），并查看结果的前 5行；
  6. 由于 Apriori方法中 df参数允许的值为 0/1或 True/False，在此将上面处理后的数据集转换为 0/1的形式；
（四）生成频繁项集
  1. mlxtend.frequent_patterns的 apriori()方法可以进行频繁项集的计算，将最小支持度设定为 0.07；输出结果，并查看满足条件的频繁项集个数；
  2. 使用 fpgrowth()方法寻找频繁项集，最小支持度设为 0.05；输出结果，查看满足条件的频繁项集个数；
（五）计算关联度
  1. 将提升度（lift）作为度量计算关联规则，并设置阈值为 1，表示计算具有正相关关系的关联规则，请通过 mlxtend.frequent_patterns的 association_rules()方法实现，并输出计算结果；
  2. 在以上结果中筛选出提升度不小于 2且置信度不小于 0.8的关联规则，并输出结果；
（六）可视化

通过 matplotlib.pyplot的 scatter函数绘制出提升度不小于1的关联规则的散点图，横坐标设置为支持度，纵坐标为置信度，散点的大小表示提升度。

（七）Apriori参数及其解读

在这里插入图片描述

（八）association_rules参数及其解读

在这里插入图片描述

任务二：用药规律分析

数据集“痹症方剂.xls“记录了治疗痹症的用药药方，请使用关联规则算法生成频繁项集，并计算关联度。（最小支持度及支持度、提升度等度量指标可自行决定。）

四、结果提交

提交任务一和任务二的全部实现代码。

任务一：在线购物车分析

import pandas as pd
from mlxtend.frequent_patterns import apriori, fpgrowth
from mlxtend.frequent_patterns import association_rules
import warnings# 忽略所有的 DeprecationWarning
warnings.filterwarnings("ignore", category=DeprecationWarning)# （一）数据读入
# 1. 导入本案例所需的 Python 包；
# 2. 将数据读入并存为 DataFrame 格式，查看前 5 行数据。
data = pd.read_excel('input/Online Retail.xlsx')
print(data.head(5))

# （二）数据理解# 1. 调用 shape 属性查看数据集的形状；
print(data.shape)
# 2. 调用 describe()方法对数据集进行探索性分析；
print(data.describe())
# 3. 调用 info()方法查看样本数据的相关信息概览；
print(data.info())
# 4. 查看国家列（country）的取值；
print(data['Country'].unique())
# 5. 查看各国家的购物数量；
print(data['Country'].value_counts())
# 6. 查看订单编号（invoiceno）一列中是否有重复值；
print('重复值的数量', data['InvoiceNo'].duplicated().sum())
(541909, 8)Quantity                    InvoiceDate      UnitPrice  \
count  541909.000000                         541909  541909.000000   
mean        9.552250  2011-07-04 13:34:57.156386048       4.611114   
min    -80995.000000            2010-12-01 08:26:00  -11062.060000   
25%         1.000000            2011-03-28 11:34:00       1.250000   
50%         3.000000            2011-07-19 17:17:00       2.080000   
75%        10.000000            2011-10-19 11:27:00       4.130000   
max     80995.000000            2011-12-09 12:50:00   38970.000000   
std       218.081158                            NaN      96.759853   CustomerID  
count  406829.000000  
mean    15287.690570  
min     12346.000000  
25%     13953.000000  
50%     15152.000000  
75%     16791.000000  
max     18287.000000  
std      1713.600303  
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 541909 entries, 0 to 541908
Data columns (total 8 columns):#   Column       Non-Null Count   Dtype         
---  ------       --------------   -----         0   InvoiceNo    541909 non-null  object        1   StockCode    541909 non-null  object        2   Description  540455 non-null  object        3   Quantity     541909 non-null  int64         4   InvoiceDate  541909 non-null  datetime64[ns]5   UnitPrice    541909 non-null  float64       6   CustomerID   406829 non-null  float64       7   Country      541909 non-null  object        
dtypes: datetime64[ns](1), float64(2), int64(1), object(4)
memory usage: 33.1+ MB
None
['United Kingdom' 'France' 'Australia' 'Netherlands' 'Germany' 'Norway''EIRE' 'Switzerland' 'Spain' 'Poland' 'Portugal' 'Italy' 'Belgium''Lithuania' 'Japan' 'Iceland' 'Channel Islands' 'Denmark' 'Cyprus''Sweden' 'Austria' 'Israel' 'Finland' 'Bahrain' 'Greece' 'Hong Kong''Singapore' 'Lebanon' 'United Arab Emirates' 'Saudi Arabia''Czech Republic' 'Canada' 'Unspecified' 'Brazil' 'USA''European Community' 'Malta' 'RSA']
Country
United Kingdom          495478
Germany                   9495
France                    8557
EIRE                      8196
Spain                     2533
Netherlands               2371
Belgium                   2069
（三）数据预处理
# 1. 查看数据集中是否有缺失值；
print(data.isnull().sum())
# 2. 删除商品名称（description）一列的字符串头尾的空白字符；
data['Description'] = data['Description'].str.strip()
# 3. 查看商品名称（description）一列的缺失值个数，并去除缺失值；
print(data['Description'].isnull().sum())
data = data.dropna(subset=['Description'])

InvoiceNo           0
StockCode           0
Description      1454
Quantity            0
InvoiceDate         0
UnitPrice           0
CustomerID     135080
Country             0
dtype: int64
1455

# 4. 由于退货的订单编号由字母“C”开头，删除含有 C 字母的已取消订单，并查看数据集形状；
data = data[~data['InvoiceNo'].astype(str).str.startswith('C')]
print(data.shape)
# 5. 将数据改为每一行一条购物记录（只计算德国客户），并查看结果的前 5 行；
data_germany = data[data['Country'] == 'Germany']
data_germany = data_germany.groupby(['InvoiceNo', 'Description'])['Quantity'].sum().unstack().reset_index().fillna(0).set_index('InvoiceNo')
data_germany = data_germany.map(lambda x: 1 if x > 0 else 0)
print(data_germany.head())
（四）生成频繁项集
# 1. 使用 apriori() 方法进行频繁项集的计算，将最小支持度设定为 0.07；输出结果，并查看满足条件的频繁项集个数；
frequent_itemsets_apriori = apriori(data_germany,min_support=0.07,use_colnames=True)
# 输出频繁项集结果
print("频繁项集（Apriori 方法）：")
print(frequent_itemsets_apriori)# 输出满足条件的频繁项集个数
print("满足条件的频繁项集个数:", len(frequent_itemsets_apriori))

在这里插入图片描述

# 2. 使用 fpgrowth()方法寻找频繁项集，最小支持度设为 0.05；输出结果，查看满足条件的频繁项集个数；
frequent_itemsets_fpgrowth = fpgrowth(data_germany,min_support=0.05,use_colnames=True)# 输出频繁项集结果
print("频繁项集（FP-Growth 方法）：")
print(frequent_itemsets_fpgrowth)# 输出满足条件的频繁项集个数
print("满足条件的频繁项集个数:", len(frequent_itemsets_fpgrowth))

在这里插入图片描述

（五）计算关联度
# 1. 将提升度（lift）作为度量计算关联规则，并设置阈值为 1，表示计算具有正相关关系的关联规则，请通过 association_rules() 方法实现，并输出计算结果；
# 计算提升度并生成关联规则
rules = association_rules(frequent_itemsets_apriori,metric="lift",min_threshold=1)# 输出关联规则结果
print("生成的关联规则：")
print(rules)

# 2. 在以上结果中筛选出提升度不小于 2 且置信度不小于 0.8 的关联规则，并输出结果；
filtered_rules = rules[(rules['lift'] >= 2) & (rules['confidence'] >= 0.8)]# 输出筛选结果
print("筛选后的关联规则：")
print(filtered_rules)
# 保存输出结果
filtered_rules.to_csv('output/filtered_rules.csv')

在这里插入图片描述

可视化结果
# 通过 matplotlib.pyplot的 scatter 函数绘制出提升度不小于1的关联规则的散点图，横坐标设置为支持度，纵坐标为置信度，散点的大小表示提升度。import matplotlib.pyplot as plt# 正常显示
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
# 显示符号
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
# 筛选提升度不小于 1 的关联规则
filtered_rules = rules[rules['lift'] >= 1]# 绘制散点图
plt.figure(figsize=(10, 6))
scatter = plt.scatter(filtered_rules['support'], filtered_rules['confidence'],s=filtered_rules['lift'] * 100,  # 散点大小，放大提升度便于观察alpha=0.5,  # 散点透明度c='blue',  # 散点颜色edgecolors='w')  # 散点边缘颜色# 添加标签和标题
plt.title('关联规则的散点图（支持度 vs 置信度）')
plt.xlabel('支持度')
plt.ylabel('置信度')# 添加每个点的标注（可选）
# for i in range(filtered_rules.shape[0]):
#     plt.annotate(filtered_rules.index[i],
#                  (filtered_rules['support'].iloc[i],
#                   filtered_rules['confidence'].iloc[i]),
#                  fontsize=8)plt.grid()
plt.show()

在这里插入图片描述

任务二：用药规律分析

import pandas as pd
from mlxtend.frequent_patterns import apriori, association_rules
from mlxtend.preprocessing import TransactionEncoder# 1. 读取数据
data = pd.read_excel("input/痹症方剂.xls")
print(data)print("\n数据的基本信息：")
print(data.info())

# 2. 数据预处理
# 转换DataFrame为事务格式
def encode_items(x):return [item for item in x if str(item) != 'nan']transactions = data.apply(encode_items, axis=1)# 创建事务编码器对象并拟合数据
te = TransactionEncoder()
te_ary = te.fit(transactions).transform(transactions)
df_te = pd.DataFrame(te_ary, columns=te.columns_)# 应用Apriori算法找到频繁项集
frequent_itemsets = apriori(df_te, min_support=0.05, use_colnames=True)
print(frequent_itemsets)
      support        itemsets
0    0.977528              ()
1    0.067416            (丹参)
2    0.067416            (乳香)
3    0.191011            (人参)
4    0.067416            (僵蚕)
..        ...             ...
151  0.056180  (, 桂心, 甘草, 人参)
152  0.056180  (, 茯苓, 甘草, 人参)
153  0.056180  (, 防风, 甘草, 人参)
154  0.056180  (, 当归, 甘草, 防风)
155  0.056180  (, 茯苓, 桂心, 甘草)

# 计算关联规则
rules = association_rules(frequent_itemsets, metric="lift", min_threshold=1)
print(rules)# 保存频繁项集和关联规则
frequent_itemsets.to_csv('output/test2_frequent_itemsets.csv')
rules.to_csv('output/test2_rules.csv')

在这里插入图片描述
在这里插入图片描述

# 通过 matplotlib.pyplot的 scatter 函数绘制出提升度不小于1的关联规则的散点图，横坐标设置为支持度，纵坐标为置信度，散点的大小表示提升度。import matplotlib.pyplot as plt# 正常显示
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
# 显示符号
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
# 筛选提升度不小于 1 的关联规则
filtered_rules = rules[rules['lift'] >= 1]# 绘制散点图
plt.figure(figsize=(10, 6))
scatter = plt.scatter(filtered_rules['support'], filtered_rules['confidence'],s=filtered_rules['lift'] * 100,  # 散点大小，放大提升度便于观察alpha=0.5,  # 散点透明度c='blue',  # 散点颜色edgecolors='w')  # 散点边缘颜色# 添加标签和标题
plt.title('关联规则的散点图（支持度 vs 置信度）')
plt.xlabel('支持度')
plt.ylabel('置信度')# 添加每个点的标注（可选）
# for i in range(filtered_rules.shape[0]):
#     plt.annotate(filtered_rules.index[i],
#                  (filtered_rules['support'].iloc[i],
#                   filtered_rules['confidence'].iloc[i]),
#                  fontsize=8)plt.grid()
plt.show()

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/142348.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

什么是 HTTP/3？下一代 Web 协议

什么是 HTTP/3？下一代 Web 协议

毫无疑问&#xff0c;发展互联网底层的庞大协议基础设施是一项艰巨的任务。 HTTP 的下一个主要版本基于 QUIC 协议构建&#xff0c;并有望提供更好的性能和更高的安全性。 以下是 Web 应用程序开发人员需要了解的内容。 HTTP/3 的前景与风险 HTTP/3 致力于让互联网对每个人…
阅读更多...
[数据集][图像分类]茶叶病害分类数据集6749张7类别

[数据集][图像分类]茶叶病害分类数据集6749张7类别

数据集类型&#xff1a;图像分类用&#xff0c;不可用于目标检测无标注文件 数据集格式&#xff1a;仅仅包含jpg图片&#xff0c;每个类别文件夹下面存放着对应图片 图片数量(jpg文件个数)&#xff1a;6749 分类类别数&#xff1a;7 类别名称:["Unlabeled","alg…
阅读更多...
项目实现：云备份②（文件操作、Json等工具类的实现）

项目实现：云备份②（文件操作、Json等工具类的实现）

云备份 前言文件操作实用工具类设计文件属性的获取文件的读写操作文件压缩与解压缩的实现文件目录操作 Json 实用工具类设计编译优化 前言 如果有老铁不知道当前项目实现的功能是什么的话&#xff0c;可以先移步这篇文章内容&#xff1a; 云备份项目的介绍 其中介绍了云备份项…
阅读更多...
在 Dify 中高效利用 SiliconCloud API

在 Dify 中高效利用 SiliconCloud API

引言 SiliconCloud 以其丰富的模型库和卓越的处理速度&#xff0c;在 Dify 平台上实现高效工作流和智能代理变得轻而易举。本文将指导您如何在 Dify 中集成 SiliconCloud 的强大功能。 集成 SiliconCloud 模型 步骤一&#xff1a;设置 SiliconCloud 账户 首先&#xff0c;您…
阅读更多...
5. Python之数据类型

5. Python之数据类型

Python数据类型有数值型&#xff0c;字符串型&#xff0c;布尔型等等 内置函数type()&#xff0c;可以查看变量的数据类型 。 一、数值类型 整数&#xff08;没有小数部分&#xff0c;包含正整数&#xff0c;负整数&#xff0c;0&#xff0c;默认为十进制数&#xff09;&…
阅读更多...
PHP：强大的Web开发语言

PHP：强大的Web开发语言

PHP&#xff1a;强大的Web开发语言 一、PHP 简介及优势 PHP 的基本概念 PHP&#xff08;PHP: Hypertext Preprocessor&#xff09;即 “超文本预处理器”&#xff0c;是一种通用开源脚本语言&#xff0c;最初由 Rasmus Lerdorf 于 1994 年创建。它可以在服务器上执行&#xf…
阅读更多...
正则表达式匹配整数与浮点数失败与解决方案

正则表达式匹配整数与浮点数失败与解决方案

正则表达式匹配整数与浮点数失败与解决方案 问题描述问题分析解决方案总结 问题描述 在处理数据的时候需要提取文本内整数与浮点数&#xff0c;这个时候想到使用正则表达式&#xff0c;咨询百度文心一言给出以下方案及参考代码 import re text "我有100元&#xff0c;…
阅读更多...
华为地图服务功能概览 -- HarmonyOS自学7

华为地图服务功能概览 -- HarmonyOS自学7

华为地图服务式Harmony OS生态下的一个地图服务&#xff0c;为开发者提供强大而便捷的地图能力&#xff0c;助力全球开发者实现个性化地图呈现&#xff0c;地图搜索和路线规划功能。 主要包括七大功能&#xff1a;静态图&#xff0c;场景化控件&#xff0c;地点搜索&#xff0c…
阅读更多...
函数的认识（二）

函数的认识（二）

函数的基础知识可查看&#xff1a;函数的认识&#xff08;一&#xff09; &#xff08;1&#xff09;函数说明文档 函数是纯代码语言&#xff0c;想要理解其含义&#xff0c;就需要一行行的去阅读理解代码&#xff0c;效率比较低。 我们可以给函数添加说明文档&#xff0c;辅…
阅读更多...
Python 解析 Charles JSON Session File (.chlsj)

Python 解析 Charles JSON Session File (.chlsj)

Charles 代理&#xff0c;是一款抓包软件&#xff0c;可以帮助我们抓取浏览器请求跟响应。 1、在 Filter 里面输入需要抓包的网址 2、右键 Export Session 3、文件类型选择 JSON Session File (.chlsj) 保存 4、解析响应的数据结构 response.body.text 是文本字符串。 # 导入…
阅读更多...
Navicat使用 笔记04

Navicat使用 笔记04

Navicat调用数据库 1.创建一个自己的链接&#xff08;文件-->新建连接-->MySQL&#xff09; 进入到这个界面中&#xff1a; 【注意&#xff1a;密码是下载登录软件时设定过的】 创建一个连接完成&#xff08;通过双击激活&#xff09;。 2.在创建好的连接中创建数据库…
阅读更多...
Linux-mysql5.7-mysql8.0安装包下载及安装教程，二合一

Linux-mysql5.7-mysql8.0安装包下载及安装教程，二合一

一、安装包下载 1、手动下载 MySQL :: Download MySQL Community Server 2、wegt下载 wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz 登录自己的liunx &#xff0c;复制上面的命令下载。 二、手动安装 1、上传压缩包到…
阅读更多...
蓝桥杯-基于STM32G432RBT6的LCD进阶（LCD界面切换以及高亮显示界面）

蓝桥杯-基于STM32G432RBT6的LCD进阶（LCD界面切换以及高亮显示界面）

目录 一、页面切换内容详解 1.逻辑解释 2.代码详解 code.c&#xff08;内含详细讲解&#xff09; code.h main.c 3.效果图片展示 ​编辑 二、页面选项高亮内容详解 1.逻辑解释 2.读入数据 FIRST.第一种高亮类型 code.c&#xff08;内含代码详解&#xff09; code.…
阅读更多...
kubernetes中pause容器的作用与源码详解

kubernetes中pause容器的作用与源码详解

概述 摘要&#xff1a;上一篇文章我们介绍了kubernetes是如何通过pause容器来构建一个pod。本文我们对pause容器做一个总结&#xff0c;并再此基础上次深入浅出&#xff0c;从pause容器的源码详细了解pause容器的实现原理。 正文 pause容器是什么 在 Kubernetes 中&#xff…
阅读更多...
超高速传输 -- Fixed Grid与Flexible Grid

超高速传输 -- Fixed Grid与Flexible Grid

Fixed Grid 传统的40波/80波DWDM系统采用Fixed Grid固定光谱方式&#xff0c;波长间隔固定为100GHz或者50GHz&#xff0c;中心频率也是固定的。在Fixed Grid方式下&#xff0c;带宽无法灵活调配。 随着系统中信号速率的提升&#xff0c;光信号的频谱也在变宽&#xff1b;当多速…
阅读更多...
SpringSecurity原理解析（八）：CSRF防御解析

SpringSecurity原理解析（八）：CSRF防御解析

一、CsrfFilter CsrfFilter 主要功能是用来防止csrf攻击 一、什么是CSRF攻击 跨站请求伪造&#xff08;英语&#xff1a;Cross-site request forgery&#xff09;&#xff0c;也被称为 one-click attack 或者 session riding&#xff0c;通常缩写为 CSRF 或者 XSRF&#xff0c…
阅读更多...
有关C# .NET Core 过滤器的使用

有关C# .NET Core 过滤器的使用

想用一个过滤器实现特定接口的审核日志记录&#xff0c;结果报了错&#xff0c;看了看感觉有些基础要补&#xff0c;所以想记录下来 错误&#xff1a; 在属性过滤器中使用了依赖注入&#xff0c;结果在应用在控制层接口时报了传参的错 //过滤器 public class AuditRecordFil…
阅读更多...
数据时代，职场离不开的远程控制工具

数据时代，职场离不开的远程控制工具

中秋了大概率是在正常放假了吧&#xff0c;如果突发遇到需要你处理的文件怎么办呢&#xff1f;其实有远程操作工具你就不用到办公室了。向日葵远程控制软件这些工具就可以帮我们远程实现控制电脑操作。如果你也有这方面需求就继续看吧&#xff0c;这次我将介绍几款我用过效果比…
阅读更多...
（c++）字符串相加（真没想到字符串还有相加运算）

（c++）字符串相加（真没想到字符串还有相加运算）

#include<iostream> #include<string> using namespace std;int main() {string ch1 "你好";string ch2 "再见";string ch3 ch1 ch2;cout << ch3 << endl;system("pause");return 0; } 运行结果&#xff1a; 学了c…
阅读更多...
SpringBoot Kafka发送消息与接收消息实例

SpringBoot Kafka发送消息与接收消息实例

前言 Kafka的基本工作原理 我们将消息的发布&#xff08;publish&#xff09;称作 producer(生产者)&#xff0c;将消息的订阅&#xff08;subscribe&#xff09;表述为 consumer&#xff08;消费者&#xff09;&#xff0c;将中间的存储阵列称作 broker(代理)&#xff0c;这…
阅读更多...
最新文章

Copyright @ 2022~2023