亚马逊评论爬虫+数据分析

爬取评论
做分析首先得有数据，数据是核心，而且要准确！

1、爬虫必要步骤，选好框架
2、开发所需数据
3、最后测试流程
这里我所选框架是selenium+request，很多人觉得selenium慢，确实不快，仅针对此项目我做过测试，相对于request要快，要方便一些！也可以用你们熟悉的框架，用的趁手就行！
最核心的要采用无浏览器模式，这样会快很多
安装浏览器对应webdriver版本

http://npm.taobao.org/mirrors/chromedriver/

获取评论数，评级数, 监控评论
·亚马逊产品评论分为5个等级，从1到5

    def get_review_summarys(self):# 解析评论星级def parse(site, asin, rating, html):# 解析评论星级selector = etree.HTML(html)title = select(selector, "//a[@data-hook='product-link']/text()", 0, None)if not title:return site, asin, self.parent_asin, None, None, None, Nonereview_rating_count = select(selector, "//div[@data-hook='cr-filter-info-review-rating-count']/span/text()",0,None)if review_rating_count:review_rating_count = [s.strip() for s in review_rating_count.split("|")]rating_count = int(review_rating_count[0].split(" ")[0].replace(",", ""))review_count = int(review_rating_count[1].split(" ")[0].replace(",", ""))only_rating_count = rating_count - review_countelse:rating_count = Nonereview_count = Noneonly_rating_count = Noneprint(site, asin, rating, rating_count, review_count, only_rating_count, sep="\t")return site, asin, rating, rating_count, review_count, only_rating_countself.review_summarys = []run_successfully = 1star_map = {1: "one_star", 2: "two_star", 3: "three_star", 4: "four_star", 5: "five_star"}url_map = {"parent": "{}product-reviews/{}/?language={}&filterByStar={}&reviewerType=all_reviews"}try:for rating, star in star_map.items():index_url = 'https://www.amazon.com/'language = 'ref=cm_cr_arp_d_viewopt_sr?ie=UTF8'url_format = url_map.get(self.parent_asin,"{}product-reviews/{}/?language={}&filterByStar={}&reviewerType=all_reviews&formatType=current_format")self.re_url = url_format.format(index_url,self.asin, language, star)res = requests.get(self.re_url, headers=headers).textself.rating = ratingreview_summary = parse(self.site, self.asin, self.rating,res)self.review_summarys.append(review_summary)except Exception as err:print("请求中断：{}".format(err))run_successfully = 0finally:return run_successfully, self.review_summarys

获取评论内容

    def get_main_information(self):# 等待页面加载完毕while True:try:WebDriverWait(self.driver, 30).until(EC.presence_of_element_located((By.ID, 'cm_cr-review_list')))breakexcept Exception as e:print(e)self.driver.refresh()continueus = self.driver.find_element_by_id("cm_cr-review_list")# 获取每页的全部评论信息text = self.driver.page_sourceselector = etree.HTML(text)self.review_detail = []try:reviews = selector.xpath("//div[@data-hook='review']")for review in reviews:review_id = select(review, "./@id", 0, "")customer = select(review, ".//span[@class='a-profile-name']/text()", 0, "")review_title = select(review, ".//*[@data-hook='review-title']/span/text()", 0, "")review_date = select(review, ".//span[contains(@*,'review-date')]/text()", 0, None)if review_date:li = re.findall("\d+.\d+.\d+.\d+.", review_date)[0]yyyy = re.findall('\d\d\d\d',li)[0]mm = re.findall('年(\d+)',li)[0]dd = re.findall('月(\d+)',li)[0]review_date = "{}-{}-{}".format(yyyy, mm, dd)else:review_date = Noneverified_purchase = select(review, ".//span[@data-hook='avp-badge']/text()", 0, "")review_body = select(review, ".//span[@data-hook='review-body']/span/text()")review_rating = select(review, ".//i[contains(@data-hook, 'review-star-rating')]/span/text()", 0, "")review_rating = int(float(review_rating.split(" ")[0].replace(",", "."))) if review_rating else Nonereview_href = select(review, ".//a[@class='a-link-normal']/@href", 0, "")review_href = review_href if review_id in review_href else ""index_url = 'https://www.amazon.com/'review_url = index_url + review_href[1:] if review_href else ""asin = re.findall('ASIN=(.*)',review_url)[0]print(self.site,asin,self.product_name,review_id, customer, review_title, review_date,verified_purchase, review_body,review_rating, review_url, sep="\n")print("----------------------------------------------------------------------------------------------")self.review_detail.append((self.site,asin,self.product_name,review_id, customer, review_title, review_date,verified_purchase,review_body,review_rating, review_url))except Exception as e:print(e)# 判断是否还有下一页next_pagetry:WebDriverWait(self.driver, 5).until(EC.element_to_be_clickable((By.XPATH, '//li[@class = "a-last"]/a')))self.next_page = us.find_element_by_xpath('.//li[@class = "a-last"]/a').get_attribute("href")except NoSuchElementException:self.driver.find_elements_by_xpath('//li[@class = "a-disabled a-last"]')self.next_page = Noneprint("未有下一页")except TimeoutException:self.next_page = Noneself.driver.refresh()
- 数据存储方式建议大家使用mysql，如果只是测试玩玩就用csv或者excel

数据有了，下面我们开始分析，怎么分析呢？这里我用到是tableau-BI工具，要结合业务需求来选择工具，BI更适合公司开发业务，实现企业化！

1、每日星级变动分析：评论数，星级数
每天实时更新评级数，把爬虫放到服务器上写一个定时任务！
通过tableau展示可视化报表

2、评论监控
每日实时更新有变动的评论数，评级数
重新建表，把计算逻辑写到函数中，通过比对的方法实现变动
在这里插入图片描述

3、最后通过BI展示
在这里插入图片描述
定时任务

def get_ratings(h=7, m=30):while True:now = datetime.datetime.now()# print(now.hour, now.minute)if now.hour == h and now.minute == m:spider_main()# 每隔60秒检测一次time.sleep(60)if __name__ == '__main__':# get_reviews()get_ratings()

本文章若对你有帮助，烦请点赞，收藏，关注支持一下！
各位的支持和认可就是我最大的动力！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/11313.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

批量缓存模版

批量缓存模版

批量缓存模版 缓存通常有两种使用方式，一种是Cache-Aside，一种是cache-through。也就是旁路缓存和缓存即数据源。 一般一种用于读，另一种用于读写。参考后台服务架构高性能设计之道。 最典型的Cache-Aside的样例： //读操作 da…
阅读更多...
09 Oracle数据拯救：Flashback Technologies精细级数据恢复指南

09 Oracle数据拯救：Flashback Technologies精细级数据恢复指南

文章目录 09 Oracle数据拯救：Flashback Technologies精细级数据恢复指南一、Flashback Technologies概览二、Flashback Query：查询过去的数据三、Flashback Table：恢复整个表四、Flashback Database：恢复整个数据库五、总结与最佳…
阅读更多...
BIST（Built-in Self-Test，内建自测试）学习笔记

BIST（Built-in Self-Test，内建自测试）学习笔记

参考资料: 内建自测试（Built-in Self-Test，简称BIST）详解_built in self test-CSDN博客 芯片测试术语 ，片内测试(BIST)，ATE测试-CSDN博客 可能是DFT最全面的介绍--BIST - 知乎 (zhihu.com) 汽车功能安全--TC3xx LB…
阅读更多...
three.js 杂记

three.js 杂记

在Three.js中，Object3D是所有3D对象的基类，而Group是Object3D的一个子类。Group的目的是为了简化处理多个对象的集合。当你将对象添加到Group中时，它们会以一个单元格的形式被处理，参与Group的某些操作，例如位置更新、…
阅读更多...
go函数传值是值传递？还是引用传递？slice案例加图解

go函数传值是值传递？还是引用传递？slice案例加图解

先说下结论 Go语言中所有的传参都是值传递（传值），都是一个副本，一个拷贝。 值语义类型：参数传递的时候，就是值拷贝，这样就在函数中就无法修改原内容数据。 基本类型：byte、int、bool…
阅读更多...
穿越时空的全球时钟：一个实时多时区显示的网页应用

穿越时空的全球时钟：一个实时多时区显示的网页应用

引言 在当今这个全球化时代，人们经常需要与世界各地的朋友、同事或客户进行沟通。然而，由于时差的存在，找到一个合适的沟通时间往往成为一大挑战。为了解决这一问题，我们开发了一个名为“全球时钟”的网页应用，它能够…
阅读更多...
本地部署免费开源助手Ollama

本地部署免费开源助手Ollama

Ollama 安装 安装ollama 官方网站：https://ollama.com/download 2. 安装成功 3. 运行模型 模型：https://ollama.com/library 运行： ollama run llama3.2:3b Mac 、Linux 版本安装类似。 Open-WebUI界面安装 openwebui官网：http…
阅读更多...
three.js杂记

three.js杂记

空间 - 位置变换： // 假设有一个Three.js的对象: object3D // 存储矩阵位置 const matrix object3D.matrix.clone(); const matrixArray matrix.toArray(); // 转换为数组 // 之后，当你需要恢复位置时 object3D.matrix.fromArray(matrixArray); …
阅读更多...
通过DNS服务器架构解释DNS请求过程

通过DNS服务器架构解释DNS请求过程

在前面的章节，这里，基于PCAP数据包和RFC文档详细介绍了DNS请求和响应的每个字段的含义。但是在现实的网络世界中，DNS请求和响应的数据包是怎么流动的，会经过哪些设备。本文将着重说明一下目前网络空间中DNS请求和响应的流动过程。 当前网络空间中比较常见DNS请求的流程如下…
阅读更多...
HBase使用create创建表时报错ERROR: KeeperErrorCode = NoNode for /hbase/master

HBase使用create创建表时报错ERROR: KeeperErrorCode = NoNode for /hbase/master

场景模拟 1. 正常情况 模拟ERROR: KeeperErrorCode NoNode for /hbase/master错误场景。 正常情况下创建hbase表如下图所示。 2. 删除hbase集群的zk节点 进入zookeeper客户端。 zkCli.sh删除hbase的zk节点。 deleteall /hbase退出zookeeper客户端。 quit3. 重启hbase集…
阅读更多...
软件分享丨火绒应用商店

软件分享丨火绒应用商店

【资源分享】 资源名：火绒应用商店 官方网址：点击跳转 火绒应用商店是由火绒安全推出的一款独立软件。它提供了海量的应用程序，涵盖办公、社交、游戏、视频、工具等多种领域和类别，方便用户轻松找到所需的应用并进行一键下载安装…
阅读更多...
在线考试系统demo页面

在线考试系统demo页面

<!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>在线考试系统</title><link rel"styl…
阅读更多...
从0到1基于LangChain制作一个AI猫娘

从0到1基于LangChain制作一个AI猫娘

前言&#xff1a; 看到B站上的AIVtuber的项目落地了&#xff0c;就心血来潮想制作一个AI的猫娘供自己使用&#xff0c;顺便出一个简单的教程&#xff0c;跳过理论&#xff0c;直接实践&#xff0c;作者也还在学习摸索中&#xff0c;所以有错误可以直接在评论区指正。&#xff0…
阅读更多...
前端---高效工具(一) : NVM的使用

前端---高效工具(一) : NVM的使用

一、NVM用途 方便快捷 管理和切换各个 node版本。现在前端项目Vue2与Vue3很多项目要求的node版本不一致导致的。 二、安装 如果有安装nodejs&#xff0c;按一下步骤清理环境 1.卸载应用程序的 nodejs 2.删除环境变量中nodejs的配置 3.删除C:\Users\Administrator 中最下面…
阅读更多...
反序列化漏洞浅析

反序列化漏洞浅析

Apache InLong 是开源的高性能数据集成框架&#xff0c;支持数据接入、数据同步和数据订阅&#xff0c;同时支持批处理和流处理&#xff0c;方便业务构建基于流式的数据分析、建模和应用。浅析Apache InLong < 1.12.0 JDBC反序列化漏洞&#xff08;CVE-2024-26579&#xff0…
阅读更多...
三周精通FastAPI：39 用FastAPI CLI命令行程序管理FastAPI项目

三周精通FastAPI：39 用FastAPI CLI命令行程序管理FastAPI项目

官方文档&#xff1a;https://fastapi.tiangolo.com/zh/fastapi-cli/ FastAPI CLI FastAPI CLI 是一个命令行程序&#xff0c;你可以用它来部署和运行你的 FastAPI 应用程序&#xff0c;管理你的 FastAPI 项目&#xff0c;等等。 当你安装 FastAPI 时&#xff08;例如使用 p…
阅读更多...
Bean实例化

Bean实例化

Bean有3种实例化方法 1.通过无参构造方法实例化 假如我们有以下结构&#xff1a; 这里我们在无参构造方法种打印字符串&#xff1a; 然后我们运行 可知&#xff0c;IoC管理bean进行实例化的时候是通过无参构造方法实例化的。 2.静态工厂实例化 假设我们有以下配置文件&…
阅读更多...
【网络安全】线程安全分析及List遍历

【网络安全】线程安全分析及List遍历

未经许可，不得转载。 文章目录 线程线程安全问题遍历List的方式方式一方式二方式三方式四（Java 8）方式五（Java 8 Lambda）遍历List的同时操作ListVector是线程安全的？使用线程安全的CopyOnWriteArrayList使用线程安全的List.forEach线程 线程是程序执行的最小单位。一个程…
阅读更多...
ReactPress 安装指南：从 MySQL 安装到项目启动

ReactPress 安装指南：从 MySQL 安装到项目启动

ReactPress Github项目地址&#xff1a;https://github.com/fecommunity/reactpress 欢迎Star。 ReactPress 是一个基于 React 的开源发布平台&#xff0c;适用于搭建博客、网站或内容管理系统&#xff08;CMS&#xff09;。本文将详细介绍如何安装 ReactPress&#xff0c;包括…
阅读更多...
caozha-whois（域名Whois查询源码）

caozha-whois（域名Whois查询源码）

caozha-whois&#xff0c;是一个采用原生PHP写的域名Whois查询模块&#xff0c;支持全球大部分域名的whois查询&#xff0c;支持中文域名在内的多种域名后缀&#xff0c;包括&#xff1a;.com&#xff0c;.net&#xff0c;.cn&#xff0c;.com.cn&#xff0c;.org&#xff0c;.…
阅读更多...
最新文章

Copyright @ 2022~2023