Python爬虫----python爬虫基础

一、python爬虫基础-爬虫简介

1、现实生活中实际爬虫有哪些？

2、什么是网络爬虫？

3、什么是通用爬虫和聚焦爬虫？

4、为什么要用python写爬虫程序

5、环境和工具

二、python爬虫基础-http协议和chrome抓包工具

1、什么是http和https协议

2、http请求过程

3、url详解

4、常用的请求方法:

5、请求头常见参数:

6、常见响应状态码:

7、浏览器抓包工具

一、python爬虫基础-爬虫简介

1、现实生活中实际爬虫有哪些？

（1）搜索引擎（百度、谷歌、360）

（2）购物助手：可以自动查看历史价格，通过爬虫实现爬取电商平台价格数据。

（3）数据分析与研究：根据爬虫程序爬取数据并对数据进行分析。

（4）抢票软件：

2、什么是网络爬虫？

爬虫是一个模拟人类请求网站行为的程序、可以自动请求网页，并将数据抓取出来，然后使用一定的规则把有用的数据筛选出来。

3、什么是通用爬虫和聚焦爬虫？

通用爬虫‌（General Purpose Web Crawler 或 Scalable Web Crawler）的目标是覆盖整个互联网或尽可能广泛的网络空间进行数据抓取。它们主要用于搜索引擎，如Baidu、Google和Yahoo，目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。通用爬虫的爬行范围和数量巨大，通常采用并行工作方式，但需要较长时间才能刷新一次页面‌。

‌聚焦爬虫‌（Focused Crawler 或 Topical Crawler）则是选择性地爬行那些与预先定义好的主题相关的页面。与通用爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，从而极大地节省了硬件和网络资源，保存的页面数量少且更新快，能够很好地满足特定人群对特定领域信息的需求‌。

4、为什么要用python写爬虫程序

（1）PHP:PHP是世界是最好的语言，但他天生不是做这个的，而且对多线程、异步支持不是很好，并发处理能力。爬虫是工具性程序，对速度和效率要求比较高。

（2）Java：生态圈很完善，是Python爬虫最大的竞争对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫要经常修改采集代码。

（3）C/C++:运行效率是无敌的。但是学习和开发成本高。写个小爬虫程序可能要大半天时间。 （4）Python:语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请家模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redls框架让我们开发肥虫变得异常简单。

5、环境和工具

（1）开发环境：python3以上

（2）使用工具：Pycharm

（3）虚拟环境： Virtualenv/Virtualenvwrapper

二、python爬虫基础-http协议和chrome抓包工具

1、什么是http和https协议

HTTP协议：全程是HyperText Transfer Protocol,即超文本传输协议，是一种发布和接收HTML的方法。服务端口号80。

HTTPS协议：是http协议的加密版本，在HTTP下加入了ssl层，服务端口号是443端口。

2、http请求过程

（1）当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为"Get"和"Post"两种方法。

（2）当我们在浏览器输入URL http://www.baidu.com 的时候，浏览器发送一个Request请求去获取 http://www.baidu.com的html文件，服务器把Response文件对象发送回给浏览器。

（3）浏览器分析Response中的 HTML，发现其中引用了很多其他文件，比如images文件，CSS文件，JS文件。浏览器会自动再次发送Request请求去获取图片，CSS文件，或者JS文件。

（4)当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。

3、url详解

URL是UniforF Resource Locator 的简写，统一资源定位符。

一个 URL 由以下几部分组成:

scheme://host:port/path/?query-string=xxx#anchor

  • scheme:代表的是访问的协议，一般为http或者 https以及 ftp 等。

  • host:主机名，域名，比如www.baidu.com。

  • port:端口号。当你访问一个网站的时候，浏览器默认使用80端口。

  • path:查找路径。比如:www.baidu.com/trending/now，后面的trending/now 就是 path 。

  • query-string:查询字符串，比如:www.baidu,con/s?wd-python，后面的 wd-python 就是查询字符串。如果查询多个参数使用&进行拼接。

  • anchor:锚点，后台一般不用管，前端用来做页面定位的。

在浏览器中请求一个 url，浏览器会对这个url进行一个编码。除英文字母，数字和部分符号外，其他的全部使用百分号+十六进制码值进行编码。

4、常用的请求方法:

在 Http 协议中，定义了八种请求方法。这里介绍两种常用的请求方法，分别是get 请求和 post 请求。

（1）set请求:一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用 set 请求。

（2）post 请求:向服务器发送数据(登录)、上传文件等，会对服务器资源产生影响的时候会使用 post 请求。

以上是在网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。但是有的网站和服务器为了做反爬虫机制，也经常会不按常理出牌，有可能一个应该使用get方法的请求就一定要改成post请求，这个要视情况而定。

5、请求头常见参数:

在 http 协议中，向服务器发送一个请求，数据分为三部分，第一个是把数据放在url中，第二个是把数据放在 body 中(在 post 请求中)，第三个就是把数据放在 head中。这里介绍在网络虫中经常会用到的一些请求头参数:

（1）Uer-Agent：浏览器的名称。这个在网络爬虫中经常会被使用到。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是由哪种浏览器发送的。如果我们是通过爬虫发送请求，那么我们的user-Agent就是python ，这对于那些有反爬虫机制的网站来说，可以轻易的判断你这个请求是爬虫。因此我们要经常设置这个值为一些浏览器的值，来伪装我们的爬虫。

（2）Referer :表明当前这个请求是从哪个url过来的。这个一般也可以用来做反爬虫技术。如果不是从指定页面过来的，那么就不败相关的响应。 （3）cookie: http 协议是无状态的。也就是同一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。因此这时仅就用 cookie来做标识。一般如果想要做登录后才能访问的网站，那么就需发送 cookie 信息。

6、常见响应状态码:

  • 200：请求正常，服务器正常的返回数据。

  • 301: 永久重定向。比如在访问www.jingdong.com的时候会重定问到www.jd.com。

  • 302：临时重定向。比如在访问一个需要登录的页面的时候，而此时没有登录，那么就会重定向到登录页面。

  • 400：请求的url在服务器上找不到。换句话说就是请求 url错误。

  • 403: 服务器拒绝访问，权根不够。

  • 500: 服务器内部错误。可能是服务器出现 bug 了。

7、浏览器抓包工具

浏览器内右键->检查或F12：

（1）Elements 面板

作用：查看和修改 HTML 和 CSS 代码

这个面板展示了当前页面的 HTML 结构 和 CSS 样式。你可以直接查看页面的 DOM（Document Object Model，文档对象模型），也就是页面的 HTML 元素的层次结构，以及与每个元素关联的 CSS 样式。

  • 实时查看页面结构：通过 Elements 面板，你可以看到浏览器是如何解析和展示 HTML 元素的。每个元素都可以展开以查看其子元素。

  • 修改页面样式：你可以在这个面板中临时修改 HTML 或 CSS 来查看效果变化。比如，右键单击某个元素，选择 “检查”（Inspect），可以查看并实时编辑该元素的样式。这些修改只会在本地生效，不会影响服务器上的页面。

  • 调试布局问题：如果页面布局有问题，比如元素显示错位，或是某个元素不可见，你可以使用 Elements 面板检查该元素的样式、布局盒模型（Box Model），看看是否有 CSS 样式问题。

使用示例：

  • 按下 F12，打开 Elements 面板。

  • 移动鼠标到页面上的元素，浏览器会高亮显示该元素的 HTML 代码和样式。

  • 你可以临时修改 HTML 或 CSS，看看页面会如何变化。

（2）Console 面板

作用：查看日志信息、调试 JavaScript

Console 面板是用于执行和调试 JavaScript 代码 的区域。它有两个主要功能：

  • 输出日志：开发者可以通过 JavaScript 中的 console.log() 方法将调试信息输出到控制台。这对于查看程序运行过程中的变量状态、错误信息等非常有用。

  • 执行 JavaScript 代码：你可以直接在控制台中输入和执行 JavaScript 代码。比如，输入 document.querySelector('h1')，可以获取页面上的第一个 <h1> 元素。

另外，当 JavaScript 代码抛出错误时，错误信息也会显示在 Console 面板中，帮助你定位问题。

使用示例：

  • 按下 F12，打开 Console 面板。

  • 输入 alert('Hello!') 并按下回车，浏览器会弹出一个提示框显示 “Hello!”。

（3）Network 面板

作用：监控网络请求，分析页面加载性能

Network 面板显示了页面加载时发起的所有网络请求，包括：

  • HTML、CSS、JavaScript 文件的请求。

  • 图片、视频、音频等媒体资源的加载。

  • AJAX 请求，即前端与服务器之间的动态数据交换。

你可以使用这个面板来分析页面加载的速度，查看哪些资源占用了较多时间，并可以检查每个请求的响应内容、状态码等。开发者通常用这个面板来调试 API 调用，确保请求的数据正确返回，以及分析页面性能瓶颈。

Network面板的概述：时间轴

当你打开 Network 面板时，你会看到一个时间轴，它显示了页面加载过程中发出的所有请求，按顺序排列，通常包括：

  • HTML 页面：页面的主 HTML 文件。

  • CSS 文件：用于页面样式的 CSS 文件。

  • JavaScript 文件：前端逻辑的 JavaScript 文件。

  • 图片、字体、媒体资源：如图片、字体、视频等。

  • Ajax 请求或 Fetch 请求：与服务器进行的异步数据交换。

  • 其他资源：如 WebSocket 连接、manifest 文件等。

（4）Sources 面板

作用：调试 JavaScript 代码

Sources 面板允许开发者查看和调试 JavaScript 代码。你可以在这个面板中设置断点（breakpoints），当代码执行到某个断点时，浏览器会暂停运行，这样你可以逐步查看变量的值、调用的函数堆栈等。

常见功能：

  • 断点调试：设置断点后，当浏览器执行到这一行代码时会暂停，你可以一步步调试代码。

  • 监控变量：在调试时可以实时查看变量的值，帮助你分析 JavaScript 的执行过程。

  • 查看本地和会话存储：可以通过 Application 面板查看本地存储（LocalStorage）或会话存储（SessionStorage）中的数据。

（5）Application 面板

作用：查看和管理存储、缓存及会话数据

Application 面板允许你查看页面存储的数据和资源，包括：

  • Cookies：你可以查看每个域名下的 Cookie，并且可以修改或删除它们。

  • LocalStorage 和 SessionStorage：查看页面存储在浏览器本地的数据，这通常用于保持用户状态等。

  • IndexedDB 和 Web SQL：这些是浏览器内的数据库存储，可以存储较大数据。

  • Service Workers：你可以管理页面的服务工作线程（Service Workers），这对于 PWA（渐进式网页应用）和离线功能非常重要。

（6）Performance 面板

作用：分析页面加载性能，进行性能优化

Performance 面板允许你记录页面加载过程中的性能数据，帮助你分析哪些部分消耗了过多的资源。这对于优化页面的加载速度非常重要，开发者可以通过分析页面的渲染、资源加载、JavaScript 执行等来发现瓶颈。

常见功能：

  • 记录页面性能：通过点击 “Record” 按钮，你可以记录页面加载的详细信息，分析每个部分的加载时间。

  • 帧率分析：如果你的页面包含动画或交互，可以查看帧率来确保页面的流畅度。

（7）Security 面板

作用：检查页面的安全性

Security 面板帮助开发者查看页面的安全信息，比如 HTTPS 证书是否有效，是否存在混合内容（即 HTTPS 页面中包含了不安全的 HTTP 资源）。如果你的网站有安全问题，这个面板会显示警告。

（8）Lighthouse 面板

作用：分析页面的整体质量，包括性能、可访问性、SEO

Lighthouse 是一个自动化工具，用于提升 Web 应用的质量。它可以生成关于页面性能、可访问性、SEO（搜索引擎优化）等方面的报告，帮助开发者识别出可以改进的地方。

使用示例：

  • 按下 F12，打开 Lighthouse 面板。

  • 选择要分析的项目（例如性能、SEO 等），点击 “Generate Report” 生成报告。

总结：

  • Elements：查看和编辑页面结构和样式。

  • Console：查看调试信息，执行 JavaScript 代码。

  • Network：监控和分析页面加载的网络请求。

  • Sources：调试 JavaScript 代码，设置断点。

  • Application：管理页面存储的数据和资源。

  • Performance：分析页面性能，识别瓶颈。

  • Security：检查页面的安全性。

  • Lighthouse：生成页面质量报告。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/16201.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

什么是低温温度传感器

什么是低温温度传感器

低温学是物理学的一个分支&#xff0c;处理极低温度的产生和影响。已经基于各种与温度相关的特性开发了低温温度传感器。常见的市售传感器包括电阻器&#xff0c;电容器&#xff0c;热电偶和诸如二极管或晶体管的半导体结器件。 主要标准级传感器对热和机械冲击非常敏感&#…
阅读更多...
【SpringBoot】23 文件预览（kkFileView）

【SpringBoot】23 文件预览（kkFileView）

Gitee仓库 https://gitee.com/Lin_DH/system 介绍 文件预览功能是指在不打开或编辑文件的情况下&#xff0c;通过某种方式查看文件的内容、格式或者部分内容的功能。该功能通常用于文件管理系统、办公工具、在线教育平台、企业协作平台、电子邮件客户端等领域&#xff0c;能…
阅读更多...
PC提取微信语音

PC提取微信语音

首先&#xff0c;多选需要转存的语音信息——点击下方正方体图标收藏——打开收藏界面&#xff0c;找到语音文件打开——点击界面上放3个小点&#xff0c;选择转存为笔记。 然后&#xff0c;打开电脑端微信&#xff0c;点击左侧收藏图标&#xff0c;找到保存的语音文件打开&am…
阅读更多...
STM32 ADC --- 单通道采样

STM32 ADC --- 单通道采样

STM32 ADC — 单通道采样 文章目录 STM32 ADC --- 单通道采样cubeMX配置代码修改&#xff1a;应用 使用cubeMX生成HAL工程 需求&#xff1a;有多个通道需要进行ADC采样&#xff0c;实现每次采样只采样一个通道&#xff0c;且可以随时采样不同通道的功能。 cubeMX配置 这里我们…
阅读更多...
力扣 LeetCode 150. 逆波兰表达式求值（Day5：栈与队列）

力扣 LeetCode 150. 逆波兰表达式求值（Day5：栈与队列）

解题思路&#xff1a; 逆波兰表达式就是从二叉树的后序遍历得来的&#xff08;左右根&#xff09;&#xff0c;因此计算机直接按顺序取出表达式中元素进行运算即可&#xff0c;无需考虑括号的运算顺序&#xff0c;加快运算速度 对于&#xff08;12&#xff09;x&#xff08;3…
阅读更多...
交通路口智能监测平台实现

交通路口智能监测平台实现

&#x1f3e1;作者主页&#xff1a;点击&#xff01; &#x1f916;编程探索专栏&#xff1a;点击&#xff01; ⏰️创作时间&#xff1a;2024年11月15日8点12分 神秘男子影, 秘而不宣藏。 泣意深不见, 男子自持重, 子夜独自沉。 论文链接 点击开启你的论文编程之旅h…
阅读更多...
Redis 持久化机制 RDB 和 AOF 区别

Redis 持久化机制 RDB 和 AOF 区别

Redis 是一个开源的内存数据结构存储系统&#xff0c;广泛应用于缓存、会话存储、实时分析等场景。虽然 Redis 本质上是内存数据库&#xff0c;但它支持持久化机制&#xff0c;将数据保存在磁盘中以防止数据丢失。在 Redis 中&#xff0c;主要有两种持久化机制&#xff1a;RDB(…
阅读更多...
uniapp动态获取练习题的内容选项和最终选择的结果

uniapp动态获取练习题的内容选项和最终选择的结果

里面的练习题题目和选项都是动态获取的&#xff0c;提交的时候结果是多个单选题最终选择的值&#xff0c;重点是给单选组标签上加上change事件&#xff0c;多选通用&#xff0c;change事件内加一个回调&#xff0c;代码示例如下&#xff1a; <template> <view class&…
阅读更多...
联想 ThinkPad的高级键盘功能

联想 ThinkPad的高级键盘功能

前言&#xff1a; 用好键盘是程序员最需要花时间了解的。 联想ThinkPAD的高级键盘功能和windows的键盘功能是不一样的。学习一下&#xff0c;给自己的工作&#xff0c;编程带来很大的的提高。花时间是有意义的。 调出设置&#xff1a; 1 先是键盘管理&#xff1a; 这里&#…
阅读更多...
红黑树

红黑树

目录 红黑树 红黑树的概念 红黑树的性质 红黑树节点的定义 插入的代码实现 情况一 情况二 uncle不存在 uncle存在且为黑单旋 情况三 uncle存在且为黑的双旋情况 情况二和情况三的总代码 以上是父亲在爷爷左边的情况,右边的情况也类似 左旋代码 右旋代码 红黑树…
阅读更多...
MySQL进阶-索引的组合索引

MySQL进阶-索引的组合索引

练习题目 题目链接难度SQL进阶-索引的组合索引★★★☆☆ SQL思路 SQL进阶-索引的组合索引 初始化数据 drop table if exists user_profile; CREATE TABLE user_profile ( id int NOT NULL, device_id int NOT NULL, gender varchar(14) NOT NULL, age int , university va…
阅读更多...
适用比亚迪汽车生产线的RFID高频读写器

适用比亚迪汽车生产线的RFID高频读写器

随着人工智能和物联网技术的发展&#xff0c;汽车产线正朝着高度自动化和智能化的方向发展&#xff0c;许多汽车制造商选择将RFID技术应用在其生产线上&#xff0c;以提高生产效率、降低劳动强度。例如比亚迪等汽车生产线上已经广泛应用RFID技术。 健永科技利用自身的研发能力…
阅读更多...
用Python实现中国象棋（详细教程 | 附代码）

用Python实现中国象棋（详细教程 | 附代码）

创建一个完整的中国象棋游戏是一个复杂的项目&#xff0c;涉及到游戏规则、用户界面、AI算法等多个方面。在这里&#xff0c;我将提供一个更完整的Python代码示例&#xff0c;包括基本的棋盘、棋子移动规则和简单的用户交互。但请注意&#xff0c;这仍然是一个简化的版本&#…
阅读更多...
力扣-Mysql-3308- 寻找表现最佳的司机（中等）

力扣-Mysql-3308- 寻找表现最佳的司机（中等）

一、题目来源 3308. 寻找表现最佳的司机 - 力扣&#xff08;LeetCode&#xff09; 二、数据表结构 表&#xff1a;Drivers ----------------------- | Column Name | Type | ----------------------- | driver_id | int | | name | varchar | | age …
阅读更多...
LeetCode 209.长度最小的子数组

LeetCode 209.长度最小的子数组

209.长度最小的子数组 思路&#x1f9d0;&#xff1a; 该题可以用滑动窗口进行解答&#xff0c;滑动窗口的意思是&#xff0c;我们判断一段区间的情况&#xff0c;再根据不同情况进行区间的更新。 这里要求满足总和大于等于target的子数组&#xff0c;那么我们可以用两个指针当…
阅读更多...
国网山东电力生产检修建设基地绿色低碳智慧用能项目获创新创意劳动竞赛一等奖

国网山东电力生产检修建设基地绿色低碳智慧用能项目获创新创意劳动竞赛一等奖

原标题&#xff1a;深化开展“供电能效服务”&#xff0c;全力推动全社会能效提升&#xff0c;国网山东电力生产检修建设基地绿色低碳智慧用能项目获得全省智慧综合能源服务项目创新创意劳动竞赛一等奖 11月14日,由山东省发展和改革委员会、山东省总工会、山东省能源局主办,山…
阅读更多...
AIHub： 模型和数据集的私有云存储库

AIHub： 模型和数据集的私有云存储库

AIStor 的最新功能之一是广受欢迎的开源项目 Hugging Face 的私有云版本。这篇文章详细介绍了 AIStor 的 AIHub 如何有效地创建一个完全由企业控制的 API 兼容的私有云版本的 Hugging Face。在我们开始之前&#xff0c;介绍 Hugging Face 是有意义的。Hugging Face 是面向 AI 工…
阅读更多...
【SAP FICO】财务三大报表_2-进阶（现金流量表-数据表结构、取数逻辑）

【SAP FICO】财务三大报表_2-进阶（现金流量表-数据表结构、取数逻辑）

系列文章目录 文章目录 系列文章目录前言一、现金流量表二、现金流量表的数据表结构1、核心数据表2、内部数据结构 三、现金流量表的取数逻辑1、获取用户输入2、获取数据3、处理数据 总结 前言 承接上篇财务三大报表_2-进阶&#xff08;利润表-数据表结构、取数逻辑&#xff0…
阅读更多...
【人工智能】深入解析！三种实现ChatGPT打字机效果的最佳方案

【人工智能】深入解析！三种实现ChatGPT打字机效果的最佳方案

在当今AI快速发展的时代&#xff0c;ChatGPT 凭借其强大的自然语言处理能力&#xff0c;已经成为众多开发者和企业的首选工具。然而&#xff0c;如何在前端页面中实现类似于ChatGPT的打字机效果&#xff0c;以提升用户交互体验&#xff0c;成为了一个广受关注的话题。今天&…
阅读更多...
C++：继承

C++：继承

一、什么是继承&#xff1f; 概念&#xff1a; 在我们认识模板之后&#xff0c;模板是写与类型无关的代码&#xff0c;是一种复用方法。今天讲解的是继承&#xff0c;继承也是代码复用的方法&#xff0c;是在原有的基础上进行增加新的类。由此继承体现了面向对象的层次结构&a…
阅读更多...
最新文章

Copyright @ 2022~2023