#yyds干货盘点#Python - 爬虫_请求伪造

金鞍玉勒寻芳客，未信我庐别有春。这篇文章主要讲述#yyds干货盘点#Python - 爬虫_请求伪造相关的知识，希望能为你提供帮助。
一、伪装自己

有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作

1.1 设置请求头

其中User-Agent代表用的哪个请求的浏览器
代码如下：

from urllib.request import urlopen from urllib.request import Requesturl = http://www.server.com/login user_agent = Mozilla/4.0 (compatible; MSIE 5.5; Windows NT) headers = { User-Agent : user_agent }request = Request(url, headers=headers) response = urlopen(request) page = response.read()

对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入referer
代码如下：

headers = { User-Agent : Mozilla/4.0 (compatible; MSIE 5.5; Windows NT), Referer:http://www.zhihu.com/articles }

提示

import urllib.request import random ua_list = [ "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)", "Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1", "Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (Khtml, like Gecko) Version/3.1", "Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; QIHU 360EE)" ] user_agent = random.choice(ua_list) request = urllib.request.Request("http://www.baidu.com") request.add_header("User-Agent",user_agent) #区分大小写 print(request.get_header("User-agent"))

举个例子

在举例之前，先给大家讲解一下URL的组成：

url的组成 https://www.baidu.com/s?wd=周杰伦 http/httpswww.baidu.com80/443swd = 周杰伦协议主机端口号路径参数锚点 http80 https443 mysql3306 oracle 1521 redis6379 mongodb 27017

```python import urllib.requesturl = https://www.baidu.comheaders = { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 }# 因为urlopen方法中不能存储字典所以headers不能传递进去 # 请求对象的定制 request = urllib.request.Request(url=url,headers=headers)response = urllib.request.urlopen(request)content = response.read().decode(utf8)print(content)

文章图片

1.2 设置代理Proxy分类：透明代理：目标网站知道你使用了代理并且知道你的源IP地址，这种代理显然不符合我们这里使用代理的初衷
匿名代理：匿名程度比较低，也就是网站知道你使用了代理，但是并不知道你的源IP地址
高匿代理：这是最保险的方式，目标网站既不知道你使用的代理更不知道你的源IP
代码如下：

from urllib.request import ProxyHandler from urllib.request import build_openerproxy = ProxyHandler({"http": "119.109.197.195:80"}) opener = build_opener(proxy) url = "http://www.baidu.com" response = opener.open(url) print(response.read().decode("utf-8"))

2 使用DebugLog
可以通过下面的方法把 Debug Log 打开，这样收发包的内容就会在屏幕上打印出来，方便调试，这个也不太常用，仅提一下

from urllib.request import HTTPHandler from urllib.request import build_opener from urllib.request import Requesthandler = HTTPHandler(debuglevel=1) opener = build_opener(handler) url = "http://www.sohu.com" request = Request(url) response = opener.open(request)

各位路过的朋友，如果觉得可以学到些什么的话，点个赞再走吧，欢迎各位路过的大佬评论，指正错误，也欢迎有问题的小伙伴评论留言，私信。
【#yyds干货盘点#Python - 爬虫_请求伪造】每个小伙伴的关注都是本人更新博客的动力！！！
请微信搜索【在下小黄】文章更新将在第一时间阅读！