python爬虫基础之简易网页搜集器

python爬虫基础之简易网页搜集器

技术杂谈小彩虹2021-07-12 7:49:2380A+A-

简易网页搜集器前面我们已经学会了简单爬取浏览器页面的爬虫。但事实上我们的需求当然不是爬取搜狗首页或是B站首页这么简单,再不济,我们都希望可以爬取某个特定的有信息的页面。

简易网页搜集器

前面我们已经学会了简单爬取浏览器页面的爬虫。但事实上我们的需求当然不是爬取搜狗首页或是B站首页这么简单,再不济,我们都希望可以爬取某个特定的有信息的页面。

不知道在学会了爬取之后,你有没有跟我一样试着去爬取一些搜索页面,比如说百度。像这样的页面

图片

注意我红笔划的部分,这是我打开的网页。现在我希望能爬取这一页的数据,按我们前面学的代码,应该是这样写的:



1.  import requests
    

3.  if \_\_name\_\_ \== "\_\_main\_\_":
    
4.  \# 指定URL
    
5.  url \= "https://www.baidu.com/s?ie=utf-8&f=8&rsv\_bp=1&rsv\_idx=2&tn=93923645\_hao\_pg&wd=%E5%A5%A5%E7%89%B9%E6%9B%BC&rsv\_spt=1&oq=%25E7%2588%25AC%25E5%258F%2596%25E7%2599%25BE%25E5%25BA%25A6%25E9%25A6%2596%25E9%25A1%25B5&rsv\_pq=b233dcfd0002d2d8&rsv\_t=ccdbEuqbJfqtjnkFvevj%2BfxQ0Sj2UP88ixXHTNUNsmTa9yWEWTUEgxTta9r%2Fj3mXxDs%2BT1SU&rqlang=cn&rsv\_dl=tb&rsv\_enter=1&rsv\_sug3=8&rsv\_sug1=5&rsv\_sug7=100&rsv\_sug2=0&rsv\_btype=t&inputT=1424&rsv\_sug4=1424"
    

7.  \# 发送请求
    
8.  response \= requests.get(url)
    

10.  \# 获取数据
    
11.  page\_text \= response.text
    

13.  \# 存储
    
14.  with open("./奥特曼.html", "w", encoding \= "utf-8") as fp:
    
15.  fp.write(page\_text)
    

17.  print("爬取成功!!!")
    


然而打开我们保存的文件,发现结果跟我们想的不太一样

图片

我们发现我们保存的文件是一个空白的页面,这是为什么呢?

其实上我们把网址改成搜狗的可能或更直观一些(不知道为什么我这边的搜狗总是打不开,所以就用百度做例子,可以自己写写有关搜狗搜索的代码),同样的代码改成搜狗的网址结果是这样的

图片

我们发现其中有句话是 “ 网络中存在异常访问 ”,那么这句话是什么意思呢?

这句话的意思就是说,搜狗或是百度注意到发送请求的是爬虫程序,而不是人工操作。

那么这其中的原理又是什么呢?

简单来说,就是程序访问和我们使用浏览器访问是有区别的,被请求的服务器都是靠 user-agent 来判断访问者的身份,如果是浏览器就接受请求,否则就拒绝。这就是一个很常见的反爬机制。

那是不是我们就没有办法呢?

非也~所谓魔高一尺,道高一丈。既然要识别 user-agent ,那么我们就让爬虫模拟 user-agent 好了。

在 python 中模拟输入数据或是 user-agent ,我们一般用字典

就这样子写:



1.  header \= {
    
2.  "user-agent": "" \# user-agent 的值 是一个长字符串
    
3.  }
    


那么 user-agent 的值又是怎么得到的呢?

1. 打开任意网页,右键点击,选择“检查”

图片

2. 选择“ Network ”(谷歌浏览器)(如果是中文,就选择 “网络” 这一项)

图片

3. 如果发现点开是空白的,像这样,那就刷新网页

图片

刷新后是这样的:

图片

然后随机选择红笔圈起来的一项,我们会看到这样的东西,然后在里面找到“user-agent”,把它的值复制下来就行了

图片

有了 “user-agent”, 我们在重新写我们的爬取网页的代码,就可以了



1.  import requests
    

3.  if \_\_name\_\_ \== "\_\_main\_\_":
    
4.  \# 指定URL
    
5.  url \= "https://www.baidu.com/s?ie=utf-8&f=8&rsv\_bp=1&rsv\_idx=2&tn=93923645\_hao\_pg&wd=%E5%A5%A5%E7%89%B9%E6%9B%BC&rsv\_spt=1&oq=%25E7%2588%25AC%25E5%258F%2596%25E7%2599%25BE%25E5%25BA%25A6%25E9%25A6%2596%25E9%25A1%25B5&rsv\_pq=b233dcfd0002d2d8&rsv\_t=ccdbEuqbJfqtjnkFvevj%2BfxQ0Sj2UP88ixXHTNUNsmTa9yWEWTUEgxTta9r%2Fj3mXxDs%2BT1SU&rqlang=cn&rsv\_dl=tb&rsv\_enter=1&rsv\_sug3=8&rsv\_sug1=5&rsv\_sug7=100&rsv\_sug2=0&rsv\_btype=t&inputT=1424&rsv\_sug4=1424"
    

7.  \# 模拟 “user-agent”,即 UA伪装
    
8.  header \= {
    
9.  "user-agent" : "" \# 复制的 user-agent 的值
    
10.  }
    
11.  \# 发送请求
    
12.  response \= requests.get(url, headers = header)
    

14.  \# 获取数据
    
15.  page\_text \= response.text
    

17.  \# 存储
    
18.  with open("./奥特曼(UA伪装).html", "w", encoding \= "utf-8") as fp:
    
19.  fp.write(page\_text)
    

21.  print("爬取成功!!!")
    


再次运行,然后打开文件

图片

这次成功了,说明我们的爬虫程序完美地骗过了服务器

到此这篇关于python爬虫基础之简易网页搜集器的文章就介绍到这了

图片

点击这里复制本文地址 以上内容由权冠洲的博客整理呈现,请务必在转载分享时注明本文地址!如对内容有疑问,请联系我们,谢谢!

支持Ctrl+Enter提交

联系我们| 本站介绍| 留言建议 | 交换友链 | 域名展示
本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除

权冠洲的博客 © All Rights Reserved.  Copyright quanguanzhou.top All Rights Reserved
苏公网安备 32030302000848号   苏ICP备20033101号-1

联系我们