小甲鱼爬虫视频教程55笔记-XAMPP中文组官网

1、程序暂停的方法

import time
….

time.sleep(5)

Snap1

2.使用代理

步骤：

1.参数是一个字典{‘类型’:’代理IP:端口号’}
proxy_support = urllib.request.ProxyHandler({})

2. 定制、创建一个opener

opener = urllib.request.build_opener(proxy_support)

3a. 安装opener
urllib.request.install_opener(opener)

3b. 调用opener
opener.open(url)

获得免费代理IP网站：http://www.xicidaili.com/

使用代理的源码：

`1`	`import urllib.request`

`2`	`import random`

3

`4`	`url =` `'http://www.whatismyip.com.tw/'`

`5`	`iplist = ['219.150.242.54:9999','218.56.132.158:8080','58.59.68.91:9797','123.138.216.91:9999']`

6

`7`	`proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})`

8

`9`	`opener = urllib.request.build_opener(proxy_support)`

`10`	`opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36')]`

11

`12`	`urllib.request.install_opener(opener)`

13

`14`	`response = urllib.request.urlopen(url)`

`15`	`html = response.read().decode('utf-8')`

16

`17`	`print(html)`

成果展示：

Snap4

小甲鱼爬虫视频教程55笔记