python中urllib3庫和requests庫的使用

Python3 默認(rèn)提供了urllib庫，可以爬取網(wǎng)頁信息，但其中確實(shí)有不方便的地方，如：處理網(wǎng)頁驗(yàn)證和Cookies，以及Hander頭信息處理。

為了更加方便處理，有了更為強(qiáng)大的庫 urllib3 和 requests, 本節(jié)會(huì)分別介紹一下，以后我們著重使用requests。

1. urllib3庫的使用：

• 安裝：通過使用pip命令來安裝urllib3

    pip install urllib3

• 簡單使用：

import urllib3
import re

# 實(shí)例化產(chǎn)生請(qǐng)求對(duì)象
http = urllib3.PoolManager()

# get請(qǐng)求指定網(wǎng)址
url = "http://www.baidu.com"
res = http.request("GET",url)

# 獲取HTTP狀態(tài)碼
print("status:%d" % res.status)

# 獲取響應(yīng)內(nèi)容
data = res.data.decode("utf-8")

# 正則解析并輸出
print(re.findall("

• 其他設(shè)置: 增加了超時(shí)時(shí)間，請(qǐng)求參數(shù)等設(shè)置

import urllib3
import re

url = "http://www.baidu.com"
http = urllib3.PoolManager(timeout = 4.0) #設(shè)置超時(shí)時(shí)間

res = http.request(
       "GET",
        url,
        #headers={
        #    'User-Agent':'Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1',
        #},
        fields={'id':100,'name':'lisi'}, #請(qǐng)求參數(shù)信息
    )

print("status:%d" % res.status)

data = res.data.decode("utf-8")

print(re.findall("

2. requests庫的使用：

• 安裝：通過使用pip命令來安裝requests

    pip install requests

• 簡單使用：

import requests
import re

url = "http://www.baidu.com"

# 抓取信息
res = requests.get(url)

#獲取HTTP狀態(tài)碼
print("status:%d" % res.status_code)

# 獲取響應(yīng)內(nèi)容
data = res.content.decode("utf-8")

#解析出結(jié)果
print(re.findall("