一:前言
嘀嘀嘀,上車請刷卡。昨天看到了不錯的圖片分享網(wǎng)——花瓣,里面的圖片質(zhì)量還不錯,所以利用selenium+xpath我把它的妹子的欄目下爬取了下來,以圖片欄目名稱給文件夾命名分類保存到電腦中。這個妹子主頁http://huaban.com/boards/favorite/beauty是動態(tài)加載的,如果想獲取更多內(nèi)容可以模擬下拉,這樣就可以更多的圖片資源。這種之前爬蟲中也做過,但是因為網(wǎng)速不夠快所以我就抓了19個欄目,一共500多張美圖,也已經(jīng)很滿意了。
先看看效果:
Paste_Image.png
Paste_Image.png
二:運(yùn)行環(huán)境
IDE:Pycharm
Python3.6
lxml 3.7.2
Selenium 3.4.0
requests 2.12.4
三:實例分析
1.這次爬蟲我開始做的思路是:進(jìn)入這個網(wǎng)頁http://huaban.com/boards/favorite/beauty然后來獲取所有的圖片欄目對應(yīng)網(wǎng)址,然后進(jìn)入每一個網(wǎng)頁中去獲取全部圖片。(如下圖所示)
Paste_Image.png
Paste_Image.png
2.但是爬取獲取的圖片分辨率是236x354,圖片質(zhì)量不夠高,但是那個時候已經(jīng)是晚上1點30之后了,所以第二天做了另一個版本:在這個基礎(chǔ)上再進(jìn)入每個縮略圖對應(yīng)的網(wǎng)頁,再抓取像下面這樣高清的圖片。
Paste_Image.png
四:實戰(zhàn)代碼
1.第一步導(dǎo)入本次爬蟲需要的模塊
2.下面是設(shè)置webdriver的種類,就是使用什么瀏覽器進(jìn)行模擬,可以使用火狐來看它模擬的過程,也可以是無頭瀏覽器PhantomJS來快速獲取資源,['--load-images=false', '--disk-cache=true']這個意思是模擬瀏覽的時候不加載圖片和緩存,這樣運(yùn)行速度會加快一些。WebDriverWait標(biāo)明最大等待瀏覽器加載為10秒,set_window_size可以設(shè)置一下模擬瀏覽網(wǎng)頁的大小。有些網(wǎng)站如果大小不到位,那么一些資源就不加載出來。
3.parser(url, param)這個函數(shù)用來解析網(wǎng)頁,后面有幾次都用用到這些代碼,所以直接寫一個函數(shù)會讓代碼看起來更整潔有序。函數(shù)有兩個參數(shù):一個是網(wǎng)址,另一個是顯性等待代表的部分,這個可以是網(wǎng)頁中的某些板塊,按鈕,圖片等等...
4.下面的代碼就是解析本次主頁面http://huaban.com/boards/favorite/beauty/然后獲取到每個欄目的網(wǎng)址和欄目的名稱,使用xpath來獲取欄目的網(wǎng)頁時,進(jìn)入網(wǎng)頁開發(fā)者模式后,如圖所示進(jìn)行操作。之后需要用欄目名稱在電腦中建立文件夾,所以在這個網(wǎng)頁中要獲取到欄目的名稱,這里遇到一個問題,一些名稱不符合文件命名規(guī)則要剔除,我這里就是一個 * 影響了。
Paste_Image.png
5.前面已經(jīng)獲取到欄目的網(wǎng)頁和欄目的名稱,這里就需要對欄目的網(wǎng)頁分析,進(jìn)入欄目網(wǎng)頁后,只是一些縮略圖,我們不想要這些低分辨率的圖片,所以要再進(jìn)入每個縮略圖中,解析網(wǎng)頁獲取到真正的高清圖片網(wǎng)址。這里也有一個地方比較坑人,就是一個欄目中,不同的圖片存放dom格式不一樣,所以我這樣做
這就把兩種dom格式中的圖片地址都獲取了,然后把兩個地址list合并一下。img_url +=img_url2在本地創(chuàng)建文件夾使用filename = 'image{}'.format(fileName) + str(i) + '.jpg'表示文件保存在與這個爬蟲代碼同級目錄image下,然后獲取的圖片保存在image中按照之前獲取的欄目名稱的文件夾中。
五:總結(jié)
這次爬蟲繼續(xù)練習(xí)了Selenium和xpath的使用,在網(wǎng)頁分析的時候也遇到很多問題,只有不斷練習(xí)才能把自己不會部分減少,當(dāng)然這次爬取了500多張妹紙還是挺養(yǎng)眼的。
-
python
+關(guān)注
關(guān)注
54文章
4759瀏覽量
84301
原文標(biāo)題:小白請上車 | Python抓取花瓣網(wǎng)高清美圖
文章出處:【微信號:magedu-Linux,微信公眾號:馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論