Newspaper開(kāi)源模塊的安裝和使用教程

Newspaper 是一個(gè)很棒的python庫(kù)，用于提取和整理文章。

下面是這個(gè)開(kāi)源模塊的安裝和使用教程。

1.準(zhǔn)備

開(kāi)始之前，你要確保Python和pip已經(jīng)成功安裝在電腦上，如果沒(méi)有，可以訪問(wèn)這篇文章：超詳細(xì)Python安裝指南 進(jìn)行安裝。

如果你用Python的目的是數(shù)據(jù)分析，可以直接安裝Anaconda：Python數(shù)據(jù)分析與挖掘好幫手—Anaconda，它內(nèi)置了Python和pip.

此外，推薦大家用VSCode編輯器，它有許多的優(yōu)點(diǎn)：Python 編程的最好搭檔—VSCode 詳細(xì)指南。

請(qǐng)選擇以下任一種方式輸入命令安裝依賴 ：

1. Windows 環(huán)境 打開(kāi) Cmd (開(kāi)始-運(yùn)行-CMD)。
2. MacOS 環(huán)境 打開(kāi) Terminal (command+空格輸入Terminal)。
3. 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal.

pip3 install newspaper3k

遇到任何安裝問(wèn)題，可以在本文下方留言框或Python實(shí)用寶典公眾號(hào)上留言，也可以訪問(wèn)項(xiàng)目官網(wǎng)查看相關(guān)安裝指南：
https://github.com/codelucas/newspaper

2.基本使用

Newspaper 中是以文章為對(duì)象實(shí)現(xiàn)各種操作的，比如下載指定新聞的HTML：

from newspaper import Article

url = 'http://fox13now.com/2013/12/30/new-year-new-laws-obamacare-pot-guns-and-drones/'

# 根據(jù)url生成Article對(duì)象
article = Article(url)

# 下載文章
article.download()

# 文章的HTML
article.html
#'< !DOCTYPE HTML >< html itemscope itemtype="http://...'

通過(guò)解析新聞和文章，你能獲得此文章的作者、發(fā)布時(shí)間、摘要、頂部圖像、所有圖像、多媒體等：

"""
Python 實(shí)用寶典
《Newspaper — 一個(gè)能下載38種語(yǔ)言新聞文章的 Python 模塊》
"""

# 解析文章
article.parse()

# 獲取文章作者
article.authors
# ['Leigh Ann Caldwell', 'John Honway']

# 獲取文章發(fā)布日期
article.publish_date
# datetime.datetime(2013, 12, 30, 0, 0)

# 獲取文章文本
article.text
# 'Washington (CNN) -- Not everyone subscribes to a New Year's resolution...'

# 獲取頂部圖像
article.top_image
# 'http://someCDN.com/blah/blah/blah/file.png'

# 獲取文章多媒體資源
article.movies
# ['http://youtube.com/path/to/link.com', ...]

除此之外，該模塊還附帶了 NLP 功能，你能用它來(lái)識(shí)別文章關(guān)鍵字并自動(dòng)提取摘要：

# 使用 NLP 解析
article.nlp()

# 獲取文章關(guān)鍵詞
article.keywords
# ['New Years', 'resolution', ...]

# 獲取文章摘要
article.summary
# 'The study shows that 93% of people ...'

你看，這個(gè)工具不無(wú)敵嗎？它還能提取某個(gè)網(wǎng)站的所有新聞文章，比如我想提取CNN的新聞文章：

import newspaper

cnn_paper = newspaper.build('http://cnn.com')

for article in cnn_paper.articles:
    print(article.url)
# http://www.cnn.com/2013/11/27/justice/tucson-arizona-captive-girls/
# http://www.cnn.com/2013/12/11/us/texas-teen-dwi-wreck/index.html

在此之上，你還能拿到CNN的其他新聞門戶分類：

for category in cnn_paper.category_urls():
    print(category)

# http://lifestyle.cnn.com
# http://cnn.com/world
# http://tech.cnn.com
# ...

許多中文媒體的文章下載也是支持的：

import newspaper
sina_paper = newspaper.build('http://www.sina.com.cn/', language='zh')

for category in sina_paper.category_urls():
    print(category)
# http://health.sina.com.cn
# http://eladies.sina.com.cn
# http://english.sina.com
# ...

article = sina_paper.articles[0]
article.download()
article.parse()

print(article.text)
# 新浪武漢汽車綜合 隨著汽車市場(chǎng)的日趨成熟，
# 傳統(tǒng)的"集全家之力抱得愛(ài)車歸"的全額購(gòu)車模式已然過(guò)時(shí)，
# 另一種輕松的新興 車模式――金融購(gòu)車正逐步成為時(shí)下消費(fèi)者購(gòu)
# 買愛(ài)車最為時(shí)尚的消費(fèi)理念，他們認(rèn)為，這種新穎的購(gòu)車
# 模式既能在短期內(nèi)
# ...

print(article.title)
# 兩年雙免0手續(xù)0利率 科魯茲掀背金融輕松購(gòu)_武漢車市_武漢汽
# 車網(wǎng)_新浪汽車_新浪網(wǎng)

從上面的例子你可以看到，你可以非常容易地提取中文文章，僅需要在Article的language參數(shù)中指定 'zh' ：

"""
Python 實(shí)用寶典
《Newspaper — 一個(gè)能下載38種語(yǔ)言新聞文章的 Python 模塊》
"""

from newspaper import Article
url = 'http://www.bbc.co.uk/zhongwen/simp/chinese_news/2012/12/121210_hongkong_politics.shtml'
a = Article(url, language='zh') # Chinese
a.download()
a.parse()
print(a.text[:150])

# 香港行政長(zhǎng)官梁振英在各方壓力下就其大宅的違章建
# 筑（僭建）問(wèn)題到立法會(huì)接受質(zhì)詢，并向香港民眾道歉。
# 梁振英在星期二（12月10日）的答問(wèn)大會(huì)開(kāi)始之際
# 在其演說(shuō)中道歉，但強(qiáng)調(diào)他在違章建筑問(wèn)題上沒(méi)有隱瞞的
# 意圖和動(dòng)機(jī)。一些親北京陣營(yíng)議員歡迎梁振英道歉，
# 且認(rèn)為應(yīng)能獲得香港民眾接受，但這些議員也質(zhì)問(wèn)梁振英有

print(a.title)
# 港特首梁振英就住宅違建事件道歉

這個(gè)工具所支持的所有語(yǔ)言如下：

上滑查看更多語(yǔ)言

code            full namear              Arabicbe              Belarusianbg              Bulgarianda              Danishde              Germanel              Greeken              Englishes              Spanishet              Estonianfa              Persianfi              Finnishfr              Frenchhe              Hebrewhi              Hindihr              Croatianhu              Hungarianid              Indonesianit              Italianja              Japaneseko              Koreanlt              Lithuanianmk              Macedoniannb              Norwegian (Bokm?l)nl              Dutchno              Norwegianpl              Polishpt              Portuguesero              Romanianru              Russiansl              Sloveniansr              Serbiansv              Swedishsw              Swahilith              Thaitr              Turkishuk              Ukrainianvi              Vietnamesezh              Chinese

你可以按需選擇自己所需要的語(yǔ)言。

3.高級(jí)玩法

前面我們說(shuō)過(guò)，Newspaper 是一個(gè)可以并發(fā)下載文章的框架，它是這么玩的：

"""
Python 實(shí)用寶典
《Newspaper — 一個(gè)能下載38種語(yǔ)言新聞文章的 Python 模塊》
"""

import newspaper
from newspaper import news_pool

slate_paper = newspaper.build('http://slate.com')
tc_paper = newspaper.build('http://techcrunch.com')
espn_paper = newspaper.build('http://espn.com')

papers = [slate_paper, tc_paper, espn_paper]
news_pool.set(papers, threads_per_source=2) # (3*2) = 總計(jì) 6 線程
news_pool.join()

# 到這一步，你可以假定三個(gè)新聞源的文章都下載完成了
print(slate_paper.articles[10].html)
# u'< html > ...'

可以看到，作者通過(guò) build 三個(gè)新聞源，拿到一個(gè)總的新聞源池進(jìn)行并發(fā)請(qǐng)求。

其中，.set 函數(shù)起到了調(diào)度作用，它能通過(guò)指定 threads_per_source 的值設(shè)定每個(gè)新聞源的線程。最后再 join 起來(lái)開(kāi)始并發(fā)請(qǐng)求新聞源并開(kāi)始下載新聞。

此外，Newspaper 還有一些參數(shù)可供你配置，比如：

上滑查看更多參數(shù)

keep_article_html，默認(rèn)為False，“如果要保留正文文本的html，則設(shè)置為True”http_success_only，默認(rèn)為True，“設(shè)置為False也可以捕獲非2XX響應(yīng)”MIN_WORD_COUNT，默認(rèn)為300，“文章中的單詞數(shù)量”MIN_SENT_COUNT，默認(rèn)為7，“句子數(shù)”MAX_TITLE，默認(rèn)值為200，“文章標(biāo)題中的字符數(shù)”MAX_TEXT，默認(rèn)值為100000，“文章文字中的字符數(shù)”MAX_KEYWORDS，默認(rèn)值為35，“文章中的關(guān)鍵詞數(shù)”MAX_AUTHORS，默認(rèn)值為10，“文章中的作者姓名數(shù)量”MAX_SUMMARY，默認(rèn)值為5000，“摘要的字符數(shù)”MAX_SUMMARY_SENT，默認(rèn)為5，“摘要中的句子數(shù)”memoize_articles，默認(rèn)為True，“運(yùn)行后緩存并保存運(yùn)行后的文章”fetch_images，默認(rèn)為True，“如果不需要獲取圖片，請(qǐng)將其設(shè)置為false”request_timeout，默認(rèn)為7，請(qǐng)求7秒后未響應(yīng)完成則超時(shí)number_threads，默認(rèn)值為10，多線程數(shù)量

如果你需要使用以上參數(shù)，可以設(shè)一個(gè)Config對(duì)象，傳入指定的 Article 對(duì)象或build 方法中，如：

import newspaper
from newspaper import Config, Article, Source

config = Config()
config.memoize_articles = False

cbs_paper = newspaper.build('http://cbs.com', config)

非常簡(jiǎn)單易懂，而且設(shè)置起來(lái)的維護(hù)成本不算很高。

在做一些輿情分析或者NLP算法訓(xùn)練/測(cè)試的時(shí)候，這個(gè)模塊簡(jiǎn)直就是你的福音。你可以很方便地從網(wǎng)站上提取任意語(yǔ)言的文本數(shù)據(jù)，拿來(lái)測(cè)試或者訓(xùn)練都可以。

對(duì)于那些想要搞輿情分析，尋找市場(chǎng)熱點(diǎn)的同學(xué)而言，這個(gè)模塊也是非常方便，你能搭配郵件發(fā)布工具，并使用Newspaper的關(guān)鍵詞提取功能，迅速制作一個(gè)關(guān)鍵詞熱點(diǎn)實(shí)時(shí)告警的工具。

總而言之，這是一個(gè)非常值得了解并學(xué)習(xí)使用的第三方模塊，強(qiáng)烈推薦。