Pandas 庫(kù)功能非常強(qiáng)大,特別有助于數(shù)據(jù)分析與處理,并為幾乎所有操作提供了完整的解決方案。一種常見(jiàn)的Pandas函數(shù)是pandas describe
。它向用戶(hù)提供數(shù)據(jù)集所有特征的描述性統(tǒng)計(jì)摘要,盡管其比較常用,但它仍然沒(méi)有提供足夠詳細(xì)的功能。
Pandas profiling
可以彌補(bǔ)pandas describe
沒(méi)有詳細(xì)數(shù)據(jù)報(bào)告生成的不足。它為數(shù)據(jù)集提供報(bào)告生成,并為生成的報(bào)告提供許多功能和自定義。在本文中,我們將探索這個(gè)庫(kù),查看提供的所有功能,以及一些高級(jí)用例和集成,這些用例和集成可以對(duì)從數(shù)據(jù)框創(chuàng)建令人驚嘆的報(bào)告!
安裝
與其他所有 python 包一樣,可以通過(guò) pip 包管理器輕松安裝 Pandas 分析:
pipinstallpandas-profiling
它也可以通過(guò) Conda 包管理器安裝:
condaenvcreate-npandas-profiling
condaactivatepandas-profiling
condainstall-cconda-forgepandas-profiling
數(shù)據(jù)集和設(shè)置
看下如何啟動(dòng)pandas_profiling
庫(kù)并從數(shù)據(jù)框中生成報(bào)告了。首先導(dǎo)入一個(gè)將為其生成報(bào)告的數(shù)據(jù)集。該數(shù)據(jù)集包含State_name、District_name、Crop_year、Season、Crop、Area 和 Production
的農(nóng)業(yè)數(shù)據(jù)集。
數(shù)據(jù)集獲?。?br />https://www.kaggle.com/divyosmi2009/crop-production-in-india-statevise?select=crop_production.csv
importpandasaspd
df=pd.read_csv("crop_production.csv")
在討論pandas_profiling
之前,先看看數(shù)據(jù)幀的Pandas describe
函數(shù)輸出:
df.describe(include='all')
注意我使用了
describe
函數(shù)的include
參數(shù)設(shè)置為"all"
,強(qiáng)制 pandas 包含要包含在摘要中的數(shù)據(jù)集的所有數(shù)據(jù)類(lèi)型。字符串類(lèi)型值伴隨有諸如unique、top 和 freq
等選項(xiàng)。
導(dǎo)入 pandas_profiling
frompandas_profilingimportProfileReport
分析DataFrame有兩種方法:
-
可以在 Pandas DataFrame上調(diào)用
'.profile_report()'
函數(shù)。此函數(shù)不是 Pandas API 的一部分,但只要導(dǎo)入profiling庫(kù),它就會(huì)將此函數(shù)添加到DataFrame對(duì)象中。 - 可以將DataFrame對(duì)象傳遞給profiling函數(shù),然后調(diào)用創(chuàng)建的函數(shù)對(duì)象以開(kāi)始生成分析文件。
無(wú)論采用哪種方式,都將獲得相同的輸出報(bào)告。我正在使用第二種方法為導(dǎo)入的農(nóng)業(yè)數(shù)據(jù)集生成報(bào)告。
profile=ProfileReport(df)
profile
報(bào)告部分
現(xiàn)在我們一起一一探索生產(chǎn)報(bào)告的所有部分。
1. 概述 Overview
此部分包含 3 個(gè)選項(xiàng)卡:Overview, Warnings, 和 Reproduction。
該Overview包括總體統(tǒng)計(jì)的。這包括變量數(shù)(數(shù)據(jù)框的特征或列)、觀察數(shù)(數(shù)據(jù)框的行)、缺失單元格、缺失單元格百分比、重復(fù)行、重復(fù)行百分比和內(nèi)存中的總大小。
該Warnings選項(xiàng)卡由任何類(lèi)型的相關(guān)基數(shù),相關(guān)性與其他變量,缺失值零,偏態(tài)變量,以及其他Warnings。
該reproduction標(biāo)簽只顯示相關(guān)的報(bào)告生成的信息。它顯示分析的開(kāi)始和結(jié)束時(shí)間、生成報(bào)告所用的時(shí)間、pandas_profiling 的版本以及配置下載選項(xiàng)。
我們將在本文的高級(jí)用例部分討論配置文件。
2. 變量
報(bào)告的這一部分詳細(xì)分析了數(shù)據(jù)集的所有變量/列/特征。顯示的信息因變量的數(shù)據(jù)類(lèi)型而異。
數(shù)值變量
對(duì)于數(shù)值數(shù)據(jù)類(lèi)型特征,可以獲得有關(guān)不同值、缺失值、最小值-最大值、平均值和負(fù)值計(jì)數(shù)的信息。還可以獲得直方圖形式的小表示值。
切換按鈕來(lái)展開(kāi)的Statistics, Histogram, Common values, Extreme values選項(xiàng)卡。
統(tǒng)計(jì)選項(xiàng)卡包括:
- 分位數(shù)統(tǒng)計(jì):Min-Max、百分位數(shù)、中位數(shù)、范圍和 IQR(四分位間距)。
- 描述性統(tǒng)計(jì):標(biāo)準(zhǔn)偏差、方差系數(shù)、峰度、均值、偏度、方差和單調(diào)性。
直方圖選項(xiàng)卡顯示變量的頻率或數(shù)值數(shù)據(jù)的分布。通用值選項(xiàng)卡基本上是變量的value_counts
,同時(shí)顯示為計(jì)數(shù)和百分比頻率。
字符串變量
對(duì)于字符串類(lèi)型變量,您將獲得不同(唯一)值、不同百分比、缺失、缺失百分比、內(nèi)存大小以及所有具有計(jì)數(shù)表示的唯一值的水平條表示。
它還會(huì)報(bào)告與變量相關(guān)的任何警告,而不管其數(shù)據(jù)類(lèi)型如何
切換按鈕擴(kuò)展到Overview, Categories, Words, and Characters選項(xiàng)卡。
字符串類(lèi)型值的概覽選項(xiàng)卡顯示最大-最小中值平均長(zhǎng)度、總字符、不同字符、不同類(lèi)別、唯一和來(lái)自數(shù)據(jù)集的樣本。
類(lèi)別選項(xiàng)卡顯示直方圖,有時(shí)顯示特征值計(jì)數(shù)的餅圖。該表包含值、計(jì)數(shù)和百分比頻率。
在以表格和直方圖格式呈現(xiàn)數(shù)據(jù)的方式方面,單詞和字符選項(xiàng)卡與類(lèi)別選項(xiàng)卡的作用相同,但它可以更深入地處理小寫(xiě)、大寫(xiě)、標(biāo)點(diǎn)符號(hào),特殊字符類(lèi)別也很重要!
3. 相關(guān)性
相關(guān)性用于描述兩個(gè)變量相互協(xié)調(diào)移動(dòng)的程度。在熊貓分析報(bào)告中,可以訪(fǎng)問(wèn) 5 種類(lèi)型的相關(guān)系數(shù):Pearson's r、Spearman's ρ、Kendall's τ、Phik (φk) 和 Cramér's V (φc)
。
還可以單擊切換按鈕以獲取有關(guān)各種相關(guān)系數(shù)的詳細(xì)信息。
4. 缺失值
生成的報(bào)告還包含數(shù)據(jù)集中缺失值的可視化。您將獲得 3 種類(lèi)型的圖:計(jì)數(shù)、矩陣和樹(shù)狀圖。計(jì)數(shù)圖是一個(gè)基本的條形圖,以 x 軸作為列名,條形的長(zhǎng)度代表存在的值的數(shù)量(沒(méi)有空值)。類(lèi)似的還有矩陣和樹(shù)狀圖。
5. 樣本
此部分顯示數(shù)據(jù)集的前 10 行和最后 10 行。
如何保存報(bào)告?
到目前為止,我們已經(jīng)了解了如何僅使用一行代碼或函數(shù)生成DataFrame報(bào)告,以及報(bào)告包含的所有功能。我們可能有興趣將此分析導(dǎo)出到外部文件,以便可以將其與其他應(yīng)用程序集成或?qū)⑵浒l(fā)布到 Web 上。
可以將此報(bào)告保存在
- HTML格式
- JSON 格式
任何格式的保存功能都保持不變,只需在保存時(shí)更改文件擴(kuò)展名。要保存報(bào)告,請(qǐng)?jiān)谂渲梦募?duì)象上調(diào)用 **.to_file()
**函數(shù):
profile.to_file("Analysis.html")
profile.to_file("Analysis.json")
高級(jí)用法
Pandas profiling
生成的報(bào)告是一個(gè)完整的分析,除了 DataFrame 對(duì)象之外,沒(méi)有用戶(hù)的任何輸入。報(bào)告的所有元素都是自動(dòng)選擇的,默認(rèn)值是首選。
報(bào)告中可能有一些您不想包含的元素,或者您需要為最終報(bào)告添加自己的元數(shù)據(jù)。這個(gè)庫(kù)的高級(jí)用法來(lái)了。您可以通過(guò)更改默認(rèn)配置來(lái)控制報(bào)告的各個(gè)方面。
我們可以自定義報(bào)告的一些方法。
添加元數(shù)據(jù)
您可以添加“title”, “description”, “creator”, “author”, “URL”, “copyright_year”, and “copyright_holder”
等信息。此信息將出現(xiàn)在數(shù)據(jù)集概述部分。對(duì)于此元數(shù)據(jù),將創(chuàng)建一個(gè)名為“dataset”的新選項(xiàng)卡。要將此數(shù)據(jù)添加到報(bào)告中,請(qǐng)?jiān)?ProfileReport 函數(shù)中使用 dataset 參數(shù)并將此數(shù)據(jù)作為字典傳遞:
profile=ProfileReport(df,
title="AgricultureData",
dataset={
"description":"Thisprofilingreportwasgeneratedfor數(shù)據(jù)STUDIO",
"copyright_holder":"數(shù)據(jù)STUDIO",
"copyright_year":"2021",
"url":"https://t.1yb.co/HqGX",
},)
profile
我們還可以使用 variables 參數(shù)添加有關(guān)數(shù)據(jù)集中使用的變量的信息。這將具有描述的字典作為鍵和值作為另一個(gè)具有鍵值對(duì)的字典,其中鍵是變量名稱(chēng),值作為變量的描述。
variables={
"descriptions":{
"State_Name":"州名",
"District_Name":"區(qū)名",
"Crop_Year":"播種的年份",
"Season":"作物年",
"Crop":"播種的是哪種作物?",
"Area":"作物分配了多少面積?",
"Production":"產(chǎn)量多少",
}
}
當(dāng)您將其添加到ProfileReport
函數(shù)時(shí),將在概覽部分下創(chuàng)建一個(gè)名為“variables”
的單獨(dú)選項(xiàng)卡:
報(bào)表的控制參數(shù)
假設(shè)你不想顯示所有類(lèi)型的相關(guān)系數(shù)。你可以通過(guò)使用相關(guān)性配置來(lái)簡(jiǎn)單地禁用其他系數(shù)。這也是一個(gè)字典對(duì)象,可以傳遞給ProfileReport
函數(shù):
profile=ProfileReport(df,
title="AgricultureData",
correlations={
"pearson":{"calculate":True},
"spearman":{"calculate":False},
"kendall":{"calculate":False},
"phi_k":{"calculate":False},
})
同樣,您可以自定義報(bào)告的每個(gè)部分、HTML 格式、圖表等等。
集成
在通過(guò)配置報(bào)告的各個(gè)方面使您的報(bào)告令人驚嘆后,你可能希望以任何方式發(fā)布它。或許,你可以將其導(dǎo)出為 HTML 格式并上傳到網(wǎng)絡(luò)。但是還有一些其他方法可以使你的報(bào)告脫穎而出。
Jupyter 筆記本中的小部件
在你的 Jupyter 筆記本中運(yùn)行panda profiling
時(shí),你將僅在代碼單元格中呈現(xiàn) HTML。這干擾了用戶(hù)的體驗(yàn)。你可以讓它像一個(gè)小部件一樣易于訪(fǎng)問(wèn)并提供緊湊的視圖。為此,只需在你的配置文件對(duì)象上調(diào)用**.to_widgets()
**:
Streamlit app
我們也可以將此報(bào)告作為Streamlit app
的一部分。Streamlit 是一個(gè)功能強(qiáng)大的軟件包,可以用最少的代碼構(gòu)建GUI Web app
。這些應(yīng)用程序是交互式的,幾乎與所有設(shè)備兼容。您可以按照以下代碼將你的報(bào)告作為streamlit app
的一部分:
第 1 步:安裝 streamlit_pandas_profiling
pipinstallstreamlit-pandas-profiling
第 2 步:創(chuàng)建一個(gè) Python 文件并以此格式編寫(xiě)代碼
importpandasaspd
importpandas_profiling
importstreamlitasst
fromstreamlit_pandas_profilingimportst_profile_report
frompandas_profilingimportProfileReport
df=pd.read_csv("cropsdata.csv",na_values=['='])
profile=ProfileReport(df,
title="AgricultureData",
dataset={
"description":"Thisprofilingreportwasgeneratedfor數(shù)據(jù)STUDIO",
"copyright_holder":"數(shù)據(jù)STUDIO",
"copyright_year":"2021",
"url":"https://t.1yb.co/HqGX",
},
variables={
"descriptions":{
"State_Name":"州名",
"District_Name":"區(qū)名",
"Crop_Year":"播種的年份",
"Season":"作物年",
"Crop":"播種的是哪種作物?",
"Area":"作物分配了多少面積?",
"Production":"產(chǎn)量多少",
}}
)
st.title("PandasProfilinginStreamlit!")
st.write(df)
st_profile_report(profile)
第 3 步:運(yùn)行 Streamlit 應(yīng)用程序
在終端中,輸入:
streamlitrun.py
寫(xiě)在最后
在本文中,我們一起了解了一個(gè)新工具“Pandas Profiling”
——從 Pandas DataFrame 生成報(bào)告的一站式解決方案。我們探索了此工具的所有功能、不同部分及其內(nèi)容。然后我們繼續(xù)保存生成的報(bào)告,稍后,我們查看了該庫(kù)的一些高級(jí)用例,最后集成了Streamlit
應(yīng)用程序,使報(bào)告更具前景和互動(dòng)性。
參考審核編輯:郭婷
-
數(shù)據(jù)庫(kù)
+關(guān)注
關(guān)注
7文章
3738瀏覽量
64173 -
函數(shù)
+關(guān)注
關(guān)注
3文章
4260瀏覽量
62233
原文標(biāo)題:Pandas profiling 生成報(bào)告并部署的一站式解決方案
文章出處:【微信號(hào):DBDevs,微信公眾號(hào):數(shù)據(jù)分析與開(kāi)發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論