用Python爬取拉勾網(wǎng)不同編程語言職位信息

本文主要用Python爬取拉勾網(wǎng)不同編程語言職位信息，包括：Python崗、Java崗、C++崗、PHP崗、C#崗位（5崗）；用R語言對影響薪資的因素進行分析。由于拉勾網(wǎng)的職位信息只顯示30頁，一頁15個職位信息，如果單獨爬取一個城市的崗位信息，只有幾頁是匹配的信息，信息量太小，分析沒有說服力。因此，本文爬取拉勾網(wǎng)全國職位信息。主要三部分內(nèi)容：

一、爬取拉勾網(wǎng)5崗職位信息--以Python崗為例

二、以Python崗位信息為例，分析影響薪資的因素

三、5崗之間薪水因素影響比較分析

一、爬取拉勾網(wǎng)5崗職位信息--以Python崗為例

我們抓取的信息包括Python崗位名稱、公司名稱、薪資、工作經(jīng)驗、學歷、公司規(guī)模、公司福利。

抓取結(jié)果如下：

將抓取結(jié)果循環(huán)寫入csv文件：

此外還抓取了Java崗、C++崗、PHP崗、C#崗位4崗的信息，代碼和抓取Python崗位信息類似。

二、以Python崗位信息為例，分析影響薪資的因素

這里包括數(shù)據(jù)清洗部分和數(shù)據(jù)分析部分兩部分內(nèi)容。

數(shù)據(jù)清洗部分

在抓取過程中，由于將python字典循環(huán)寫入csv文件，因此列名也被循環(huán)寫在csv文件中。

考慮本文主要分析影響薪資的因素，這里去除Name和Company兩列。

1.變量Salary

變量Salary一般都是范圍值，用“-”連接，但是不排除有XXK以上，例如10k以上這種表示形式，或者其他形式，這里需要處理一下。

2.變量Education

3.變量Size

到此，數(shù)據(jù)清洗部分內(nèi)容全部結(jié)束。

數(shù)據(jù)分析部分

1.工資與工作年限的關(guān)系

library(ggplot2)ggplot(newdata,aes(x=Experience,y=salary))+geom_boxplot(col="red")

符合大眾的認知，從事python的應(yīng)屆畢業(yè)生起始工資平均值在5K左右，且薪資水平跨度最小，經(jīng)驗5-10年，工資水平跨度最大，主要可能是因為，有一部分轉(zhuǎn)為技術(shù)管理崗位，工資較低的可能還在繼續(xù)碼代碼，是不是對廣大同胞們的警告啊.......

2.工資與學歷的關(guān)系（?？?，本科，研究生，不限）

ggplot(newdata,aes(x=Graduate,y=salary))+geom_boxplot(col="red")

這里是否能說明學歷在一定程度上的重要性？學歷本科的工資跨度比較大，因為工作經(jīng)驗的不同導致了薪資的差異。

3.工資與公司融資的關(guān)系

ggplot(newdata,aes(x=Rong,y=salary))+geom_boxplot(col="red")

對于這部分知識是盲點，但是可以看出融資公司（上市也是一種融資方式）比沒有融資的公司平均工資要高出不少，這部分是不是可以是以后找工作的一個風向標。。。

4.工資與公司大小的關(guān)系

公司規(guī)模越大，平均的工資也越高。

5.工資與工作時間和學歷的關(guān)系

這張圖告訴我們，在大部分情況下，沒（Ren）錢（Chou）就要多讀書。不管是經(jīng)驗經(jīng)驗1年以下、經(jīng)驗3-5年、經(jīng)驗5-10年、經(jīng)驗不限的情況下，擁有碩士學歷的平均收入都普遍高于本科，本科都高于大專。（這里完全沒有歧視低學歷之意）

6.公司福利的云圖

現(xiàn)在公司的福利貼有“彈性工作，氛圍好，團隊，大牛，技術(shù)，五險一金”等標簽來吸引求職者眼球。

三、5崗之間薪水因素影響比較分析

1.Python崗、Java崗、C++崗、PHP崗、C#崗位的平均薪水

抓取拉勾網(wǎng)職位信息，可以看出python和java的平均薪資較高，C#的平均工資最低。

由此也驗證python近幾年火熱的態(tài)勢，由于AI的火熱，python的需求越來越大，傳統(tǒng)的java也比較強勢，薪資待遇較高。

2.相同工作經(jīng)驗不同職位信息薪水比較

對于不同工作經(jīng)驗，不同編程語言平均薪水還是有較大的差異。

3.相同學歷信息不同職位信息薪水比較

通過碩士、本科、大專、不限四種比較，碩士的總體薪資高于本科。

4.同一職位不同學歷信息薪水比較

總的看來，在每個職業(yè)，碩士學歷的平均薪水高于本科，本科的平均薪水高于大專。