主要內容

使用Python分別爬取百度搜索頁面結果和智聯招聘的6大類職業信息，數據主要使用SQLServer SSAS進行分析，并有少量的使用Python分析結果。

對于百度搜索的數據和智聯招聘的頁面數據是截然不同的方式，百度主要是動態的生成數據而在智聯招聘上基本是靜態的數據，所以這兩個是具有一定的代表性的。

對于展示主要使用Excel，Excel作為SQLServer 數據分析中重要角色，易于操作使用。對于數據只有圖形化后，就變的極有吸引力，所以本文檔也主要是分析圖表進行說明。

l百度搜索頁面數據抓取

百度搜索頁面數據動態生成，且在抓取過程中需要對廣告推廣項進行排除。對于抓取的數據為，每個搜索項的說明數據及所在搜索頁面中的位置，搜索的數據單元項如下

將抓取到數據，構成文本文件，后使用Python的pycloudtag模塊和jieba分詞模塊，進行關鍵字統計，制作標簽云，效果如下：

對于提取到的出現頻率較高的關鍵詞有:

統計項 高頻

------------------------------------------------------------------------------------------------------------------

地區 北京，深圳，杭州，武漢等

技術 Java,Php,Linux,Html5等

機構

l智聯招聘完整信息抓取

對于招聘網站的數據，以靜態數據為主，并且結構良好，所以非常適合爬蟲進行爬取，本次爬取了7000多個頁面的數據，并存儲在數據庫22萬條數據。

爬取的內容為6大類的職業信息： IT運維；IT質量管理；互聯網開發；軟件；系統集成；運營管理，其中可分為118個具體職業，樣例數據如下：

而具體的抽取數據的數據項，包含15個數據項，數據樣例如下：

通過抓取的數據構建SSAS多維數據集進行數據分析，對于構造的多維數據模型如下：

度量值為：工資上下限 ；維度有5個為：城市，工種類型，企業，任職要求，時間維度

前期數據情況分析結果

l使用事件SSIS事件探測任務

通過SSIS“數據事件探查任務”組件進行對數據構成進行初步分析，這里列舉一些具有一些代表性的分析數據： 工作地址；企業規模；企業類型；招聘要求 的分析結果（針對IT運維；IT質量管理；互聯網開發；軟件；系統集成；運營管理6大類的分析）

工作地點：排名前四位的北 上 深 廣 ，即也反應這四地需求量最大