找工作必看,数据分析岗位信息爬取并可视化分析

来源:云朵君 数据STUDIO 日期:2021-06-08

本文转载自微信公众号「数据STUDIO」,作者云朵君。转载本文请联系数据STUDIO公众号。

最近经常收到人事小姐姐和猎头小哥哥的面试邀请,想想最近也不是招聘旺季呀。但又想到许多小伙伴们有找工作这方面的需求,今天就来分享一篇简单的爬虫案例,旨在跟大家一起分析一下部分招聘市场。以"数据分析"为例。

需要用到的模块

  1. import requests 
  2. import time 
  3. import random 
  4. import os 
  5. import requests 
  6. from bs4 import BeautifulSoup 
  7. import openpyxl 
  8. import numpy as np 

爬虫代码

本次爬虫难度不大,属于入门级别的,只要懂得requests请求,BeautifulSoup解析即可轻松上手,下面是本次爬虫的主要代码。

  1. def getPosition(url): 
  2.     times=time.strftime("%Y-%m-%d %H:%M:%S"time.localtime()) 
  3.     print(u'\n本地时间:',times) 
  4.     print(u'\n开始采集数据...'
  5.     # 请求获取返回值 
  6.     data = getData(url) 
  7.     # BeautifulSoup解析网页 
  8.     soup = BeautifulSoup(data.text, features='lxml')  # 对html进行解析,完成初始化 
  9.     results = soup.find_all(attrs={'class'"job-list"}) 
  10.     job_list =  results[0].find_all(attrs={'class'"job-primary"}) 
  11.     lens = len(job_list) 
  12.     for num in range(lens): 
  13.         positions = [] 
  14.         job = job_list[num] 
  15.         # 根据节点查询相应数据 
  16.         positions.extend(job.find_all(attrs={'class'"job-title"})[0].text.split()) 
  17.         positions.append(job.find_all(attrs={'class'"job-limit"})[0].text.split()[0]) 
  18.         job_limit = job.find_all(attrs={'class'"job-limit"})[0] 
  19.         positions.extend(str(job_limit.p).rstrip('</p>').lstrip('<p>').split('<em class="vline"></em>')) 
  20.         positions.append(job.find_all(attrs={'class'"company-text"})[0].text.split()[0]) 
  21.         company = job.find_all(attrs={'class'"company-text"})[0].p 
  22.         positions.extend(company.a.text.split()) 
  23.         positions.extend(str(company).rstrip('</p>').split('<em class="vline"></em>')[1:]) 
  24.         positions.extend(job.find_all(attrs={
    A+
声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表赞同其观点和对其真实性负责。