爬取拉勾网数据并存入MSQL数据库.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from selenium import webdriver\n",
    "import pandas as pd\n",
    "import time\n",
    "from sqlalchemy import create_engine"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "engine = create_engine('mysql+pymysql://pandas:12345678@localhost:3306/pandas_mysql?charset=utf8',\n",
    "                      echo=True,encoding='utf-8',convert_unicode=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 75,
   "metadata": {},
   "outputs": [],
   "source": [
    "url = \"http://www.lagou.com/\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver = webdriver.Chrome()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.get(url)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "metadata": {},
   "outputs": [],
   "source": [
    "#driver.implicitly_wait(15)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {},
   "outputs": [],
   "source": [
    "#点击，×掉地域选择按钮\n",
    "button_1 = driver.find_element_by_id('cboxClose')\n",
    "button_1.click()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {},
   "outputs": [],
   "source": [
    "#点击登录按钮\n",
    "button_2 =driver.find_element_by_xpath('//*[@id=\"lg_tbar\"]/div[1]/div[2]/ul/li[2]/a')\n",
    "button_2.click()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {},
   "outputs": [],
   "source": [
    "#登陆后，会变页面，同时url也会改变\n",
    "url_1 = driver.current_url#获取翻新页面后的url"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.get(url_1)#获取页面\n",
    "driver.implicitly_wait(10)#设置加载时间"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [],
   "source": [
    "input_1=driver.find_element_by_xpath('/html/body/div[5]/div/div[2]/div[1]/input')\n",
    "input_1.send_keys('18300695361')#输入手机号码（用户名）\n",
    "#验证码无法破解，只能手动选择"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [],
   "source": [
    "button_3=driver.find_element_by_xpath('/html/body/div[5]/div/div[2]/div[2]/div[1]')\n",
    "button_3.click()#点击验证码按钮获取手机验证码"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [],
   "source": [
    "input_2 = driver.find_element_by_xpath('/html/body/div[5]/div/div[2]/div[2]/input')\n",
    "input_2.send_keys('163662')#手动输入手机验证码"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [],
   "source": [
    "button_4=driver.find_element_by_xpath('/html/body/div[5]/div/div[2]/div[3]')\n",
    "button_4.click()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [],
   "source": [
    "input_3 = driver.find_element_by_xpath('//*[@id=\"search_input\"]')\n",
    "input_3.send_keys('数据分析')\n",
    "button_5= driver.find_element_by_xpath('//*[@id=\"search_button\"]')\n",
    "button_5.click()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [],
   "source": [
    "#点击后出现新的界面，消除红包提示\n",
    "url_2 = driver.current_url#获取翻新页面后的url\n",
    "driver.get(url_2)#获取页面\n",
    "button_6= driver.find_element_by_xpath('/html/body/div[6]/div/div[2]')\n",
    "button_6.click()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 95,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师',\n",
       " '高级数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师',\n",
       " '数据分析师']"
      ]
     },
     "execution_count": 95,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#职位名称\n",
    "title=[i.text for i in driver.find_elements_by_tag_name('h3')]\n",
    "title"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 97,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['北蔡',\n",
       " '华漕',\n",
       " '徐家汇',\n",
       " '杨浦区',\n",
       " '六里',\n",
       " '虹梅路',\n",
       " '徐家汇',\n",
       " '北新泾',\n",
       " '杨浦区',\n",
       " '徐汇区',\n",
       " '金桥',\n",
       " '闵行区',\n",
       " '东外滩',\n",
       " '张江',\n",
       " '徐家汇']"
      ]
     },
     "execution_count": 97,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#地理位置\n",
    "area=[i.find_element_by_tag_name('em').text for i in driver.find_elements_by_class_name('add')]\n",
    "area"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 99,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['19:56发布',\n",
       " '17:02发布',\n",
       " '17:41发布',\n",
       " '17:01发布',\n",
       " '18:02发布',\n",
       " '17:49发布',\n",
       " '18:13发布',\n",
       " '17:50发布',\n",
       " '17:30发布',\n",
       " '16:00发布',\n",
       " '15:43发布',\n",
       " '16:04发布',\n",
       " '14:49发布',\n",
       " '16:31发布',\n",
       " '14:58发布']"
      ]
     },
     "execution_count": 99,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#发布时间\n",
    "time=[i.text for i in driver.find_elements_by_class_name('format-time')]\n",
    "time"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 100,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['10k-20k',\n",
       " '12k-18k',\n",
       " '12k-20k',\n",
       " '10k-18k',\n",
       " '10k-16k',\n",
       " '15k-25k',\n",
       " '8k-15k',\n",
       " '15k-25k',\n",
       " '15k-20k',\n",
       " '15k-30k',\n",
       " '15k-25k',\n",
       " '15k-25k',\n",
       " '15k-25k',\n",
       " '15k-25k',\n",
       " '15k-30k']"
      ]
     },
     "execution_count": 100,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#薪资\n",
    "money=[i.text for i in driver.find_elements_by_class_name('money')]\n",
    "money"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 102,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['10k-20k 经验1-3年 / 本科',\n",
       " '12k-18k 经验3-5年 / 本科',\n",
       " '12k-20k 经验不限 / 本科',\n",
       " '10k-18k 经验3-5年 / 本科',\n",
       " '10k-16k 经验1-3年 / 本科',\n",
       " '15k-25k 经验3-5年 / 本科',\n",
       " '8k-15k 经验1-3年 / 本科',\n",
       " '15k-25k 经验1-3年 / 本科',\n",
       " '15k-20k 经验1-3年 / 本科',\n",
       " '15k-30k 经验3-5年 / 本科',\n",
       " '15k-25k 经验5-10年 / 本科',\n",
       " '15k-25k 经验1-3年 / 本科',\n",
       " '15k-25k 经验3-5年 / 本科',\n",
       " '15k-25k 经验1-3年 / 本科',\n",
       " '15k-30k 经验3-5年 / 本科']"
      ]
     },
     "execution_count": 102,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#要求\n",
    "demand=[i.find_element_by_class_name('li_b_l').text for i in driver.find_elements_by_class_name('p_bot')]\n",
    "demand"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 103,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['萨摩耶数科',\n",
       " '行动教育',\n",
       " '久谦咨询',\n",
       " '上海众调科技',\n",
       " '杉欣集团',\n",
       " '一条视频',\n",
       " '数云',\n",
       " '携程集团',\n",
       " 'DataStory',\n",
       " '比心陪练',\n",
       " '咪咕',\n",
       " '么么直播',\n",
       " '达达集团',\n",
       " '包图网',\n",
       " 'Convert lab']"
      ]
     },
     "execution_count": 103,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#公司名称\n",
    "company_name=[i.find_element_by_tag_name('a').text for i in driver.find_elements_by_class_name('company_name')]\n",
    "company_name"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 104,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['金融 / C轮 / 150-500人',\n",
       " '教育 / 不需要融资 / 500-2000人',\n",
       " '企业服务,数据服务 / 未融资 / 50-150人',\n",
       " '移动互联网 / A轮 / 50-150人',\n",
       " '软件开发 / 未融资 / 150-500人',\n",
       " '电商 / C轮 / 150-500人',\n",
       " '企业服务,数据服务 / C轮 / 150-500人',\n",
       " '旅游 / 上市公司 / 2000人以上',\n",
       " '数据服务 / B轮 / 150-500人',\n",
       " '社交 / B轮 / 500-2000人',\n",
       " '移动互联网,文娱丨内容 / 不需要融资 / 2000人以上',\n",
       " '移动互联网,社交 / 不需要融资 / 50-150人',\n",
       " '消费生活 / 上市公司 / 2000人以上',\n",
       " '移动互联网 / 不需要融资 / 150-500人',\n",
       " '企业服务 / B轮 / 50-150人']"
      ]
     },
     "execution_count": 104,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#行业\n",
    "industry=[i.text for i in driver.find_elements_by_class_name('industry')]\n",
    "industry"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 105,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['“氛围好,商业医疗险”',\n",
       " '“上市公司、创新氛围强、团队凝聚力、发展空间大”',\n",
       " '“福利待遇优厚，发展空间大，团队氛围好”',\n",
       " '“交通便利 待遇良好 晋升机会 技术大牛”',\n",
       " '“发展前景好 团队氛围佳 注重个人成长”',\n",
       " '“晋升空间 潜力大 有挑战性”',\n",
       " '“五险一金 综合实力强”',\n",
       " '“技术大牛群集，年度旅游，晋升机会”',\n",
       " '“五险一金 周末双休 扁平管理 氛围轻松”',\n",
       " '“岗位晋升空间大、平台好”',\n",
       " '“年终奖 带薪年假 交通补助 通讯津贴等”',\n",
       " '“行业前景好,人性化管理,福利好”',\n",
       " '“技术驱动、风口平台”',\n",
       " '“年终奖金，五险一金，领导好，薪酬福利好”',\n",
       " '“佛系不鸡血，提供午餐晚餐，无996，007，大小周”']"
      ]
     },
     "execution_count": 105,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#福利\n",
    "welfare=[i.text for i in driver.find_elements_by_class_name('li_b_r')]\n",
    "welfare"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 106,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['金融 数据分析',\n",
       " '教育 企业服务 数据库 BI SQL 数据分析',\n",
       " '大数据 新零售',\n",
       " '数据分析',\n",
       " '电商 数据分析',\n",
       " '电商 数据分析',\n",
       " '新零售 CRM BI SQL 数据分析',\n",
       " '旅游 大数据 ETL Hive 数据分析 数据处理',\n",
       " '消费者分析 数据分析',\n",
       " '数据分析',\n",
       " '数据分析 SQL 数据建模',\n",
       " '社交 移动互联网 数据分析 SQL',\n",
       " '大数据 数据分析 SPSS',\n",
       " '电商 竞品分析 数据分析',\n",
       " '数据挖掘 算法工程师 数据分析 算法']"
      ]
     },
     "execution_count": 106,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#标签\n",
    "label=[i.text for i in driver.find_elements_by_xpath('//div[@class=\"list_item_bot\"]/div[@class=\"li_b_l\"]')]\n",
    "label"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 107,
   "metadata": {},
   "outputs": [],
   "source": [
    "##代码结构\n",
    "#1.访问功能--首先打开我们需要的第一个页面\n",
    "#2.构造函数，可以提取任意当前页面的所有内容\n",
    "#3.开发翻页功能，不断调用步骤2中的函数，然后将数据整合到一起\n",
    "#4.将步骤3中的功能也打包成函数，然后可以替换任意城市，替换不同的工作岗位"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 112,
   "metadata": {},
   "outputs": [],
   "source": [
    "#brower已经正确了，直接进行提取\n",
    "def get_lagou_one_page():\n",
    "    #新建一个空的DataFrame\n",
    "    df_one=pd.DataFrame()\n",
    "    title=[i.text for i in driver.find_elements_by_tag_name('h3')]\n",
    "    area=[i.find_element_by_tag_name('em').text for i in driver.find_elements_by_class_name('add')]\n",
    "    time=[i.text for i in driver.find_elements_by_class_name('format-time')]\n",
    "    money=[i.text for i in driver.find_elements_by_class_name('money')]\n",
    "    demand=[i.find_element_by_class_name('li_b_l').text for i in driver.find_elements_by_class_name('p_bot')]\n",
    "    label=[i.text for i in driver.find_elements_by_xpath('//div[@class=\"list_item_bot\"]/div[@class=\"li_b_l\"]')]\n",
    "    welfare=[i.text for i in driver.find_elements_by_class_name('li_b_r')]\n",
    "    industry=[i.text for i in driver.find_elements_by_class_name('industry')]\n",
    "    company_name=[i.find_element_by_tag_name('a').text for i in driver.find_elements_by_class_name('company_name')]\n",
    "    #将上面提取出来的数据保存进来\n",
    "    df_one['职位名称']= title\n",
    "    df_one['公司地址']= area\n",
    "    df_one['发布时间']= time\n",
    "    df_one['薪资待遇']= money\n",
    "    df_one['岗位要求']= demand\n",
    "    df_one['岗位标签']= label\n",
    "    df_one['公司福利']= welfare\n",
    "    df_one['所属行业']= industry\n",
    "    df_one['公司名称']= company_name\n",
    "    return df_one"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 115,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>北蔡</td>\n",
       "      <td>19:56发布</td>\n",
       "      <td>10k-20k</td>\n",
       "      <td>10k-20k 经验1-3年 / 本科</td>\n",
       "      <td>金融 数据分析</td>\n",
       "      <td>“氛围好,商业医疗险”</td>\n",
       "      <td>金融 / C轮 / 150-500人</td>\n",
       "      <td>萨摩耶数科</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>华漕</td>\n",
       "      <td>17:02发布</td>\n",
       "      <td>12k-18k</td>\n",
       "      <td>12k-18k 经验3-5年 / 本科</td>\n",
       "      <td>教育 企业服务 数据库 BI SQL 数据分析</td>\n",
       "      <td>“上市公司、创新氛围强、团队凝聚力、发展空间大”</td>\n",
       "      <td>教育 / 不需要融资 / 500-2000人</td>\n",
       "      <td>行动教育</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>徐家汇</td>\n",
       "      <td>17:41发布</td>\n",
       "      <td>12k-20k</td>\n",
       "      <td>12k-20k 经验不限 / 本科</td>\n",
       "      <td>大数据 新零售</td>\n",
       "      <td>“福利待遇优厚，发展空间大，团队氛围好”</td>\n",
       "      <td>企业服务,数据服务 / 未融资 / 50-150人</td>\n",
       "      <td>久谦咨询</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>17:01发布</td>\n",
       "      <td>10k-18k</td>\n",
       "      <td>10k-18k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“交通便利 待遇良好 晋升机会 技术大牛”</td>\n",
       "      <td>移动互联网 / A轮 / 50-150人</td>\n",
       "      <td>上海众调科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>六里</td>\n",
       "      <td>18:02发布</td>\n",
       "      <td>10k-16k</td>\n",
       "      <td>10k-16k 经验1-3年 / 本科</td>\n",
       "      <td>电商 数据分析</td>\n",
       "      <td>“发展前景好 团队氛围佳 注重个人成长”</td>\n",
       "      <td>软件开发 / 未融资 / 150-500人</td>\n",
       "      <td>杉欣集团</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>虹梅路</td>\n",
       "      <td>17:49发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验3-5年 / 本科</td>\n",
       "      <td>电商 数据分析</td>\n",
       "      <td>“晋升空间 潜力大 有挑战性”</td>\n",
       "      <td>电商 / C轮 / 150-500人</td>\n",
       "      <td>一条视频</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>高级数据分析师</td>\n",
       "      <td>徐家汇</td>\n",
       "      <td>18:13发布</td>\n",
       "      <td>8k-15k</td>\n",
       "      <td>8k-15k 经验1-3年 / 本科</td>\n",
       "      <td>新零售 CRM BI SQL 数据分析</td>\n",
       "      <td>“五险一金 综合实力强”</td>\n",
       "      <td>企业服务,数据服务 / C轮 / 150-500人</td>\n",
       "      <td>数云</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>北新泾</td>\n",
       "      <td>17:50发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验1-3年 / 本科</td>\n",
       "      <td>旅游 大数据 ETL Hive 数据分析 数据处理</td>\n",
       "      <td>“技术大牛群集，年度旅游，晋升机会”</td>\n",
       "      <td>旅游 / 上市公司 / 2000人以上</td>\n",
       "      <td>携程集团</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>17:30发布</td>\n",
       "      <td>15k-20k</td>\n",
       "      <td>15k-20k 经验1-3年 / 本科</td>\n",
       "      <td>消费者分析 数据分析</td>\n",
       "      <td>“五险一金 周末双休 扁平管理 氛围轻松”</td>\n",
       "      <td>数据服务 / B轮 / 150-500人</td>\n",
       "      <td>DataStory</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>徐汇区</td>\n",
       "      <td>16:00发布</td>\n",
       "      <td>15k-30k</td>\n",
       "      <td>15k-30k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“岗位晋升空间大、平台好”</td>\n",
       "      <td>社交 / B轮 / 500-2000人</td>\n",
       "      <td>比心陪练</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>金桥</td>\n",
       "      <td>15:43发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验5-10年 / 本科</td>\n",
       "      <td>数据分析 SQL 数据建模</td>\n",
       "      <td>“年终奖 带薪年假 交通补助 通讯津贴等”</td>\n",
       "      <td>移动互联网,文娱丨内容 / 不需要融资 / 2000人以上</td>\n",
       "      <td>咪咕</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>闵行区</td>\n",
       "      <td>16:04发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验1-3年 / 本科</td>\n",
       "      <td>社交 移动互联网 数据分析 SQL</td>\n",
       "      <td>“行业前景好,人性化管理,福利好”</td>\n",
       "      <td>移动互联网,社交 / 不需要融资 / 50-150人</td>\n",
       "      <td>么么直播</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>东外滩</td>\n",
       "      <td>14:49发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验3-5年 / 本科</td>\n",
       "      <td>大数据 数据分析 SPSS</td>\n",
       "      <td>“技术驱动、风口平台”</td>\n",
       "      <td>消费生活 / 上市公司 / 2000人以上</td>\n",
       "      <td>达达集团</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>张江</td>\n",
       "      <td>16:31发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验1-3年 / 本科</td>\n",
       "      <td>电商 竞品分析 数据分析</td>\n",
       "      <td>“年终奖金，五险一金，领导好，薪酬福利好”</td>\n",
       "      <td>移动互联网 / 不需要融资 / 150-500人</td>\n",
       "      <td>包图网</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>徐家汇</td>\n",
       "      <td>14:58发布</td>\n",
       "      <td>15k-30k</td>\n",
       "      <td>15k-30k 经验3-5年 / 本科</td>\n",
       "      <td>数据挖掘 算法工程师 数据分析 算法</td>\n",
       "      <td>“佛系不鸡血，提供午餐晚餐，无996，007，大小周”</td>\n",
       "      <td>企业服务 / B轮 / 50-150人</td>\n",
       "      <td>Convert lab</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       职位名称 公司地址     发布时间     薪资待遇                  岗位要求  \\\n",
       "0     数据分析师   北蔡  19:56发布  10k-20k   10k-20k 经验1-3年 / 本科   \n",
       "1     数据分析师   华漕  17:02发布  12k-18k   12k-18k 经验3-5年 / 本科   \n",
       "2     数据分析师  徐家汇  17:41发布  12k-20k     12k-20k 经验不限 / 本科   \n",
       "3     数据分析师  杨浦区  17:01发布  10k-18k   10k-18k 经验3-5年 / 本科   \n",
       "4     数据分析师   六里  18:02发布  10k-16k   10k-16k 经验1-3年 / 本科   \n",
       "5     数据分析师  虹梅路  17:49发布  15k-25k   15k-25k 经验3-5年 / 本科   \n",
       "6   高级数据分析师  徐家汇  18:13发布   8k-15k    8k-15k 经验1-3年 / 本科   \n",
       "7     数据分析师  北新泾  17:50发布  15k-25k   15k-25k 经验1-3年 / 本科   \n",
       "8     数据分析师  杨浦区  17:30发布  15k-20k   15k-20k 经验1-3年 / 本科   \n",
       "9     数据分析师  徐汇区  16:00发布  15k-30k   15k-30k 经验3-5年 / 本科   \n",
       "10    数据分析师   金桥  15:43发布  15k-25k  15k-25k 经验5-10年 / 本科   \n",
       "11    数据分析师  闵行区  16:04发布  15k-25k   15k-25k 经验1-3年 / 本科   \n",
       "12    数据分析师  东外滩  14:49发布  15k-25k   15k-25k 经验3-5年 / 本科   \n",
       "13    数据分析师   张江  16:31发布  15k-25k   15k-25k 经验1-3年 / 本科   \n",
       "14    数据分析师  徐家汇  14:58发布  15k-30k   15k-30k 经验3-5年 / 本科   \n",
       "\n",
       "                         岗位标签                         公司福利  \\\n",
       "0                     金融 数据分析                  “氛围好,商业医疗险”   \n",
       "1     教育 企业服务 数据库 BI SQL 数据分析     “上市公司、创新氛围强、团队凝聚力、发展空间大”   \n",
       "2                     大数据 新零售         “福利待遇优厚，发展空间大，团队氛围好”   \n",
       "3                        数据分析        “交通便利 待遇良好 晋升机会 技术大牛”   \n",
       "4                     电商 数据分析         “发展前景好 团队氛围佳 注重个人成长”   \n",
       "5                     电商 数据分析              “晋升空间 潜力大 有挑战性”   \n",
       "6         新零售 CRM BI SQL 数据分析                 “五险一金 综合实力强”   \n",
       "7   旅游 大数据 ETL Hive 数据分析 数据处理           “技术大牛群集，年度旅游，晋升机会”   \n",
       "8                  消费者分析 数据分析        “五险一金 周末双休 扁平管理 氛围轻松”   \n",
       "9                        数据分析                “岗位晋升空间大、平台好”   \n",
       "10              数据分析 SQL 数据建模        “年终奖 带薪年假 交通补助 通讯津贴等”   \n",
       "11          社交 移动互联网 数据分析 SQL            “行业前景好,人性化管理,福利好”   \n",
       "12              大数据 数据分析 SPSS                  “技术驱动、风口平台”   \n",
       "13               电商 竞品分析 数据分析        “年终奖金，五险一金，领导好，薪酬福利好”   \n",
       "14         数据挖掘 算法工程师 数据分析 算法  “佛系不鸡血，提供午餐晚餐，无996，007，大小周”   \n",
       "\n",
       "                             所属行业         公司名称  \n",
       "0              金融 / C轮 / 150-500人        萨摩耶数科  \n",
       "1          教育 / 不需要融资 / 500-2000人         行动教育  \n",
       "2       企业服务,数据服务 / 未融资 / 50-150人         久谦咨询  \n",
       "3            移动互联网 / A轮 / 50-150人       上海众调科技  \n",
       "4           软件开发 / 未融资 / 150-500人         杉欣集团  \n",
       "5              电商 / C轮 / 150-500人         一条视频  \n",
       "6       企业服务,数据服务 / C轮 / 150-500人           数云  \n",
       "7             旅游 / 上市公司 / 2000人以上         携程集团  \n",
       "8            数据服务 / B轮 / 150-500人    DataStory  \n",
       "9             社交 / B轮 / 500-2000人         比心陪练  \n",
       "10  移动互联网,文娱丨内容 / 不需要融资 / 2000人以上           咪咕  \n",
       "11     移动互联网,社交 / 不需要融资 / 50-150人         么么直播  \n",
       "12          消费生活 / 上市公司 / 2000人以上         达达集团  \n",
       "13       移动互联网 / 不需要融资 / 150-500人          包图网  \n",
       "14            企业服务 / B轮 / 50-150人  Convert lab  "
      ]
     },
     "execution_count": 115,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_one=get_lagou_one_page()\n",
    "df_one"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 117,
   "metadata": {},
   "outputs": [],
   "source": [
    "#建一个空的DataFrame用于合并\n",
    "df=pd.DataFrame()\n",
    "for i in range(30):\n",
    "    df_one = get_lagou_one_page()\n",
    "    #内容合并\n",
    "    df=df.append(df_one,ignore_index=True)\n",
    "    #翻页\n",
    "    driver.find_element_by_xpath('//span[@action=\"next\"]').click()\n",
    "    time.sleep(6)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 151,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>北蔡</td>\n",
       "      <td>19:56发布</td>\n",
       "      <td>10k-20k</td>\n",
       "      <td>10k-20k 经验1-3年 / 本科</td>\n",
       "      <td>金融 数据分析</td>\n",
       "      <td>“氛围好,商业医疗险”</td>\n",
       "      <td>金融 / C轮 / 150-500人</td>\n",
       "      <td>萨摩耶数科</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>华漕</td>\n",
       "      <td>17:02发布</td>\n",
       "      <td>12k-18k</td>\n",
       "      <td>12k-18k 经验3-5年 / 本科</td>\n",
       "      <td>教育 企业服务 数据库 BI SQL 数据分析</td>\n",
       "      <td>“上市公司、创新氛围强、团队凝聚力、发展空间大”</td>\n",
       "      <td>教育 / 不需要融资 / 500-2000人</td>\n",
       "      <td>行动教育</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>徐家汇</td>\n",
       "      <td>17:41发布</td>\n",
       "      <td>12k-20k</td>\n",
       "      <td>12k-20k 经验不限 / 本科</td>\n",
       "      <td>大数据 新零售</td>\n",
       "      <td>“福利待遇优厚，发展空间大，团队氛围好”</td>\n",
       "      <td>企业服务,数据服务 / 未融资 / 50-150人</td>\n",
       "      <td>久谦咨询</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>17:01发布</td>\n",
       "      <td>10k-18k</td>\n",
       "      <td>10k-18k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“交通便利 待遇良好 晋升机会 技术大牛”</td>\n",
       "      <td>移动互联网 / A轮 / 50-150人</td>\n",
       "      <td>上海众调科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>六里</td>\n",
       "      <td>18:02发布</td>\n",
       "      <td>10k-16k</td>\n",
       "      <td>10k-16k 经验1-3年 / 本科</td>\n",
       "      <td>电商 数据分析</td>\n",
       "      <td>“发展前景好 团队氛围佳 注重个人成长”</td>\n",
       "      <td>软件开发 / 未融资 / 150-500人</td>\n",
       "      <td>杉欣集团</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>445</th>\n",
       "      <td>【21届校招】质量数据分析专员/上海(J13720)</td>\n",
       "      <td>闵行区</td>\n",
       "      <td>2020-12-21</td>\n",
       "      <td>15k-20k</td>\n",
       "      <td>15k-20k 经验在校/应届 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“0-12个月年终奖，一线互联网公司”</td>\n",
       "      <td>移动互联网,硬件 / D轮及以上 / 2000人以上</td>\n",
       "      <td>哈啰出行</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>446</th>\n",
       "      <td>EI8467-资深数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-12-09</td>\n",
       "      <td>13k-26k</td>\n",
       "      <td>13k-26k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析 业务理解</td>\n",
       "      <td>“发展前景,晋升机会,能力发挥”</td>\n",
       "      <td>移动互联网,文娱丨内容 / 上市公司 / 2000人以上</td>\n",
       "      <td>哔哩哔哩</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>447</th>\n",
       "      <td>游戏数据分析师</td>\n",
       "      <td>闵行区</td>\n",
       "      <td>2020-12-18</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验1-3年 / 本科</td>\n",
       "      <td>数据分析 SQL/Hive 数据挖掘 算法</td>\n",
       "      <td>“福利待遇好，晋升空间大”</td>\n",
       "      <td>游戏 / 不需要融资 / 500-2000人</td>\n",
       "      <td>沐瞳游戏</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>448</th>\n",
       "      <td>数据分析专家</td>\n",
       "      <td>漕河泾</td>\n",
       "      <td>2020-07-25</td>\n",
       "      <td>20k-40k</td>\n",
       "      <td>20k-40k 经验3-5年 / 本科</td>\n",
       "      <td>企业服务 机器学习 创业 数据挖掘</td>\n",
       "      <td>“数据科学，产品创新孵化”</td>\n",
       "      <td>企业服务,数据服务 / B轮 / 150-500人</td>\n",
       "      <td>GrowingIO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>449</th>\n",
       "      <td>JA5738-资深数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-12-18</td>\n",
       "      <td>15k-30k</td>\n",
       "      <td>15k-30k 经验1-3年 / 本科</td>\n",
       "      <td>互联网</td>\n",
       "      <td>“上市公司,五险一金”</td>\n",
       "      <td>移动互联网,文娱丨内容 / 上市公司 / 2000人以上</td>\n",
       "      <td>哔哩哔哩</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>450 rows × 9 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                           职位名称 公司地址        发布时间     薪资待遇  \\\n",
       "0                         数据分析师   北蔡     19:56发布  10k-20k   \n",
       "1                         数据分析师   华漕     17:02发布  12k-18k   \n",
       "2                         数据分析师  徐家汇     17:41发布  12k-20k   \n",
       "3                         数据分析师  杨浦区     17:01发布  10k-18k   \n",
       "4                         数据分析师   六里     18:02发布  10k-16k   \n",
       "..                          ...  ...         ...      ...   \n",
       "445  【21届校招】质量数据分析专员/上海(J13720)  闵行区  2020-12-21  15k-20k   \n",
       "446              EI8467-资深数据分析师  杨浦区  2020-12-09  13k-26k   \n",
       "447                     游戏数据分析师  闵行区  2020-12-18  15k-25k   \n",
       "448                      数据分析专家  漕河泾  2020-07-25  20k-40k   \n",
       "449              JA5738-资深数据分析师  杨浦区  2020-12-18  15k-30k   \n",
       "\n",
       "                     岗位要求                     岗位标签                      公司福利  \\\n",
       "0     10k-20k 经验1-3年 / 本科                  金融 数据分析               “氛围好,商业医疗险”   \n",
       "1     12k-18k 经验3-5年 / 本科  教育 企业服务 数据库 BI SQL 数据分析  “上市公司、创新氛围强、团队凝聚力、发展空间大”   \n",
       "2       12k-20k 经验不限 / 本科                  大数据 新零售      “福利待遇优厚，发展空间大，团队氛围好”   \n",
       "3     10k-18k 经验3-5年 / 本科                     数据分析     “交通便利 待遇良好 晋升机会 技术大牛”   \n",
       "4     10k-16k 经验1-3年 / 本科                  电商 数据分析      “发展前景好 团队氛围佳 注重个人成长”   \n",
       "..                    ...                      ...                       ...   \n",
       "445  15k-20k 经验在校/应届 / 本科                     数据分析       “0-12个月年终奖，一线互联网公司”   \n",
       "446   13k-26k 经验3-5年 / 本科                数据分析 业务理解          “发展前景,晋升机会,能力发挥”   \n",
       "447   15k-25k 经验1-3年 / 本科    数据分析 SQL/Hive 数据挖掘 算法             “福利待遇好，晋升空间大”   \n",
       "448   20k-40k 经验3-5年 / 本科        企业服务 机器学习 创业 数据挖掘             “数据科学，产品创新孵化”   \n",
       "449   15k-30k 经验1-3年 / 本科                      互联网               “上市公司,五险一金”   \n",
       "\n",
       "                             所属行业       公司名称  \n",
       "0              金融 / C轮 / 150-500人      萨摩耶数科  \n",
       "1          教育 / 不需要融资 / 500-2000人       行动教育  \n",
       "2       企业服务,数据服务 / 未融资 / 50-150人       久谦咨询  \n",
       "3            移动互联网 / A轮 / 50-150人     上海众调科技  \n",
       "4           软件开发 / 未融资 / 150-500人       杉欣集团  \n",
       "..                            ...        ...  \n",
       "445    移动互联网,硬件 / D轮及以上 / 2000人以上       哈啰出行  \n",
       "446  移动互联网,文娱丨内容 / 上市公司 / 2000人以上       哔哩哔哩  \n",
       "447        游戏 / 不需要融资 / 500-2000人       沐瞳游戏  \n",
       "448     企业服务,数据服务 / B轮 / 150-500人  GrowingIO  \n",
       "449  移动互联网,文娱丨内容 / 上市公司 / 2000人以上       哔哩哔哩  \n",
       "\n",
       "[450 rows x 9 columns]"
      ]
     },
     "execution_count": 151,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_shanghai=df\n",
    "df_shanghai"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 128,
   "metadata": {},
   "outputs": [],
   "source": [
    "#将上面的功能打包成函数\n",
    "def get_lagou_data(job_name,city_num,page_num):\n",
    "    #1.访问第一页，构造URL\n",
    "    url=\"https://www.lagou.com/jobs/list_{}/p-city_{}?px=default#filterBox\".format(job_name,city_num)\n",
    "    driver.get(url)\n",
    "    time.sleep(6)#手动点掉出现的广告\n",
    "    df=pd.DataFrame()\n",
    "    #开始循环\n",
    "    for i in range(page_num):\n",
    "        df_one=get_lagou_one_page()\n",
    "        #内容合并\n",
    "        df=df.append(df_one,ignore_index=True)\n",
    "        #翻页\n",
    "        driver.find_element_by_xpath('//span[@action=\"next\"]').click()\n",
    "        time.sleep(6)\n",
    "    return df \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 129,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>数据分析师-郑州</td>\n",
       "      <td>中原区</td>\n",
       "      <td>17:04发布</td>\n",
       "      <td>8k-15k</td>\n",
       "      <td>8k-15k 经验3-5年 / 本科</td>\n",
       "      <td>数据采集</td>\n",
       "      <td>“五险一金,午餐补助,补充医疗,14薪”</td>\n",
       "      <td>数据服务 / C轮 / 500-2000人</td>\n",
       "      <td>神策数据</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>高级数据分析师（五险一金+双休+丰厚福利）</td>\n",
       "      <td>中原区</td>\n",
       "      <td>2天前发布</td>\n",
       "      <td>10k-15k</td>\n",
       "      <td>10k-15k 经验3-5年 / 本科</td>\n",
       "      <td>大数据 Python</td>\n",
       "      <td>“公司发展前景好，团队实力强”</td>\n",
       "      <td>移动互联网,游戏 / B轮 / 500-2000人</td>\n",
       "      <td>安徽省刀锋网络科技有限公司</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>自动驾驶数据分析工程师</td>\n",
       "      <td>郑东新区</td>\n",
       "      <td>2020-12-24</td>\n",
       "      <td>10k-20k</td>\n",
       "      <td>10k-20k 经验在校/应届 / 本科</td>\n",
       "      <td>测试开发 ubuntu git docker</td>\n",
       "      <td>“大牛导师一带一培养”</td>\n",
       "      <td>移动互联网,企业服务 / B轮 / 150-500人</td>\n",
       "      <td>文远知行</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>数据分析</td>\n",
       "      <td>经开区</td>\n",
       "      <td>2020-12-04</td>\n",
       "      <td>10k-20k</td>\n",
       "      <td>10k-20k 经验5-10年 / 本科</td>\n",
       "      <td>大数据 移动互联网 数据库 BI SQL</td>\n",
       "      <td>“五险一金 绩效奖金 带薪休假 定期体检”</td>\n",
       "      <td>电商,数据服务 / 上市公司 / 2000人以上</td>\n",
       "      <td>富士康科技集团</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>数据分析</td>\n",
       "      <td>北环</td>\n",
       "      <td>2020-12-23</td>\n",
       "      <td>4k-8k</td>\n",
       "      <td>4k-8k 经验不限 / 大专</td>\n",
       "      <td>ETL</td>\n",
       "      <td>“双休，五险一金，项目奖金”</td>\n",
       "      <td>数据服务 / B轮 / 少于15人</td>\n",
       "      <td>河皓大数据</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>253</th>\n",
       "      <td>项目经理</td>\n",
       "      <td>高新区</td>\n",
       "      <td>2020-12-15</td>\n",
       "      <td>8k-15k</td>\n",
       "      <td>8k-15k 经验3-5年 / 大专</td>\n",
       "      <td>信息安全 政务 项目管理 过程管理 需求分析</td>\n",
       "      <td>“政府主导、自研项目、六险一金、提供食宿”</td>\n",
       "      <td>信息安全 / 不需要融资 / 50-150人</td>\n",
       "      <td>崤云安全</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>254</th>\n",
       "      <td>算法工程师（中级、高级）</td>\n",
       "      <td>郑东新区</td>\n",
       "      <td>2020-11-16</td>\n",
       "      <td>15k-30k</td>\n",
       "      <td>15k-30k 经验1-3年 / 本科</td>\n",
       "      <td>算法工程师</td>\n",
       "      <td>“五险一金 住房餐贴 带薪年假 交通补助”</td>\n",
       "      <td>金融 / 上市公司 / 2000人以上</td>\n",
       "      <td>中原银行</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>255</th>\n",
       "      <td>市场调研</td>\n",
       "      <td>航空港区</td>\n",
       "      <td>2020-12-04</td>\n",
       "      <td>8k-10k</td>\n",
       "      <td>8k-10k 经验3-5年 / 本科</td>\n",
       "      <td>信息收集 数据分析 竞品调研</td>\n",
       "      <td>“工作弹性 管理正规”</td>\n",
       "      <td>电商,数据服务 / 上市公司 / 2000人以上</td>\n",
       "      <td>富士康科技集团</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>256</th>\n",
       "      <td>客户经理</td>\n",
       "      <td>祭城</td>\n",
       "      <td>2020-08-08</td>\n",
       "      <td>6k-7k</td>\n",
       "      <td>6k-7k 经验在校/应届 / 本科</td>\n",
       "      <td>教育 移动互联网</td>\n",
       "      <td>“五险一金、工作餐、图书馆、健身房等等”</td>\n",
       "      <td>教育,移动互联网 / 不需要融资 / 150-500人</td>\n",
       "      <td>校信通</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>257</th>\n",
       "      <td>数据运营专员</td>\n",
       "      <td>金水区</td>\n",
       "      <td>2020-08-24</td>\n",
       "      <td>4k-6k</td>\n",
       "      <td>4k-6k 经验1-3年 / 大专</td>\n",
       "      <td>移动互联网 活动运营 游戏运营 APP运营 数据分析</td>\n",
       "      <td>“五险一金 免费午餐 体检 节假日福利 年终奖”</td>\n",
       "      <td>游戏 / 未融资 / 50-150人</td>\n",
       "      <td>百易科技</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>258 rows × 9 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                      职位名称  公司地址        发布时间     薪资待遇                  岗位要求  \\\n",
       "0                 数据分析师-郑州   中原区     17:04发布   8k-15k    8k-15k 经验3-5年 / 本科   \n",
       "1    高级数据分析师（五险一金+双休+丰厚福利）   中原区       2天前发布  10k-15k   10k-15k 经验3-5年 / 本科   \n",
       "2              自动驾驶数据分析工程师  郑东新区  2020-12-24  10k-20k  10k-20k 经验在校/应届 / 本科   \n",
       "3                     数据分析   经开区  2020-12-04  10k-20k  10k-20k 经验5-10年 / 本科   \n",
       "4                     数据分析    北环  2020-12-23    4k-8k       4k-8k 经验不限 / 大专   \n",
       "..                     ...   ...         ...      ...                   ...   \n",
       "253                   项目经理   高新区  2020-12-15   8k-15k    8k-15k 经验3-5年 / 大专   \n",
       "254           算法工程师（中级、高级）  郑东新区  2020-11-16  15k-30k   15k-30k 经验1-3年 / 本科   \n",
       "255                   市场调研  航空港区  2020-12-04   8k-10k    8k-10k 经验3-5年 / 本科   \n",
       "256                   客户经理    祭城  2020-08-08    6k-7k    6k-7k 经验在校/应届 / 本科   \n",
       "257                 数据运营专员   金水区  2020-08-24    4k-6k     4k-6k 经验1-3年 / 大专   \n",
       "\n",
       "                           岗位标签                      公司福利  \\\n",
       "0                          数据采集      “五险一金,午餐补助,补充医疗,14薪”   \n",
       "1                    大数据 Python           “公司发展前景好，团队实力强”   \n",
       "2        测试开发 ubuntu git docker               “大牛导师一带一培养”   \n",
       "3          大数据 移动互联网 数据库 BI SQL     “五险一金 绩效奖金 带薪休假 定期体检”   \n",
       "4                           ETL            “双休，五险一金，项目奖金”   \n",
       "..                          ...                       ...   \n",
       "253      信息安全 政务 项目管理 过程管理 需求分析     “政府主导、自研项目、六险一金、提供食宿”   \n",
       "254                       算法工程师     “五险一金 住房餐贴 带薪年假 交通补助”   \n",
       "255              信息收集 数据分析 竞品调研               “工作弹性 管理正规”   \n",
       "256                    教育 移动互联网      “五险一金、工作餐、图书馆、健身房等等”   \n",
       "257  移动互联网 活动运营 游戏运营 APP运营 数据分析  “五险一金 免费午餐 体检 节假日福利 年终奖”   \n",
       "\n",
       "                            所属行业           公司名称  \n",
       "0          数据服务 / C轮 / 500-2000人           神策数据  \n",
       "1      移动互联网,游戏 / B轮 / 500-2000人  安徽省刀锋网络科技有限公司  \n",
       "2     移动互联网,企业服务 / B轮 / 150-500人           文远知行  \n",
       "3       电商,数据服务 / 上市公司 / 2000人以上        富士康科技集团  \n",
       "4              数据服务 / B轮 / 少于15人          河皓大数据  \n",
       "..                           ...            ...  \n",
       "253       信息安全 / 不需要融资 / 50-150人           崤云安全  \n",
       "254          金融 / 上市公司 / 2000人以上           中原银行  \n",
       "255     电商,数据服务 / 上市公司 / 2000人以上        富士康科技集团  \n",
       "256  教育,移动互联网 / 不需要融资 / 150-500人            校信通  \n",
       "257           游戏 / 未融资 / 50-150人           百易科技  \n",
       "\n",
       "[258 rows x 9 columns]"
      ]
     },
     "execution_count": 129,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_zhengzhou=get_lagou_data('数据分析',167,20)\n",
    "df_zhengzhou"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 130,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>南山区</td>\n",
       "      <td>20:10发布</td>\n",
       "      <td>10k-15k</td>\n",
       "      <td>10k-15k 经验1-3年 / 本科</td>\n",
       "      <td>数据仓库 ETL 数仓建模 数仓架构</td>\n",
       "      <td>“奖金、五险一金、发展前景广”</td>\n",
       "      <td>广告营销,数据服务 / A轮 / 50-150人</td>\n",
       "      <td>玉策数据</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>南山区</td>\n",
       "      <td>20:16发布</td>\n",
       "      <td>8k-15k</td>\n",
       "      <td>8k-15k 经验3-5年 / 本科</td>\n",
       "      <td>即时通讯 社交 数据分析 用户增长</td>\n",
       "      <td>“高速发展期，前景好，团队强，成长快”</td>\n",
       "      <td>社交 / 天使轮 / 15-50人</td>\n",
       "      <td>喵石科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>石厦</td>\n",
       "      <td>17:12发布</td>\n",
       "      <td>12k-24k</td>\n",
       "      <td>12k-24k 经验3-5年 / 本科</td>\n",
       "      <td>大数据 移动互联网 Hadoop Spark Python ETL</td>\n",
       "      <td>“500强,快速晋升,多元发展”</td>\n",
       "      <td>移动互联网,信息安全 / 上市公司 / 2000人以上</td>\n",
       "      <td>深圳联通</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>南山区</td>\n",
       "      <td>17:10发布</td>\n",
       "      <td>12k-20k</td>\n",
       "      <td>12k-20k 经验3-5年 / 本科</td>\n",
       "      <td>大数据 云计算 可视化 商业 数据分析 数据建模</td>\n",
       "      <td>“扁平化管理 行业大神 周末双休”</td>\n",
       "      <td>数据服务,软件开发 / 不需要融资 / 15-50人</td>\n",
       "      <td>中付技术</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>科技园</td>\n",
       "      <td>19:56发布</td>\n",
       "      <td>10k-15k</td>\n",
       "      <td>10k-15k 经验不限 / 本科</td>\n",
       "      <td>金融 数据分析</td>\n",
       "      <td>“精英团队,弹性工作,工作氛围好”</td>\n",
       "      <td>金融 / C轮 / 150-500人</td>\n",
       "      <td>萨摩耶数科</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>295</th>\n",
       "      <td>高级数据分析/python</td>\n",
       "      <td>龙岗区</td>\n",
       "      <td>2020-11-20</td>\n",
       "      <td>8k-10k</td>\n",
       "      <td>8k-10k 经验1-3年 / 大专</td>\n",
       "      <td>大数据</td>\n",
       "      <td>“创业型公司”</td>\n",
       "      <td>电商 / 未融资 / 50-150人</td>\n",
       "      <td>瑞拓步</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>296</th>\n",
       "      <td>人力资源数据分析师</td>\n",
       "      <td>南山区</td>\n",
       "      <td>2020-11-27</td>\n",
       "      <td>15k-30k</td>\n",
       "      <td>15k-30k 经验不限 / 本科</td>\n",
       "      <td>通信/网络设备</td>\n",
       "      <td>“业务增量 人力资源数据分析”</td>\n",
       "      <td>移动互联网,硬件 / 上市公司 / 2000人以上</td>\n",
       "      <td>TCL通讯科技控股有限公司</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>297</th>\n",
       "      <td>数据分析岗</td>\n",
       "      <td>福田区</td>\n",
       "      <td>2020-08-18</td>\n",
       "      <td>12k-20k</td>\n",
       "      <td>12k-20k 经验不限 / 硕士</td>\n",
       "      <td>大数据 数据仓库 Java Python SQL</td>\n",
       "      <td>“人才房补贴|周末双休|弹性工作”</td>\n",
       "      <td>数据服务 / 不需要融资 / 少于15人</td>\n",
       "      <td>数聚湾区大数据研究院</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>298</th>\n",
       "      <td>PCG创新项目-增长数据分析师</td>\n",
       "      <td>科技园</td>\n",
       "      <td>2020-12-07</td>\n",
       "      <td>25k-50k</td>\n",
       "      <td>25k-50k 经验不限 / 本科</td>\n",
       "      <td>用户增长</td>\n",
       "      <td>“欢迎加入我们，和前硅谷增长专家强强联手”</td>\n",
       "      <td>社交 / 上市公司 / 2000人以上</td>\n",
       "      <td>腾讯</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>299</th>\n",
       "      <td>数据分析师（车辆数据产品方向）</td>\n",
       "      <td>福田区</td>\n",
       "      <td>2020-12-15</td>\n",
       "      <td>20k-30k</td>\n",
       "      <td>20k-30k 经验5-10年 / 本科</td>\n",
       "      <td>汽车 大数据 Hadoop 算法工程师 数据挖掘 数据架构</td>\n",
       "      <td>“精算 大数据 数据产品”</td>\n",
       "      <td>移动互联网 / C轮 / 50-150人</td>\n",
       "      <td>鼎然信息科技</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>300 rows × 9 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                职位名称 公司地址        发布时间     薪资待遇                  岗位要求  \\\n",
       "0              数据分析师  南山区     20:10发布  10k-15k   10k-15k 经验1-3年 / 本科   \n",
       "1              数据分析师  南山区     20:16发布   8k-15k    8k-15k 经验3-5年 / 本科   \n",
       "2              数据分析师   石厦     17:12发布  12k-24k   12k-24k 经验3-5年 / 本科   \n",
       "3              数据分析师  南山区     17:10发布  12k-20k   12k-20k 经验3-5年 / 本科   \n",
       "4              数据分析师  科技园     19:56发布  10k-15k     10k-15k 经验不限 / 本科   \n",
       "..               ...  ...         ...      ...                   ...   \n",
       "295    高级数据分析/python  龙岗区  2020-11-20   8k-10k    8k-10k 经验1-3年 / 大专   \n",
       "296        人力资源数据分析师  南山区  2020-11-27  15k-30k     15k-30k 经验不限 / 本科   \n",
       "297            数据分析岗  福田区  2020-08-18  12k-20k     12k-20k 经验不限 / 硕士   \n",
       "298  PCG创新项目-增长数据分析师  科技园  2020-12-07  25k-50k     25k-50k 经验不限 / 本科   \n",
       "299  数据分析师（车辆数据产品方向）  福田区  2020-12-15  20k-30k  20k-30k 经验5-10年 / 本科   \n",
       "\n",
       "                                  岗位标签                   公司福利  \\\n",
       "0                   数据仓库 ETL 数仓建模 数仓架构        “奖金、五险一金、发展前景广”   \n",
       "1                    即时通讯 社交 数据分析 用户增长    “高速发展期，前景好，团队强，成长快”   \n",
       "2    大数据 移动互联网 Hadoop Spark Python ETL       “500强,快速晋升,多元发展”   \n",
       "3             大数据 云计算 可视化 商业 数据分析 数据建模      “扁平化管理 行业大神 周末双休”   \n",
       "4                              金融 数据分析      “精英团队,弹性工作,工作氛围好”   \n",
       "..                                 ...                    ...   \n",
       "295                                大数据                “创业型公司”   \n",
       "296                            通信/网络设备        “业务增量 人力资源数据分析”   \n",
       "297           大数据 数据仓库 Java Python SQL      “人才房补贴|周末双休|弹性工作”   \n",
       "298                               用户增长  “欢迎加入我们，和前硅谷增长专家强强联手”   \n",
       "299      汽车 大数据 Hadoop 算法工程师 数据挖掘 数据架构          “精算 大数据 数据产品”   \n",
       "\n",
       "                            所属行业           公司名称  \n",
       "0       广告营销,数据服务 / A轮 / 50-150人           玉策数据  \n",
       "1              社交 / 天使轮 / 15-50人           喵石科技  \n",
       "2    移动互联网,信息安全 / 上市公司 / 2000人以上           深圳联通  \n",
       "3     数据服务,软件开发 / 不需要融资 / 15-50人           中付技术  \n",
       "4             金融 / C轮 / 150-500人          萨摩耶数科  \n",
       "..                           ...            ...  \n",
       "295           电商 / 未融资 / 50-150人            瑞拓步  \n",
       "296    移动互联网,硬件 / 上市公司 / 2000人以上  TCL通讯科技控股有限公司  \n",
       "297         数据服务 / 不需要融资 / 少于15人     数聚湾区大数据研究院  \n",
       "298          社交 / 上市公司 / 2000人以上             腾讯  \n",
       "299         移动互联网 / C轮 / 50-150人         鼎然信息科技  \n",
       "\n",
       "[300 rows x 9 columns]"
      ]
     },
     "execution_count": 130,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_shenzhen=get_lagou_data('数据分析',215,20)\n",
    "df_shenzhen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 131,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>资深数据分析师</td>\n",
       "      <td>西湖区</td>\n",
       "      <td>17:57发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析 BI</td>\n",
       "      <td>“发展前景好 福利待遇优”</td>\n",
       "      <td>电子商务 / 不需要融资 / 150-500人</td>\n",
       "      <td>政采云</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>西湖</td>\n",
       "      <td>17:41发布</td>\n",
       "      <td>15k-30k</td>\n",
       "      <td>15k-30k 经验5-10年 / 本科</td>\n",
       "      <td>电商 Hive</td>\n",
       "      <td>“垂直电商”</td>\n",
       "      <td>移动互联网,电商 / A轮 / 500-2000人</td>\n",
       "      <td>微拍堂</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>江干区</td>\n",
       "      <td>16:55发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“发展前景大”</td>\n",
       "      <td>移动互联网,电商 / A轮 / 150-500人</td>\n",
       "      <td>南讯股份</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>江干区</td>\n",
       "      <td>17:18发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验1-3年 / 本科</td>\n",
       "      <td>工业互联网 ERP BI python SQL</td>\n",
       "      <td>“试用期同薪 前景好 工业互联网行业”</td>\n",
       "      <td>移动互联网 / 未融资 / 150-500人</td>\n",
       "      <td>蒲惠智造</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>西湖区</td>\n",
       "      <td>16:14发布</td>\n",
       "      <td>10k-15k</td>\n",
       "      <td>10k-15k 经验1-3年 / 本科</td>\n",
       "      <td>电商 数据分析 数据运营</td>\n",
       "      <td>“周末双休,五险一金,活动丰富,氛围超嗨”</td>\n",
       "      <td>电商 / 不需要融资 / 150-500人</td>\n",
       "      <td>网营科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>285</th>\n",
       "      <td>资深数据建模工程师</td>\n",
       "      <td>西湖区</td>\n",
       "      <td>2020-11-24</td>\n",
       "      <td>20k-30k</td>\n",
       "      <td>20k-30k 经验3-5年 / 本科</td>\n",
       "      <td>分析建模 机器学习 算法 NLP</td>\n",
       "      <td>“上市公司 核心团队 发展空间大 领导好”</td>\n",
       "      <td>移动互联网 / 上市公司 / 500-2000人</td>\n",
       "      <td>个推</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>286</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>西湖</td>\n",
       "      <td>17:41发布</td>\n",
       "      <td>20k-40k</td>\n",
       "      <td>20k-40k 经验3-5年 / 硕士</td>\n",
       "      <td>电商 商业 数据分析</td>\n",
       "      <td>“垂直电商”</td>\n",
       "      <td>移动互联网,电商 / A轮 / 500-2000人</td>\n",
       "      <td>微拍堂</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>287</th>\n",
       "      <td>数据分析建模工程师（校招）</td>\n",
       "      <td>西溪</td>\n",
       "      <td>14:22发布</td>\n",
       "      <td>10k-18k</td>\n",
       "      <td>10k-18k 经验在校/应届 / 硕士</td>\n",
       "      <td>人工智能 机器学习 金融风控 营销建模</td>\n",
       "      <td>“海量数据 全链路建模实践 16-25薪”</td>\n",
       "      <td>数据服务,信息安全 / A轮 / 50-150人</td>\n",
       "      <td>云真信</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>288</th>\n",
       "      <td>数据分析[J470308]</td>\n",
       "      <td>西溪</td>\n",
       "      <td>2天前发布</td>\n",
       "      <td>15k-30k</td>\n",
       "      <td>15k-30k 经验3-5年 / 本科</td>\n",
       "      <td>物流 SQLServer</td>\n",
       "      <td>“阿里系”</td>\n",
       "      <td>移动互联网 / 不需要融资 / 150-500人</td>\n",
       "      <td>溪鸟物流</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>289</th>\n",
       "      <td>数据分析工程师</td>\n",
       "      <td>桐庐县</td>\n",
       "      <td>2020-12-01</td>\n",
       "      <td>30k-60k</td>\n",
       "      <td>30k-60k 经验在校/应届 / 不限</td>\n",
       "      <td>企业服务 云计算 数据架构 数据库开发 Python 数据挖掘</td>\n",
       "      <td>“高薪事少”</td>\n",
       "      <td>数据服务、教育 / 未融资 / 少于15人</td>\n",
       "      <td>创客矩阵咨询</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>290 rows × 9 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "              职位名称 公司地址        发布时间     薪资待遇                  岗位要求  \\\n",
       "0          资深数据分析师  西湖区     17:57发布  15k-25k   15k-25k 经验3-5年 / 本科   \n",
       "1            数据分析师   西湖     17:41发布  15k-30k  15k-30k 经验5-10年 / 本科   \n",
       "2            数据分析师  江干区     16:55发布  15k-25k   15k-25k 经验3-5年 / 本科   \n",
       "3            数据分析师  江干区     17:18发布  15k-25k   15k-25k 经验1-3年 / 本科   \n",
       "4            数据分析师  西湖区     16:14发布  10k-15k   10k-15k 经验1-3年 / 本科   \n",
       "..             ...  ...         ...      ...                   ...   \n",
       "285      资深数据建模工程师  西湖区  2020-11-24  20k-30k   20k-30k 经验3-5年 / 本科   \n",
       "286          数据分析师   西湖     17:41发布  20k-40k   20k-40k 经验3-5年 / 硕士   \n",
       "287  数据分析建模工程师（校招）   西溪     14:22发布  10k-18k  10k-18k 经验在校/应届 / 硕士   \n",
       "288  数据分析[J470308]   西溪       2天前发布  15k-30k   15k-30k 经验3-5年 / 本科   \n",
       "289        数据分析工程师  桐庐县  2020-12-01  30k-60k  30k-60k 经验在校/应届 / 不限   \n",
       "\n",
       "                                岗位标签                   公司福利  \\\n",
       "0                            数据分析 BI          “发展前景好 福利待遇优”   \n",
       "1                            电商 Hive                 “垂直电商”   \n",
       "2                               数据分析                “发展前景大”   \n",
       "3            工业互联网 ERP BI python SQL    “试用期同薪 前景好 工业互联网行业”   \n",
       "4                       电商 数据分析 数据运营  “周末双休,五险一金,活动丰富,氛围超嗨”   \n",
       "..                               ...                    ...   \n",
       "285                 分析建模 机器学习 算法 NLP  “上市公司 核心团队 发展空间大 领导好”   \n",
       "286                       电商 商业 数据分析                 “垂直电商”   \n",
       "287              人工智能 机器学习 金融风控 营销建模  “海量数据 全链路建模实践 16-25薪”   \n",
       "288                     物流 SQLServer                  “阿里系”   \n",
       "289  企业服务 云计算 数据架构 数据库开发 Python 数据挖掘                 “高薪事少”   \n",
       "\n",
       "                          所属行业    公司名称  \n",
       "0      电子商务 / 不需要融资 / 150-500人     政采云  \n",
       "1    移动互联网,电商 / A轮 / 500-2000人     微拍堂  \n",
       "2     移动互联网,电商 / A轮 / 150-500人    南讯股份  \n",
       "3       移动互联网 / 未融资 / 150-500人    蒲惠智造  \n",
       "4        电商 / 不需要融资 / 150-500人    网营科技  \n",
       "..                         ...     ...  \n",
       "285   移动互联网 / 上市公司 / 500-2000人      个推  \n",
       "286  移动互联网,电商 / A轮 / 500-2000人     微拍堂  \n",
       "287   数据服务,信息安全 / A轮 / 50-150人     云真信  \n",
       "288   移动互联网 / 不需要融资 / 150-500人    溪鸟物流  \n",
       "289      数据服务、教育 / 未融资 / 少于15人  创客矩阵咨询  \n",
       "\n",
       "[290 rows x 9 columns]"
      ]
     },
     "execution_count": 131,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_hangzhou=get_lagou_data('数据分析',6,20)\n",
    "df_hangzhou"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 132,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>玄武区</td>\n",
       "      <td>21:10发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“平台大”</td>\n",
       "      <td>旅游 / 上市公司 / 2000人以上</td>\n",
       "      <td>同程旅行</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>数据分析工程师</td>\n",
       "      <td>雨花台区</td>\n",
       "      <td>3天前发布</td>\n",
       "      <td>13k-26k</td>\n",
       "      <td>13k-26k 经验3-5年 / 本科</td>\n",
       "      <td>ETL MySQL 数据库开发</td>\n",
       "      <td>“互联网独角兽，晋升空间大，牛人云集，氛围open”</td>\n",
       "      <td>移动互联网 / D轮及以上 / 2000人以上</td>\n",
       "      <td>满帮集团</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>安德门</td>\n",
       "      <td>2020-12-23</td>\n",
       "      <td>8k-12k</td>\n",
       "      <td>8k-12k 经验1-3年 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“大数据技术服务公司 数据分析领域专家”</td>\n",
       "      <td>移动互联网,金融 / B轮 / 150-500人</td>\n",
       "      <td>安讯科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>秦淮区</td>\n",
       "      <td>2020-12-23</td>\n",
       "      <td>12k-24k</td>\n",
       "      <td>12k-24k 经验3-5年 / 本科</td>\n",
       "      <td>B2B</td>\n",
       "      <td>“14薪、季度旅游、年度体检、愉快的团队氛围”</td>\n",
       "      <td>人工智能,物联网 / B轮 / 50-150人</td>\n",
       "      <td>清云智飞</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>奥体</td>\n",
       "      <td>2020-12-11</td>\n",
       "      <td>8k-15k</td>\n",
       "      <td>8k-15k 经验1-3年 / 本科</td>\n",
       "      <td>大数据 电力 需求分析 数据分析</td>\n",
       "      <td>“行业前景广阔，福利待遇佳”</td>\n",
       "      <td>数据服务,软件开发 / 不需要融资 / 150-500人</td>\n",
       "      <td>佰聆数据</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>295</th>\n",
       "      <td>行政专员</td>\n",
       "      <td>江宁区</td>\n",
       "      <td>2020-10-17</td>\n",
       "      <td>3k-4k</td>\n",
       "      <td>3k-4k 经验不限 / 大专</td>\n",
       "      <td>文员 行政</td>\n",
       "      <td>“未来你我一同创造”</td>\n",
       "      <td>物流丨运输 / D轮及以上 / 500-2000人</td>\n",
       "      <td>安徽壹米</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>296</th>\n",
       "      <td>网站推广</td>\n",
       "      <td>江宁区</td>\n",
       "      <td>2020-08-11</td>\n",
       "      <td>4k-8k</td>\n",
       "      <td>4k-8k 经验不限 / 大专</td>\n",
       "      <td>渠道 推广 SEM SEO</td>\n",
       "      <td>“双休,餐补,五险,节日福利”</td>\n",
       "      <td>电商 / 不需要融资 / 15-50人</td>\n",
       "      <td>南京美酷</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>297</th>\n",
       "      <td>咨询顾问</td>\n",
       "      <td>鼓楼区</td>\n",
       "      <td>2020-07-17</td>\n",
       "      <td>7k-9k</td>\n",
       "      <td>7k-9k 经验不限 / 大专</td>\n",
       "      <td>互联网金融 借贷 大客户销售</td>\n",
       "      <td>“不缺人缺像你这样的人才”</td>\n",
       "      <td>金融 / 上市公司 / 500-2000人</td>\n",
       "      <td>平安普惠</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>298</th>\n",
       "      <td>渠道经理</td>\n",
       "      <td>鼓楼区</td>\n",
       "      <td>2020-10-15</td>\n",
       "      <td>6k-10k</td>\n",
       "      <td>6k-10k 经验不限 / 不限</td>\n",
       "      <td>渠道推广 推广 线下推广</td>\n",
       "      <td>“工作时间自由，能力强工资越高！”</td>\n",
       "      <td>其他 / 未融资 / 500-2000人</td>\n",
       "      <td>咻电科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>299</th>\n",
       "      <td>共享充电宝BD</td>\n",
       "      <td>鼓楼区</td>\n",
       "      <td>2020-10-15</td>\n",
       "      <td>6k-10k</td>\n",
       "      <td>6k-10k 经验不限 / 不限</td>\n",
       "      <td>商务拓展 商务渠道 地推 BD</td>\n",
       "      <td>“上班打卡下班不打卡，晋升空间”</td>\n",
       "      <td>其他 / 未融资 / 500-2000人</td>\n",
       "      <td>咻电科技</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>300 rows × 9 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "        职位名称  公司地址        发布时间     薪资待遇                 岗位要求  \\\n",
       "0      数据分析师   玄武区     21:10发布  15k-25k  15k-25k 经验3-5年 / 本科   \n",
       "1    数据分析工程师  雨花台区       3天前发布  13k-26k  13k-26k 经验3-5年 / 本科   \n",
       "2      数据分析师   安德门  2020-12-23   8k-12k   8k-12k 经验1-3年 / 本科   \n",
       "3      数据分析师   秦淮区  2020-12-23  12k-24k  12k-24k 经验3-5年 / 本科   \n",
       "4      数据分析师    奥体  2020-12-11   8k-15k   8k-15k 经验1-3年 / 本科   \n",
       "..       ...   ...         ...      ...                  ...   \n",
       "295     行政专员   江宁区  2020-10-17    3k-4k      3k-4k 经验不限 / 大专   \n",
       "296     网站推广   江宁区  2020-08-11    4k-8k      4k-8k 经验不限 / 大专   \n",
       "297     咨询顾问   鼓楼区  2020-07-17    7k-9k      7k-9k 经验不限 / 大专   \n",
       "298     渠道经理   鼓楼区  2020-10-15   6k-10k     6k-10k 经验不限 / 不限   \n",
       "299  共享充电宝BD   鼓楼区  2020-10-15   6k-10k     6k-10k 经验不限 / 不限   \n",
       "\n",
       "                 岗位标签                        公司福利  \\\n",
       "0                数据分析                       “平台大”   \n",
       "1     ETL MySQL 数据库开发  “互联网独角兽，晋升空间大，牛人云集，氛围open”   \n",
       "2                数据分析        “大数据技术服务公司 数据分析领域专家”   \n",
       "3                 B2B     “14薪、季度旅游、年度体检、愉快的团队氛围”   \n",
       "4    大数据 电力 需求分析 数据分析              “行业前景广阔，福利待遇佳”   \n",
       "..                ...                         ...   \n",
       "295             文员 行政                  “未来你我一同创造”   \n",
       "296     渠道 推广 SEM SEO             “双休,餐补,五险,节日福利”   \n",
       "297    互联网金融 借贷 大客户销售               “不缺人缺像你这样的人才”   \n",
       "298      渠道推广 推广 线下推广           “工作时间自由，能力强工资越高！”   \n",
       "299   商务拓展 商务渠道 地推 BD            “上班打卡下班不打卡，晋升空间”   \n",
       "\n",
       "                             所属行业  公司名称  \n",
       "0             旅游 / 上市公司 / 2000人以上  同程旅行  \n",
       "1         移动互联网 / D轮及以上 / 2000人以上  满帮集团  \n",
       "2        移动互联网,金融 / B轮 / 150-500人  安讯科技  \n",
       "3         人工智能,物联网 / B轮 / 50-150人  清云智飞  \n",
       "4    数据服务,软件开发 / 不需要融资 / 150-500人  佰聆数据  \n",
       "..                            ...   ...  \n",
       "295     物流丨运输 / D轮及以上 / 500-2000人  安徽壹米  \n",
       "296           电商 / 不需要融资 / 15-50人  南京美酷  \n",
       "297         金融 / 上市公司 / 500-2000人  平安普惠  \n",
       "298          其他 / 未融资 / 500-2000人  咻电科技  \n",
       "299          其他 / 未融资 / 500-2000人  咻电科技  \n",
       "\n",
       "[300 rows x 9 columns]"
      ]
     },
     "execution_count": 132,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_nanjing=get_lagou_data('数据分析',79,20)\n",
    "df_nanjing"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 133,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>大竹林</td>\n",
       "      <td>16:01发布</td>\n",
       "      <td>5k-10k</td>\n",
       "      <td>5k-10k 经验1-3年 / 不限</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“七险一金、年度旅游、弹性工作”</td>\n",
       "      <td>信息安全 / 天使轮 / 50-150人</td>\n",
       "      <td>梦之想科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>数据分析实习生</td>\n",
       "      <td>渝中区</td>\n",
       "      <td>13:39发布</td>\n",
       "      <td>2k-4k</td>\n",
       "      <td>2k-4k 经验在校/应届 / 本科</td>\n",
       "      <td>数据分析 统计</td>\n",
       "      <td>“五险一金 绩效奖金 弹性工作 补充医疗险”</td>\n",
       "      <td>企业服务 / 不需要融资 / 50-150人</td>\n",
       "      <td>嘉驰</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>数据分析主管</td>\n",
       "      <td>江北区</td>\n",
       "      <td>2020-12-22</td>\n",
       "      <td>10k-15k</td>\n",
       "      <td>10k-15k 经验3-5年 / 本科</td>\n",
       "      <td>可视化 数据分析 BI SQL</td>\n",
       "      <td>“大品牌好平台，领导nice，弹性工作制”</td>\n",
       "      <td>金融 / 未融资 / 50-150人</td>\n",
       "      <td>永辉金融</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>数据分析（运营支持）</td>\n",
       "      <td>渝北区</td>\n",
       "      <td>2020-12-15</td>\n",
       "      <td>8k-12k</td>\n",
       "      <td>8k-12k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析 数据运营 SQL</td>\n",
       "      <td>“带薪年假；年度旅游；内部晋升”</td>\n",
       "      <td>社交 / 上市公司 / 2000人以上</td>\n",
       "      <td>腾讯</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>数据分析师（金融方向）</td>\n",
       "      <td>渝北区</td>\n",
       "      <td>2020-12-24</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验5-10年 / 本科</td>\n",
       "      <td>数据仓库 Spark MySQL</td>\n",
       "      <td>“发展前景、大牛团队、持牌机构”</td>\n",
       "      <td>金融,移动互联网 / 不需要融资 / 2000人以上</td>\n",
       "      <td>马上消费</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>295</th>\n",
       "      <td>短视频运营经理</td>\n",
       "      <td>渝北区</td>\n",
       "      <td>2020-11-02</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验3-5年 / 本科</td>\n",
       "      <td>新媒体 MCN 新媒体运营 短视频 运营管理</td>\n",
       "      <td>“六险一金 弹性打卡 周末双休 带薪休假”</td>\n",
       "      <td>社交网络 / 未融资 / 50-150人</td>\n",
       "      <td>橙新橙艺文化传媒</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>296</th>\n",
       "      <td>跨境电商资深运营</td>\n",
       "      <td>渝北区</td>\n",
       "      <td>2020-09-11</td>\n",
       "      <td>8k-10k</td>\n",
       "      <td>8k-10k 经验3-5年 / 本科</td>\n",
       "      <td>内容运营 活动策划 用户运营 网站运营</td>\n",
       "      <td>“发展前期未来可期”</td>\n",
       "      <td>电商 / 不需要融资 / 150-500人</td>\n",
       "      <td>Firmoo</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>297</th>\n",
       "      <td>数据开发工程师</td>\n",
       "      <td>弹子石</td>\n",
       "      <td>2020-11-02</td>\n",
       "      <td>8k-12k</td>\n",
       "      <td>8k-12k 经验3-5年 / 本科</td>\n",
       "      <td>数仓工程师 Hive MySQL</td>\n",
       "      <td>“团队气氛融洽、发展前景大”</td>\n",
       "      <td>数据服务,移动互联网 / 不需要融资 / 50-150人</td>\n",
       "      <td>华龙海数</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>298</th>\n",
       "      <td>新媒体运营总监</td>\n",
       "      <td>沙坪坝区</td>\n",
       "      <td>2020-07-30</td>\n",
       "      <td>8k-12k</td>\n",
       "      <td>8k-12k 经验3-5年 / 本科</td>\n",
       "      <td>教育 移动互联网 运营 SEM SEO SAO</td>\n",
       "      <td>“高成长性”</td>\n",
       "      <td>教育 / 未融资 / 少于15人</td>\n",
       "      <td>拼说说教育</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>299</th>\n",
       "      <td>课程顾问</td>\n",
       "      <td>渝北区</td>\n",
       "      <td>2020-12-01</td>\n",
       "      <td>5k-10k</td>\n",
       "      <td>5k-10k 经验不限 / 不限</td>\n",
       "      <td>教育 企业服务 市场拓展 销售 客户代表</td>\n",
       "      <td>“专业团队，亚马逊圈内知名服务商”</td>\n",
       "      <td>数据服务 / 未融资 / 50-150人</td>\n",
       "      <td>菲欧坦数据</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>300 rows × 9 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "            职位名称  公司地址        发布时间     薪资待遇                  岗位要求  \\\n",
       "0          数据分析师   大竹林     16:01发布   5k-10k    5k-10k 经验1-3年 / 不限   \n",
       "1        数据分析实习生   渝中区     13:39发布    2k-4k    2k-4k 经验在校/应届 / 本科   \n",
       "2         数据分析主管   江北区  2020-12-22  10k-15k   10k-15k 经验3-5年 / 本科   \n",
       "3     数据分析（运营支持）   渝北区  2020-12-15   8k-12k    8k-12k 经验3-5年 / 本科   \n",
       "4    数据分析师（金融方向）   渝北区  2020-12-24  15k-25k  15k-25k 经验5-10年 / 本科   \n",
       "..           ...   ...         ...      ...                   ...   \n",
       "295      短视频运营经理   渝北区  2020-11-02  15k-25k   15k-25k 经验3-5年 / 本科   \n",
       "296     跨境电商资深运营   渝北区  2020-09-11   8k-10k    8k-10k 经验3-5年 / 本科   \n",
       "297      数据开发工程师   弹子石  2020-11-02   8k-12k    8k-12k 经验3-5年 / 本科   \n",
       "298      新媒体运营总监  沙坪坝区  2020-07-30   8k-12k    8k-12k 经验3-5年 / 本科   \n",
       "299         课程顾问   渝北区  2020-12-01   5k-10k      5k-10k 经验不限 / 不限   \n",
       "\n",
       "                        岗位标签                    公司福利  \\\n",
       "0                       数据分析        “七险一金、年度旅游、弹性工作”   \n",
       "1                    数据分析 统计  “五险一金 绩效奖金 弹性工作 补充医疗险”   \n",
       "2            可视化 数据分析 BI SQL   “大品牌好平台，领导nice，弹性工作制”   \n",
       "3              数据分析 数据运营 SQL        “带薪年假；年度旅游；内部晋升”   \n",
       "4           数据仓库 Spark MySQL        “发展前景、大牛团队、持牌机构”   \n",
       "..                       ...                     ...   \n",
       "295   新媒体 MCN 新媒体运营 短视频 运营管理   “六险一金 弹性打卡 周末双休 带薪休假”   \n",
       "296      内容运营 活动策划 用户运营 网站运营              “发展前期未来可期”   \n",
       "297         数仓工程师 Hive MySQL          “团队气氛融洽、发展前景大”   \n",
       "298  教育 移动互联网 运营 SEM SEO SAO                  “高成长性”   \n",
       "299     教育 企业服务 市场拓展 销售 客户代表       “专业团队，亚马逊圈内知名服务商”   \n",
       "\n",
       "                             所属行业      公司名称  \n",
       "0            信息安全 / 天使轮 / 50-150人     梦之想科技  \n",
       "1          企业服务 / 不需要融资 / 50-150人        嘉驰  \n",
       "2              金融 / 未融资 / 50-150人      永辉金融  \n",
       "3             社交 / 上市公司 / 2000人以上        腾讯  \n",
       "4      金融,移动互联网 / 不需要融资 / 2000人以上      马上消费  \n",
       "..                            ...       ...  \n",
       "295          社交网络 / 未融资 / 50-150人  橙新橙艺文化传媒  \n",
       "296         电商 / 不需要融资 / 150-500人    Firmoo  \n",
       "297  数据服务,移动互联网 / 不需要融资 / 50-150人      华龙海数  \n",
       "298              教育 / 未融资 / 少于15人     拼说说教育  \n",
       "299          数据服务 / 未融资 / 50-150人     菲欧坦数据  \n",
       "\n",
       "[300 rows x 9 columns]"
      ]
     },
     "execution_count": 133,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_chongqing=get_lagou_data('数据分析',5,20)\n",
    "df_chongqing"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 134,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>高级数据分析师</td>\n",
       "      <td>同德</td>\n",
       "      <td>19:49发布</td>\n",
       "      <td>12k-18k</td>\n",
       "      <td>12k-18k 经验3-5年 / 不限</td>\n",
       "      <td>电商 社交 增长黑客 数据分析 数据运营 SQL</td>\n",
       "      <td>“五险一金/绩效奖金/全勤奖/创新奖”</td>\n",
       "      <td>电商 / 不需要融资 / 2000人以上</td>\n",
       "      <td>广州棒谷科技股份有限公司</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>高级数据分析师</td>\n",
       "      <td>芳村</td>\n",
       "      <td>19:54发布</td>\n",
       "      <td>12k-24k</td>\n",
       "      <td>12k-24k 经验3-5年 / 本科</td>\n",
       "      <td>电商 数据模型 数据预测 商业分析 客服数据</td>\n",
       "      <td>“股票期权 周末双休 包三餐 免息住房贷款”</td>\n",
       "      <td>电商 / 上市公司 / 2000人以上</td>\n",
       "      <td>唯品会</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>天河区</td>\n",
       "      <td>17:30发布</td>\n",
       "      <td>10k-15k</td>\n",
       "      <td>10k-15k 经验1-3年 / 本科</td>\n",
       "      <td>用户研究 需求分析 竞品分析 数据分析</td>\n",
       "      <td>“AI大数据朝阳行业 扁平化管理 互联网氛围”</td>\n",
       "      <td>数据服务 / B轮 / 150-500人</td>\n",
       "      <td>DataStory</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>数据分析</td>\n",
       "      <td>越秀区</td>\n",
       "      <td>10:42发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验1-3年 / 本科</td>\n",
       "      <td>金融 移动互联网 数据挖掘</td>\n",
       "      <td>“银行系金融科技公司”</td>\n",
       "      <td>金融,软件开发 / 不需要融资 / 2000人以上</td>\n",
       "      <td>建信金科</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>员村</td>\n",
       "      <td>16:10发布</td>\n",
       "      <td>12k-24k</td>\n",
       "      <td>12k-24k 经验3-5年 / 本科</td>\n",
       "      <td>通信/网络设备 数据分析</td>\n",
       "      <td>“团队实力 晋升完善”</td>\n",
       "      <td>移动互联网,数据服务 / A轮 / 150-500人</td>\n",
       "      <td>贝锐科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>211</th>\n",
       "      <td>数据建模主任</td>\n",
       "      <td>市桥</td>\n",
       "      <td>2020-12-22</td>\n",
       "      <td>20k-30k</td>\n",
       "      <td>20k-30k 经验5-10年 / 本科</td>\n",
       "      <td>电商 新零售 数据建模</td>\n",
       "      <td>“不打卡 团队年轻 领导nice”</td>\n",
       "      <td>电商 / 上市公司 / 2000人以上</td>\n",
       "      <td>美的电商</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>212</th>\n",
       "      <td>数据建模主任</td>\n",
       "      <td>市桥</td>\n",
       "      <td>2020-12-22</td>\n",
       "      <td>20k-30k</td>\n",
       "      <td>20k-30k 经验5-10年 / 本科</td>\n",
       "      <td>电商 新零售 数据建模</td>\n",
       "      <td>“不打卡 团队年轻 领导nice”</td>\n",
       "      <td>电商 / 上市公司 / 2000人以上</td>\n",
       "      <td>美的电商</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>213</th>\n",
       "      <td>数据建模主任</td>\n",
       "      <td>市桥</td>\n",
       "      <td>2020-12-22</td>\n",
       "      <td>20k-30k</td>\n",
       "      <td>20k-30k 经验5-10年 / 本科</td>\n",
       "      <td>电商 新零售 数据建模</td>\n",
       "      <td>“不打卡 团队年轻 领导nice”</td>\n",
       "      <td>电商 / 上市公司 / 2000人以上</td>\n",
       "      <td>美的电商</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>214</th>\n",
       "      <td>数据建模主任</td>\n",
       "      <td>市桥</td>\n",
       "      <td>2020-12-22</td>\n",
       "      <td>20k-30k</td>\n",
       "      <td>20k-30k 经验5-10年 / 本科</td>\n",
       "      <td>电商 新零售 数据建模</td>\n",
       "      <td>“不打卡 团队年轻 领导nice”</td>\n",
       "      <td>电商 / 上市公司 / 2000人以上</td>\n",
       "      <td>美的电商</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>215</th>\n",
       "      <td>数据建模主任</td>\n",
       "      <td>市桥</td>\n",
       "      <td>2020-12-22</td>\n",
       "      <td>20k-30k</td>\n",
       "      <td>20k-30k 经验5-10年 / 本科</td>\n",
       "      <td>电商 新零售 数据建模</td>\n",
       "      <td>“不打卡 团队年轻 领导nice”</td>\n",
       "      <td>电商 / 上市公司 / 2000人以上</td>\n",
       "      <td>美的电商</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>216 rows × 9 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "        职位名称 公司地址        发布时间     薪资待遇                  岗位要求  \\\n",
       "0    高级数据分析师   同德     19:49发布  12k-18k   12k-18k 经验3-5年 / 不限   \n",
       "1    高级数据分析师   芳村     19:54发布  12k-24k   12k-24k 经验3-5年 / 本科   \n",
       "2      数据分析师  天河区     17:30发布  10k-15k   10k-15k 经验1-3年 / 本科   \n",
       "3       数据分析  越秀区     10:42发布  15k-25k   15k-25k 经验1-3年 / 本科   \n",
       "4      数据分析师   员村     16:10发布  12k-24k   12k-24k 经验3-5年 / 本科   \n",
       "..       ...  ...         ...      ...                   ...   \n",
       "211   数据建模主任   市桥  2020-12-22  20k-30k  20k-30k 经验5-10年 / 本科   \n",
       "212   数据建模主任   市桥  2020-12-22  20k-30k  20k-30k 经验5-10年 / 本科   \n",
       "213   数据建模主任   市桥  2020-12-22  20k-30k  20k-30k 经验5-10年 / 本科   \n",
       "214   数据建模主任   市桥  2020-12-22  20k-30k  20k-30k 经验5-10年 / 本科   \n",
       "215   数据建模主任   市桥  2020-12-22  20k-30k  20k-30k 经验5-10年 / 本科   \n",
       "\n",
       "                         岗位标签                     公司福利  \\\n",
       "0    电商 社交 增长黑客 数据分析 数据运营 SQL      “五险一金/绩效奖金/全勤奖/创新奖”   \n",
       "1      电商 数据模型 数据预测 商业分析 客服数据   “股票期权 周末双休 包三餐 免息住房贷款”   \n",
       "2         用户研究 需求分析 竞品分析 数据分析  “AI大数据朝阳行业 扁平化管理 互联网氛围”   \n",
       "3               金融 移动互联网 数据挖掘              “银行系金融科技公司”   \n",
       "4                通信/网络设备 数据分析              “团队实力 晋升完善”   \n",
       "..                        ...                      ...   \n",
       "211               电商 新零售 数据建模        “不打卡 团队年轻 领导nice”   \n",
       "212               电商 新零售 数据建模        “不打卡 团队年轻 领导nice”   \n",
       "213               电商 新零售 数据建模        “不打卡 团队年轻 领导nice”   \n",
       "214               电商 新零售 数据建模        “不打卡 团队年轻 领导nice”   \n",
       "215               电商 新零售 数据建模        “不打卡 团队年轻 领导nice”   \n",
       "\n",
       "                           所属行业          公司名称  \n",
       "0          电商 / 不需要融资 / 2000人以上  广州棒谷科技股份有限公司  \n",
       "1           电商 / 上市公司 / 2000人以上           唯品会  \n",
       "2          数据服务 / B轮 / 150-500人     DataStory  \n",
       "3     金融,软件开发 / 不需要融资 / 2000人以上          建信金科  \n",
       "4    移动互联网,数据服务 / A轮 / 150-500人          贝锐科技  \n",
       "..                          ...           ...  \n",
       "211         电商 / 上市公司 / 2000人以上          美的电商  \n",
       "212         电商 / 上市公司 / 2000人以上          美的电商  \n",
       "213         电商 / 上市公司 / 2000人以上          美的电商  \n",
       "214         电商 / 上市公司 / 2000人以上          美的电商  \n",
       "215         电商 / 上市公司 / 2000人以上          美的电商  \n",
       "\n",
       "[216 rows x 9 columns]"
      ]
     },
     "execution_count": 134,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_guanzghou=get_lagou_data('数据分析',213,20)\n",
    "df_guanzghou"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 135,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>将台路</td>\n",
       "      <td>21:00发布</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验3-5年 / 本科</td>\n",
       "      <td>用户研究 需求分析 数据分析 用户增长</td>\n",
       "      <td>“五险一金 免费工作餐 定期体检”</td>\n",
       "      <td>移动互联网,文娱丨内容 / 不需要融资 / 15-50人</td>\n",
       "      <td>百变大侦探</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>望京</td>\n",
       "      <td>19:09发布</td>\n",
       "      <td>10k-20k</td>\n",
       "      <td>10k-20k 经验1-3年 / 本科</td>\n",
       "      <td>竞品分析 SaaS 企业软件</td>\n",
       "      <td>“风控独角兽、飞速发展、待遇给力”</td>\n",
       "      <td>企业服务,数据服务 / C轮 / 150-500人</td>\n",
       "      <td>数美</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>数据分析专员</td>\n",
       "      <td>立水桥</td>\n",
       "      <td>20:37发布</td>\n",
       "      <td>10k-15k</td>\n",
       "      <td>10k-15k 经验1-3年 / 本科</td>\n",
       "      <td>SQL python Linux系统</td>\n",
       "      <td>“午晚餐；六险一金；高效协作的团队；信息共享；”</td>\n",
       "      <td>移动互联网 / 不需要融资 / 50-150人</td>\n",
       "      <td>琥珀创想</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>朝阳区</td>\n",
       "      <td>19:21发布</td>\n",
       "      <td>8k-15k</td>\n",
       "      <td>8k-15k 经验不限 / 不限</td>\n",
       "      <td>企业服务 信息安全 需求分析 竞品分析 数据分析</td>\n",
       "      <td>“五险一金 双休 每年两次国内外游 弹性工作”</td>\n",
       "      <td>金融 / 未融资 / 50-150人</td>\n",
       "      <td>盛业恒泰投资</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>数据分析</td>\n",
       "      <td>朝阳区</td>\n",
       "      <td>19:16发布</td>\n",
       "      <td>15k-30k</td>\n",
       "      <td>15k-30k 经验3-5年 / 本科</td>\n",
       "      <td>大数据 数据挖掘</td>\n",
       "      <td>“大平台,核心部门,领导好”</td>\n",
       "      <td>信息安全 / 不需要融资 / 500-2000人</td>\n",
       "      <td>360os</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>445</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>苏州街</td>\n",
       "      <td>2020-09-04</td>\n",
       "      <td>15k-20k</td>\n",
       "      <td>15k-20k 经验1-3年 / 本科</td>\n",
       "      <td>教育 大数据</td>\n",
       "      <td>“行业龙头，互联**育”</td>\n",
       "      <td>教育 / 未融资 / 15-50人</td>\n",
       "      <td>世纪高教</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>446</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>东城区</td>\n",
       "      <td>2020-07-30</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验1-3年 / 本科</td>\n",
       "      <td>电商</td>\n",
       "      <td>“福利待遇好”</td>\n",
       "      <td>金融,移动互联网 / 不需要融资 / 50-150人</td>\n",
       "      <td>中投亚联</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>447</th>\n",
       "      <td>资深数据分析师-产品技术中心 (MJ006569)</td>\n",
       "      <td>海淀区</td>\n",
       "      <td>2020-12-08</td>\n",
       "      <td>10k-20k</td>\n",
       "      <td>10k-20k 经验不限 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“团队优秀 大牛多”</td>\n",
       "      <td>移动互联网,广告营销 / 上市公司 / 2000人以上</td>\n",
       "      <td>搜狐集团</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>448</th>\n",
       "      <td>数据分析师</td>\n",
       "      <td>回龙观</td>\n",
       "      <td>2020-12-13</td>\n",
       "      <td>20k-30k</td>\n",
       "      <td>20k-30k 经验3-5年 / 本科</td>\n",
       "      <td>教育 移动互联网 用户增长 用户研究 数据分析</td>\n",
       "      <td>“核心团队，发展空间大”</td>\n",
       "      <td>教育 / 上市公司 / 2000人以上</td>\n",
       "      <td>好未来</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>449</th>\n",
       "      <td>高级数据分析师</td>\n",
       "      <td>广安门</td>\n",
       "      <td>2020-10-19</td>\n",
       "      <td>18k-25k</td>\n",
       "      <td>18k-25k 经验3-5年 / 本科</td>\n",
       "      <td>Python 数据挖掘 数据建模 业务分析</td>\n",
       "      <td>“五险一金、项目奖金”</td>\n",
       "      <td>数据服务,企业服务 / 上市公司 / 15-50人</td>\n",
       "      <td>博智数源</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>450 rows × 9 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                          职位名称 公司地址        发布时间     薪资待遇                 岗位要求  \\\n",
       "0                        数据分析师  将台路     21:00发布  15k-25k  15k-25k 经验3-5年 / 本科   \n",
       "1                        数据分析师   望京     19:09发布  10k-20k  10k-20k 经验1-3年 / 本科   \n",
       "2                       数据分析专员  立水桥     20:37发布  10k-15k  10k-15k 经验1-3年 / 本科   \n",
       "3                        数据分析师  朝阳区     19:21发布   8k-15k     8k-15k 经验不限 / 不限   \n",
       "4                         数据分析  朝阳区     19:16发布  15k-30k  15k-30k 经验3-5年 / 本科   \n",
       "..                         ...  ...         ...      ...                  ...   \n",
       "445                      数据分析师  苏州街  2020-09-04  15k-20k  15k-20k 经验1-3年 / 本科   \n",
       "446                      数据分析师  东城区  2020-07-30  15k-25k  15k-25k 经验1-3年 / 本科   \n",
       "447  资深数据分析师-产品技术中心 (MJ006569)  海淀区  2020-12-08  10k-20k    10k-20k 经验不限 / 本科   \n",
       "448                      数据分析师  回龙观  2020-12-13  20k-30k  20k-30k 经验3-5年 / 本科   \n",
       "449                    高级数据分析师  广安门  2020-10-19  18k-25k  18k-25k 经验3-5年 / 本科   \n",
       "\n",
       "                         岗位标签                      公司福利  \\\n",
       "0         用户研究 需求分析 数据分析 用户增长         “五险一金 免费工作餐 定期体检”   \n",
       "1              竞品分析 SaaS 企业软件         “风控独角兽、飞速发展、待遇给力”   \n",
       "2          SQL python Linux系统  “午晚餐；六险一金；高效协作的团队；信息共享；”   \n",
       "3    企业服务 信息安全 需求分析 竞品分析 数据分析   “五险一金 双休 每年两次国内外游 弹性工作”   \n",
       "4                    大数据 数据挖掘            “大平台,核心部门,领导好”   \n",
       "..                        ...                       ...   \n",
       "445                    教育 大数据              “行业龙头，互联**育”   \n",
       "446                        电商                   “福利待遇好”   \n",
       "447                      数据分析                “团队优秀 大牛多”   \n",
       "448   教育 移动互联网 用户增长 用户研究 数据分析              “核心团队，发展空间大”   \n",
       "449     Python 数据挖掘 数据建模 业务分析               “五险一金、项目奖金”   \n",
       "\n",
       "                             所属行业    公司名称  \n",
       "0    移动互联网,文娱丨内容 / 不需要融资 / 15-50人   百变大侦探  \n",
       "1       企业服务,数据服务 / C轮 / 150-500人      数美  \n",
       "2         移动互联网 / 不需要融资 / 50-150人    琥珀创想  \n",
       "3              金融 / 未融资 / 50-150人  盛业恒泰投资  \n",
       "4        信息安全 / 不需要融资 / 500-2000人   360os  \n",
       "..                            ...     ...  \n",
       "445             教育 / 未融资 / 15-50人    世纪高教  \n",
       "446    金融,移动互联网 / 不需要融资 / 50-150人    中投亚联  \n",
       "447   移动互联网,广告营销 / 上市公司 / 2000人以上    搜狐集团  \n",
       "448           教育 / 上市公司 / 2000人以上     好未来  \n",
       "449     数据服务,企业服务 / 上市公司 / 15-50人    博智数源  \n",
       "\n",
       "[450 rows x 9 columns]"
      ]
     },
     "execution_count": 135,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_beijing=get_lagou_data('数据分析',2,30)\n",
    "df_beijing"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 140,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-28 21:33:32,130 INFO sqlalchemy.engine.base.Engine SHOW VARIABLES LIKE 'sql_mode'\n",
      "2020-12-28 21:33:32,131 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:33:32,175 INFO sqlalchemy.engine.base.Engine SHOW VARIABLES LIKE 'lower_case_table_names'\n",
      "2020-12-28 21:33:32,176 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:33:32,182 INFO sqlalchemy.engine.base.Engine SELECT DATABASE()\n",
      "2020-12-28 21:33:32,183 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:33:32,185 INFO sqlalchemy.engine.base.Engine show collation where `Charset` = 'utf8mb4' and `Collation` = 'utf8mb4_bin'\n",
      "2020-12-28 21:33:32,186 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:33:32,198 INFO sqlalchemy.engine.base.Engine SELECT CAST('test plain returns' AS CHAR(60)) AS anon_1\n",
      "2020-12-28 21:33:32,199 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:33:32,200 INFO sqlalchemy.engine.base.Engine SELECT CAST('test unicode returns' AS CHAR(60)) AS anon_1\n",
      "2020-12-28 21:33:32,201 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:33:32,203 INFO sqlalchemy.engine.base.Engine SELECT CAST('test collated returns' AS CHAR CHARACTER SET utf8mb4) COLLATE utf8mb4_bin AS anon_1\n",
      "2020-12-28 21:33:32,203 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:33:32,207 INFO sqlalchemy.engine.base.Engine DESCRIBE `pandas_mysql`.`beijin_拉钩数据`\n",
      "2020-12-28 21:33:32,208 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:33:32,211 INFO sqlalchemy.engine.base.Engine ROLLBACK\n",
      "2020-12-28 21:33:32,215 INFO sqlalchemy.engine.base.Engine \n",
      "CREATE TABLE pandas_mysql.`beijin_拉钩数据` (\n",
      "\t`index` BIGINT, \n",
      "\t`职位名称` TEXT, \n",
      "\t`公司地址` TEXT, \n",
      "\t`发布时间` TEXT, \n",
      "\t`薪资待遇` TEXT, \n",
      "\t`岗位要求` TEXT, \n",
      "\t`岗位标签` TEXT, \n",
      "\t`公司福利` TEXT, \n",
      "\t`所属行业` TEXT, \n",
      "\t`公司名称` TEXT\n",
      ")\n",
      "\n",
      "\n",
      "2020-12-28 21:33:32,216 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:33:32,297 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:33:32,298 INFO sqlalchemy.engine.base.Engine CREATE INDEX `ix_pandas_mysql_beijin_拉钩数据_index` ON pandas_mysql.`beijin_拉钩数据` (`index`)\n",
      "2020-12-28 21:33:32,298 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:33:32,329 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:33:32,333 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)\n",
      "2020-12-28 21:33:32,339 INFO sqlalchemy.engine.base.Engine INSERT INTO pandas_mysql.`beijin_拉钩数据` (`index`, `职位名称`, `公司地址`, `发布时间`, `薪资待遇`, `岗位要求`, `岗位标签`, `公司福利`, `所属行业`, `公司名称`) VALUES (%(index)s, %(职位名称)s, %(公司地址)s, %(发布时间)s, %(薪资待遇)s, %(岗位要求)s, %(岗位标签)s, %(公司福利)s, %(所属行业)s, %(公司名称)s)\n",
      "2020-12-28 21:33:32,340 INFO sqlalchemy.engine.base.Engine ({'index': 0, '职位名称': '数据分析师', '公司地址': '将台路', '发布时间': '21:00发布', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验3-5年 / 本科', '岗位标签': '用户研究 需求分析 数据分析 用户增长', '公司福利': '“五险一金 免费工作餐 定期体检”', '所属行业': '移动互联网,文娱丨内容 / 不需要融资 / 15-50人', '公司名称': '百变大侦探'}, {'index': 1, '职位名称': '数据分析师', '公司地址': '望京', '发布时间': '19:09发布', '薪资待遇': '10k-20k', '岗位要求': '10k-20k 经验1-3年 / 本科', '岗位标签': '竞品分析 SaaS 企业软件', '公司福利': '“风控独角兽、飞速发展、待遇给力”', '所属行业': '企业服务,数据服务 / C轮 / 150-500人', '公司名称': '数美'}, {'index': 2, '职位名称': '数据分析专员', '公司地址': '立水桥', '发布时间': '20:37发布', '薪资待遇': '10k-15k', '岗位要求': '10k-15k 经验1-3年 / 本科', '岗位标签': 'SQL python Linux系统', '公司福利': '“午晚餐；六险一金；高效协作的团队；信息共享；”', '所属行业': '移动互联网 / 不需要融资 / 50-150人', '公司名称': '琥珀创想'}, {'index': 3, '职位名称': '数据分析师', '公司地址': '朝阳区', '发布时间': '19:21发布', '薪资待遇': '8k-15k', '岗位要求': '8k-15k 经验不限 / 不限', '岗位标签': '企业服务 信息安全 需求分析 竞品分析 数据分析', '公司福利': '“五险一金 双休 每年两次国内外游 弹性工作”', '所属行业': '金融 / 未融资 / 50-150人', '公司名称': '盛业恒泰投资'}, {'index': 4, '职位名称': '数据分析', '公司地址': '朝阳区', '发布时间': '19:16发布', '薪资待遇': '15k-30k', '岗位要求': '15k-30k 经验3-5年 / 本科', '岗位标签': '大数据 数据挖掘', '公司福利': '“大平台,核心部门,领导好”', '所属行业': '信息安全 / 不需要融资 / 500-2000人', '公司名称': '360os'}, {'index': 5, '职位名称': '数据分析', '公司地址': '朝阳区', '发布时间': '19:22发布', '薪资待遇': '15k-30k', '岗位要求': '15k-30k 经验1-3年 / 本科', '岗位标签': 'SQL Python', '公司福利': '“试用期全薪 季度奖金 节日福利”', '所属行业': '移动互联网 / B轮 / 50-150人', '公司名称': '流体网络'}, {'index': 6, '职位名称': '数据分析师', '公司地址': '三元桥', '发布时间': '19:26发布', '薪资待遇': '15k-20k', '岗位要求': '15k-20k 经验1-3年 / 本科', '岗位标签': '视频 产品策划 需求分析 数据分析', '公司福利': '“互联网公司”', '所属行业': '移动互联网,文娱丨内容 / 上市公司 / 50-150人', '公司名称': '欢喜传媒'}, {'index': 7, '职位名称': '数据分析师', '公司地址': '西二旗', '发布时间': '14:26发布', '薪资待遇': '10k-20k', '岗位要求': '10k-20k 经验5-10年 / 本科', '岗位标签': '数据分析 BI', '公司福利': '“国际化团队”', '所属行业': '硬件 / 上市公司 / 2000人以上', '公司名称': '小米集团'}  ... displaying 10 of 450 total bound parameter sets ...  {'index': 448, '职位名称': '数据分析师', '公司地址': '回龙观', '发布时间': '2020-12-13', '薪资待遇': '20k-30k', '岗位要求': '20k-30k 经验3-5年 / 本科', '岗位标签': '教育 移动互联网 用户增长 用户研究 数据分析', '公司福利': '“核心团队，发展空间大”', '所属行业': '教育 / 上市公司 / 2000人以上', '公司名称': '好未来'}, {'index': 449, '职位名称': '高级数据分析师', '公司地址': '广安门', '发布时间': '2020-10-19', '薪资待遇': '18k-25k', '岗位要求': '18k-25k 经验3-5年 / 本科', '岗位标签': 'Python 数据挖掘 数据建模 业务分析', '公司福利': '“五险一金、项目奖金”', '所属行业': '数据服务,企业服务 / 上市公司 / 15-50人', '公司名称': '博智数源'})\n",
      "2020-12-28 21:33:32,378 INFO sqlalchemy.engine.base.Engine COMMIT\n"
     ]
    }
   ],
   "source": [
    "df_beijing.to_sql('beijin_拉钩数据',con=engine,schema='pandas_mysql',if_exists='append',)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 142,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-28 21:38:00,670 INFO sqlalchemy.engine.base.Engine DESCRIBE `pandas_mysql`.`guanzghou_拉钩数据`\n",
      "2020-12-28 21:38:00,671 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:38:00,675 INFO sqlalchemy.engine.base.Engine ROLLBACK\n",
      "2020-12-28 21:38:00,681 INFO sqlalchemy.engine.base.Engine \n",
      "CREATE TABLE pandas_mysql.`guanzghou_拉钩数据` (\n",
      "\t`index` BIGINT, \n",
      "\t`职位名称` TEXT, \n",
      "\t`公司地址` TEXT, \n",
      "\t`发布时间` TEXT, \n",
      "\t`薪资待遇` TEXT, \n",
      "\t`岗位要求` TEXT, \n",
      "\t`岗位标签` TEXT, \n",
      "\t`公司福利` TEXT, \n",
      "\t`所属行业` TEXT, \n",
      "\t`公司名称` TEXT\n",
      ")\n",
      "\n",
      "\n",
      "2020-12-28 21:38:00,683 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:38:00,726 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:38:00,728 INFO sqlalchemy.engine.base.Engine CREATE INDEX `ix_pandas_mysql_guanzghou_拉钩数据_index` ON pandas_mysql.`guanzghou_拉钩数据` (`index`)\n",
      "2020-12-28 21:38:00,729 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:38:00,752 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:38:00,755 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)\n",
      "2020-12-28 21:38:00,759 INFO sqlalchemy.engine.base.Engine INSERT INTO pandas_mysql.`guanzghou_拉钩数据` (`index`, `职位名称`, `公司地址`, `发布时间`, `薪资待遇`, `岗位要求`, `岗位标签`, `公司福利`, `所属行业`, `公司名称`) VALUES (%(index)s, %(职位名称)s, %(公司地址)s, %(发布时间)s, %(薪资待遇)s, %(岗位要求)s, %(岗位标签)s, %(公司福利)s, %(所属行业)s, %(公司名称)s)\n",
      "2020-12-28 21:38:00,760 INFO sqlalchemy.engine.base.Engine ({'index': 0, '职位名称': '高级数据分析师', '公司地址': '同德', '发布时间': '19:49发布', '薪资待遇': '12k-18k', '岗位要求': '12k-18k 经验3-5年 / 不限', '岗位标签': '电商 社交 增长黑客 数据分析 数据运营 SQL', '公司福利': '“五险一金/绩效奖金/全勤奖/创新奖”', '所属行业': '电商 / 不需要融资 / 2000人以上', '公司名称': '广州棒谷科技股份有限公司'}, {'index': 1, '职位名称': '高级数据分析师', '公司地址': '芳村', '发布时间': '19:54发布', '薪资待遇': '12k-24k', '岗位要求': '12k-24k 经验3-5年 / 本科', '岗位标签': '电商 数据模型 数据预测 商业分析 客服数据', '公司福利': '“股票期权 周末双休 包三餐 免息住房贷款”', '所属行业': '电商 / 上市公司 / 2000人以上', '公司名称': '唯品会'}, {'index': 2, '职位名称': '数据分析师', '公司地址': '天河区', '发布时间': '17:30发布', '薪资待遇': '10k-15k', '岗位要求': '10k-15k 经验1-3年 / 本科', '岗位标签': '用户研究 需求分析 竞品分析 数据分析', '公司福利': '“AI大数据朝阳行业 扁平化管理 互联网氛围”', '所属行业': '数据服务 / B轮 / 150-500人', '公司名称': 'DataStory'}, {'index': 3, '职位名称': '数据分析', '公司地址': '越秀区', '发布时间': '10:42发布', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验1-3年 / 本科', '岗位标签': '金融 移动互联网 数据挖掘', '公司福利': '“银行系金融科技公司”', '所属行业': '金融,软件开发 / 不需要融资 / 2000人以上', '公司名称': '建信金科'}, {'index': 4, '职位名称': '数据分析师', '公司地址': '员村', '发布时间': '16:10发布', '薪资待遇': '12k-24k', '岗位要求': '12k-24k 经验3-5年 / 本科', '岗位标签': '通信/网络设备 数据分析', '公司福利': '“团队实力 晋升完善”', '所属行业': '移动互联网,数据服务 / A轮 / 150-500人', '公司名称': '贝锐科技'}, {'index': 5, '职位名称': '数据分析', '公司地址': '岭南', '发布时间': '15:42发布', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验3-5年 / 本科', '岗位标签': 'ETL BI', '公司福利': '“周末双休、五险一金”', '所属行业': '教育,游戏 / B轮 / 2000人以上', '公司名称': '快乐种子'}, {'index': 6, '职位名称': '数据分析师', '公司地址': '南沙区', '发布时间': '14:08发布', '薪资待遇': '10k-16k', '岗位要求': '10k-16k 经验3-5年 / 本科', '岗位标签': '汽车 移动互联网 网站分析 数据分析 用户增长', '公司福利': '“全新商业模式，用户型企业”', '所属行业': '汽车丨出行 / A轮 / 150-500人', '公司名称': '广汽蔚来'}, {'index': 7, '职位名称': '数据分析师', '公司地址': '员村', '发布时间': '16:28发布', '薪资待遇': '6k-12k', '岗位要求': '6k-12k 经验1-3年 / 本科', '岗位标签': '数据分析 数据运营', '公司福利': '“做五休二，季度绩效、五险一金、定期团建”', '所属行业': '数据服务,人工智能 / 不需要融资 / 150-500人', '公司名称': '上海浩宜信息科技有限公司'}  ... displaying 10 of 216 total bound parameter sets ...  {'index': 214, '职位名称': '数据建模主任', '公司地址': '市桥', '发布时间': '2020-12-22', '薪资待遇': '20k-30k', '岗位要求': '20k-30k 经验5-10年 / 本科', '岗位标签': '电商 新零售 数据建模', '公司福利': '“不打卡 团队年轻 领导nice”', '所属行业': '电商 / 上市公司 / 2000人以上', '公司名称': '美的电商'}, {'index': 215, '职位名称': '数据建模主任', '公司地址': '市桥', '发布时间': '2020-12-22', '薪资待遇': '20k-30k', '岗位要求': '20k-30k 经验5-10年 / 本科', '岗位标签': '电商 新零售 数据建模', '公司福利': '“不打卡 团队年轻 领导nice”', '所属行业': '电商 / 上市公司 / 2000人以上', '公司名称': '美的电商'})\n",
      "2020-12-28 21:38:00,779 INFO sqlalchemy.engine.base.Engine COMMIT\n"
     ]
    }
   ],
   "source": [
    "df_guanzghou.to_sql('guanzghou_拉钩数据',con=engine,schema='pandas_mysql',if_exists='append',)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 143,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-28 21:38:51,946 INFO sqlalchemy.engine.base.Engine DESCRIBE `pandas_mysql`.`chongqing_拉钩数据`\n",
      "2020-12-28 21:38:51,947 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:38:51,950 INFO sqlalchemy.engine.base.Engine ROLLBACK\n",
      "2020-12-28 21:38:51,953 INFO sqlalchemy.engine.base.Engine \n",
      "CREATE TABLE pandas_mysql.`chongqing_拉钩数据` (\n",
      "\t`index` BIGINT, \n",
      "\t`职位名称` TEXT, \n",
      "\t`公司地址` TEXT, \n",
      "\t`发布时间` TEXT, \n",
      "\t`薪资待遇` TEXT, \n",
      "\t`岗位要求` TEXT, \n",
      "\t`岗位标签` TEXT, \n",
      "\t`公司福利` TEXT, \n",
      "\t`所属行业` TEXT, \n",
      "\t`公司名称` TEXT\n",
      ")\n",
      "\n",
      "\n",
      "2020-12-28 21:38:51,954 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:38:52,003 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:38:52,005 INFO sqlalchemy.engine.base.Engine CREATE INDEX `ix_pandas_mysql_chongqing_拉钩数据_index` ON pandas_mysql.`chongqing_拉钩数据` (`index`)\n",
      "2020-12-28 21:38:52,005 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:38:52,033 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:38:52,035 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)\n",
      "2020-12-28 21:38:52,039 INFO sqlalchemy.engine.base.Engine INSERT INTO pandas_mysql.`chongqing_拉钩数据` (`index`, `职位名称`, `公司地址`, `发布时间`, `薪资待遇`, `岗位要求`, `岗位标签`, `公司福利`, `所属行业`, `公司名称`) VALUES (%(index)s, %(职位名称)s, %(公司地址)s, %(发布时间)s, %(薪资待遇)s, %(岗位要求)s, %(岗位标签)s, %(公司福利)s, %(所属行业)s, %(公司名称)s)\n",
      "2020-12-28 21:38:52,041 INFO sqlalchemy.engine.base.Engine ({'index': 0, '职位名称': '数据分析师', '公司地址': '大竹林', '发布时间': '16:01发布', '薪资待遇': '5k-10k', '岗位要求': '5k-10k 经验1-3年 / 不限', '岗位标签': '数据分析', '公司福利': '“七险一金、年度旅游、弹性工作”', '所属行业': '信息安全 / 天使轮 / 50-150人', '公司名称': '梦之想科技'}, {'index': 1, '职位名称': '数据分析实习生', '公司地址': '渝中区', '发布时间': '13:39发布', '薪资待遇': '2k-4k', '岗位要求': '2k-4k 经验在校/应届 / 本科', '岗位标签': '数据分析 统计', '公司福利': '“五险一金 绩效奖金 弹性工作 补充医疗险”', '所属行业': '企业服务 / 不需要融资 / 50-150人', '公司名称': '嘉驰'}, {'index': 2, '职位名称': '数据分析主管', '公司地址': '江北区', '发布时间': '2020-12-22', '薪资待遇': '10k-15k', '岗位要求': '10k-15k 经验3-5年 / 本科', '岗位标签': '可视化 数据分析 BI SQL', '公司福利': '“大品牌好平台，领导nice，弹性工作制”', '所属行业': '金融 / 未融资 / 50-150人', '公司名称': '永辉金融'}, {'index': 3, '职位名称': '数据分析（运营支持）', '公司地址': '渝北区', '发布时间': '2020-12-15', '薪资待遇': '8k-12k', '岗位要求': '8k-12k 经验3-5年 / 本科', '岗位标签': '数据分析 数据运营 SQL', '公司福利': '“带薪年假；年度旅游；内部晋升”', '所属行业': '社交 / 上市公司 / 2000人以上', '公司名称': '腾讯'}, {'index': 4, '职位名称': '数据分析师（金融方向）', '公司地址': '渝北区', '发布时间': '2020-12-24', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验5-10年 / 本科', '岗位标签': '数据仓库 Spark MySQL', '公司福利': '“发展前景、大牛团队、持牌机构”', '所属行业': '金融,移动互联网 / 不需要融资 / 2000人以上', '公司名称': '马上消费'}, {'index': 5, '职位名称': '环境数据分析工程师', '公司地址': '渝北区', '发布时间': '2020-08-05', '薪资待遇': '5k-10k', '岗位要求': '5k-10k 经验在校/应届 / 硕士', '岗位标签': '大数据', '公司福利': '“福利齐全，行业发展前景好”', '所属行业': '企业服务,数据服务 / 未融资 / 50-150人', '公司名称': '重庆广睿达科技有限公司'}, {'index': 6, '职位名称': '数据分析经理（经营业务方向）', '公司地址': '渝中区', '发布时间': '2020-08-25', '薪资待遇': '10k-20k', '岗位要求': '10k-20k 经验3-5年 / 本科', '岗位标签': '数据分析 BI 可视化 模型建设 经营业务', '公司福利': '“大平台、发展空间好、13薪”', '所属行业': '消费生活,文娱丨内容 / 不需要融资 / 500-2000人', '公司名称': '西西弗书店'}, {'index': 7, '职位名称': '数据分析师', '公司地址': '大竹林', '发布时间': '2020-11-23', '薪资待遇': '10k-15k', '岗位要求': '10k-15k 经验3-5年 / 本科', '岗位标签': '大数据', '公司福利': '“五险一金、带薪年假、节日福利、年终绩效”', '所属行业': '不限 / 不需要融资 / 50-150人', '公司名称': '旅游云'}  ... displaying 10 of 300 total bound parameter sets ...  {'index': 298, '职位名称': '新媒体运营总监', '公司地址': '沙坪坝区', '发布时间': '2020-07-30', '薪资待遇': '8k-12k', '岗位要求': '8k-12k 经验3-5年 / 本科', '岗位标签': '教育 移动互联网 运营 SEM SEO SAO', '公司福利': '“高成长性”', '所属行业': '教育 / 未融资 / 少于15人', '公司名称': '拼说说教育'}, {'index': 299, '职位名称': '课程顾问', '公司地址': '渝北区', '发布时间': '2020-12-01', '薪资待遇': '5k-10k', '岗位要求': '5k-10k 经验不限 / 不限', '岗位标签': '教育 企业服务 市场拓展 销售 客户代表', '公司福利': '“专业团队，亚马逊圈内知名服务商”', '所属行业': '数据服务 / 未融资 / 50-150人', '公司名称': '菲欧坦数据'})\n",
      "2020-12-28 21:38:52,069 INFO sqlalchemy.engine.base.Engine COMMIT\n"
     ]
    }
   ],
   "source": [
    "df_chongqing.to_sql('chongqing_拉钩数据',con=engine,schema='pandas_mysql',if_exists='append',)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 144,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-28 21:39:26,017 INFO sqlalchemy.engine.base.Engine DESCRIBE `pandas_mysql`.`nanjing_拉钩数据`\n",
      "2020-12-28 21:39:26,019 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:39:26,022 INFO sqlalchemy.engine.base.Engine ROLLBACK\n",
      "2020-12-28 21:39:26,028 INFO sqlalchemy.engine.base.Engine \n",
      "CREATE TABLE pandas_mysql.`nanjing_拉钩数据` (\n",
      "\t`index` BIGINT, \n",
      "\t`职位名称` TEXT, \n",
      "\t`公司地址` TEXT, \n",
      "\t`发布时间` TEXT, \n",
      "\t`薪资待遇` TEXT, \n",
      "\t`岗位要求` TEXT, \n",
      "\t`岗位标签` TEXT, \n",
      "\t`公司福利` TEXT, \n",
      "\t`所属行业` TEXT, \n",
      "\t`公司名称` TEXT\n",
      ")\n",
      "\n",
      "\n",
      "2020-12-28 21:39:26,030 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:39:26,069 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:39:26,070 INFO sqlalchemy.engine.base.Engine CREATE INDEX `ix_pandas_mysql_nanjing_拉钩数据_index` ON pandas_mysql.`nanjing_拉钩数据` (`index`)\n",
      "2020-12-28 21:39:26,071 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:39:26,093 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:39:26,096 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)\n",
      "2020-12-28 21:39:26,100 INFO sqlalchemy.engine.base.Engine INSERT INTO pandas_mysql.`nanjing_拉钩数据` (`index`, `职位名称`, `公司地址`, `发布时间`, `薪资待遇`, `岗位要求`, `岗位标签`, `公司福利`, `所属行业`, `公司名称`) VALUES (%(index)s, %(职位名称)s, %(公司地址)s, %(发布时间)s, %(薪资待遇)s, %(岗位要求)s, %(岗位标签)s, %(公司福利)s, %(所属行业)s, %(公司名称)s)\n",
      "2020-12-28 21:39:26,101 INFO sqlalchemy.engine.base.Engine ({'index': 0, '职位名称': '数据分析师', '公司地址': '玄武区', '发布时间': '21:10发布', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验3-5年 / 本科', '岗位标签': '数据分析', '公司福利': '“平台大”', '所属行业': '旅游 / 上市公司 / 2000人以上', '公司名称': '同程旅行'}, {'index': 1, '职位名称': '数据分析工程师', '公司地址': '雨花台区', '发布时间': '3天前发布', '薪资待遇': '13k-26k', '岗位要求': '13k-26k 经验3-5年 / 本科', '岗位标签': 'ETL MySQL 数据库开发', '公司福利': '“互联网独角兽，晋升空间大，牛人云集，氛围open”', '所属行业': '移动互联网 / D轮及以上 / 2000人以上', '公司名称': '满帮集团'}, {'index': 2, '职位名称': '数据分析师', '公司地址': '安德门', '发布时间': '2020-12-23', '薪资待遇': '8k-12k', '岗位要求': '8k-12k 经验1-3年 / 本科', '岗位标签': '数据分析', '公司福利': '“大数据技术服务公司 数据分析领域专家”', '所属行业': '移动互联网,金融 / B轮 / 150-500人', '公司名称': '安讯科技'}, {'index': 3, '职位名称': '数据分析师', '公司地址': '秦淮区', '发布时间': '2020-12-23', '薪资待遇': '12k-24k', '岗位要求': '12k-24k 经验3-5年 / 本科', '岗位标签': 'B2B', '公司福利': '“14薪、季度旅游、年度体检、愉快的团队氛围”', '所属行业': '人工智能,物联网 / B轮 / 50-150人', '公司名称': '清云智飞'}, {'index': 4, '职位名称': '数据分析师', '公司地址': '奥体', '发布时间': '2020-12-11', '薪资待遇': '8k-15k', '岗位要求': '8k-15k 经验1-3年 / 本科', '岗位标签': '大数据 电力 需求分析 数据分析', '公司福利': '“行业前景广阔，福利待遇佳”', '所属行业': '数据服务,软件开发 / 不需要融资 / 150-500人', '公司名称': '佰聆数据'}, {'index': 5, '职位名称': '医药数据分析师(疫苗方向)', '公司地址': '鼓楼区', '发布时间': '2020-12-23', '薪资待遇': '8k-16k', '岗位要求': '8k-16k 经验1-3年 / 硕士', '岗位标签': '医疗健康 大数据 数据分析', '公司福利': '“带薪年假 定期体检 扁平管理 发展空间大”', '所属行业': '移动互联网,医疗丨健康 / 天使轮 / 15-50人', '公司名称': '医药魔方'}, {'index': 6, '职位名称': '数据分析（南京）', '公司地址': '秦淮区', '发布时间': '2020-12-17', '薪资待遇': '10k-15k', '岗位要求': '10k-15k 经验1-3年 / 本科', '岗位标签': '数据挖掘 数据分析', '公司福利': '“弹性工作,氛围轻松”', '所属行业': '移动互联网 / 不需要融资 / 500-2000人', '公司名称': '飞常准'}, {'index': 7, '职位名称': '数据分析与报表开发', '公司地址': '江宁区', '发布时间': '2020-12-16', '薪资待遇': '8k-14k', '岗位要求': '8k-14k 经验1-3年 / 本科', '岗位标签': 'ETL 数据仓库', '公司福利': '“发现数据价值，提供更好使用数据的方式”', '所属行业': '移动互联网,企业服务 / A轮 / 50-150人', '公司名称': 'Wishare'}  ... displaying 10 of 300 total bound parameter sets ...  {'index': 298, '职位名称': '渠道经理', '公司地址': '鼓楼区', '发布时间': '2020-10-15', '薪资待遇': '6k-10k', '岗位要求': '6k-10k 经验不限 / 不限', '岗位标签': '渠道推广 推广 线下推广', '公司福利': '“工作时间自由，能力强工资越高！”', '所属行业': '其他 / 未融资 / 500-2000人', '公司名称': '咻电科技'}, {'index': 299, '职位名称': '共享充电宝BD', '公司地址': '鼓楼区', '发布时间': '2020-10-15', '薪资待遇': '6k-10k', '岗位要求': '6k-10k 经验不限 / 不限', '岗位标签': '商务拓展 商务渠道 地推 BD', '公司福利': '“上班打卡下班不打卡，晋升空间”', '所属行业': '其他 / 未融资 / 500-2000人', '公司名称': '咻电科技'})\n",
      "2020-12-28 21:39:26,128 INFO sqlalchemy.engine.base.Engine COMMIT\n"
     ]
    }
   ],
   "source": [
    "df_nanjing.to_sql('nanjing_拉钩数据',con=engine,schema='pandas_mysql',if_exists='append',)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 145,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-28 21:40:04,894 INFO sqlalchemy.engine.base.Engine DESCRIBE `pandas_mysql`.`hangzhou_拉钩数据`\n",
      "2020-12-28 21:40:04,894 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:40:04,904 INFO sqlalchemy.engine.base.Engine ROLLBACK\n",
      "2020-12-28 21:40:04,908 INFO sqlalchemy.engine.base.Engine \n",
      "CREATE TABLE pandas_mysql.`hangzhou_拉钩数据` (\n",
      "\t`index` BIGINT, \n",
      "\t`职位名称` TEXT, \n",
      "\t`公司地址` TEXT, \n",
      "\t`发布时间` TEXT, \n",
      "\t`薪资待遇` TEXT, \n",
      "\t`岗位要求` TEXT, \n",
      "\t`岗位标签` TEXT, \n",
      "\t`公司福利` TEXT, \n",
      "\t`所属行业` TEXT, \n",
      "\t`公司名称` TEXT\n",
      ")\n",
      "\n",
      "\n",
      "2020-12-28 21:40:04,910 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:40:04,961 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:40:04,962 INFO sqlalchemy.engine.base.Engine CREATE INDEX `ix_pandas_mysql_hangzhou_拉钩数据_index` ON pandas_mysql.`hangzhou_拉钩数据` (`index`)\n",
      "2020-12-28 21:40:04,963 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:40:04,990 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:40:04,994 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)\n",
      "2020-12-28 21:40:05,000 INFO sqlalchemy.engine.base.Engine INSERT INTO pandas_mysql.`hangzhou_拉钩数据` (`index`, `职位名称`, `公司地址`, `发布时间`, `薪资待遇`, `岗位要求`, `岗位标签`, `公司福利`, `所属行业`, `公司名称`) VALUES (%(index)s, %(职位名称)s, %(公司地址)s, %(发布时间)s, %(薪资待遇)s, %(岗位要求)s, %(岗位标签)s, %(公司福利)s, %(所属行业)s, %(公司名称)s)\n",
      "2020-12-28 21:40:05,001 INFO sqlalchemy.engine.base.Engine ({'index': 0, '职位名称': '资深数据分析师', '公司地址': '西湖区', '发布时间': '17:57发布', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验3-5年 / 本科', '岗位标签': '数据分析 BI', '公司福利': '“发展前景好 福利待遇优”', '所属行业': '电子商务 / 不需要融资 / 150-500人', '公司名称': '政采云'}, {'index': 1, '职位名称': '数据分析师', '公司地址': '西湖', '发布时间': '17:41发布', '薪资待遇': '15k-30k', '岗位要求': '15k-30k 经验5-10年 / 本科', '岗位标签': '电商 Hive', '公司福利': '“垂直电商”', '所属行业': '移动互联网,电商 / A轮 / 500-2000人', '公司名称': '微拍堂'}, {'index': 2, '职位名称': '数据分析师', '公司地址': '江干区', '发布时间': '16:55发布', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验3-5年 / 本科', '岗位标签': '数据分析', '公司福利': '“发展前景大”', '所属行业': '移动互联网,电商 / A轮 / 150-500人', '公司名称': '南讯股份'}, {'index': 3, '职位名称': '数据分析师', '公司地址': '江干区', '发布时间': '17:18发布', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验1-3年 / 本科', '岗位标签': '工业互联网 ERP BI python SQL', '公司福利': '“试用期同薪 前景好 工业互联网行业”', '所属行业': '移动互联网 / 未融资 / 150-500人', '公司名称': '蒲惠智造'}, {'index': 4, '职位名称': '数据分析师', '公司地址': '西湖区', '发布时间': '16:14发布', '薪资待遇': '10k-15k', '岗位要求': '10k-15k 经验1-3年 / 本科', '岗位标签': '电商 数据分析 数据运营', '公司福利': '“周末双休,五险一金,活动丰富,氛围超嗨”', '所属行业': '电商 / 不需要融资 / 150-500人', '公司名称': '网营科技'}, {'index': 5, '职位名称': '数据分析专家', '公司地址': '西湖区', '发布时间': '14:11发布', '薪资待遇': '15k-30k', '岗位要求': '15k-30k 经验3-5年 / 本科', '岗位标签': '电商 数据分析 数据运营', '公司福利': '“弹性工作,免费三餐,租房补贴,带薪休假”', '所属行业': '文娱丨内容 / D轮及以上 / 2000人以上', '公司名称': '字节跳动'}, {'index': 6, '职位名称': '数据分析师', '公司地址': '西湖区', '发布时间': '11:16发布', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验3-5年 / 本科', '岗位标签': '游戏 数据分析', '公司福利': '“五险一金”', '所属行业': '移动互联网,游戏 / 不需要融资 / 2000人以上', '公司名称': '边锋'}, {'index': 7, '职位名称': '数据分析师', '公司地址': '余杭区', '发布时间': '11:10发布', '薪资待遇': '12k-24k', '岗位要求': '12k-24k 经验1-3年 / 本科', '岗位标签': '教育 大数据 需求分析 竞品分析 数据分析 用户研究', '公司福利': '“发展前景、福利待遇、弹性时间”', '所属行业': '移动互联网,数据服务 / B轮 / 15-50人', '公司名称': '杭州布谷科技有限责任公司'}  ... displaying 10 of 290 total bound parameter sets ...  {'index': 288, '职位名称': '数据分析[J470308]', '公司地址': '西溪', '发布时间': '2天前发布', '薪资待遇': '15k-30k', '岗位要求': '15k-30k 经验3-5年 / 本科', '岗位标签': '物流 SQLServer', '公司福利': '“阿里系”', '所属行业': '移动互联网 / 不需要融资 / 150-500人', '公司名称': '溪鸟物流'}, {'index': 289, '职位名称': '数据分析工程师', '公司地址': '桐庐县', '发布时间': '2020-12-01', '薪资待遇': '30k-60k', '岗位要求': '30k-60k 经验在校/应届 / 不限', '岗位标签': '企业服务 云计算 数据架构 数据库开发 Python 数据挖掘', '公司福利': '“高薪事少”', '所属行业': '数据服务、教育 / 未融资 / 少于15人', '公司名称': '创客矩阵咨询'})\n",
      "2020-12-28 21:40:05,024 INFO sqlalchemy.engine.base.Engine COMMIT\n"
     ]
    }
   ],
   "source": [
    "df_hangzhou.to_sql('hangzhou_拉钩数据',con=engine,schema='pandas_mysql',if_exists='append',)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 147,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-28 21:40:54,303 INFO sqlalchemy.engine.base.Engine DESCRIBE `pandas_mysql`.`shenzhen_拉钩数据`\n",
      "2020-12-28 21:40:54,304 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:40:54,307 INFO sqlalchemy.engine.base.Engine ROLLBACK\n",
      "2020-12-28 21:40:54,310 INFO sqlalchemy.engine.base.Engine \n",
      "CREATE TABLE pandas_mysql.`shenzhen_拉钩数据` (\n",
      "\t`index` BIGINT, \n",
      "\t`职位名称` TEXT, \n",
      "\t`公司地址` TEXT, \n",
      "\t`发布时间` TEXT, \n",
      "\t`薪资待遇` TEXT, \n",
      "\t`岗位要求` TEXT, \n",
      "\t`岗位标签` TEXT, \n",
      "\t`公司福利` TEXT, \n",
      "\t`所属行业` TEXT, \n",
      "\t`公司名称` TEXT\n",
      ")\n",
      "\n",
      "\n",
      "2020-12-28 21:40:54,311 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:40:54,352 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:40:54,353 INFO sqlalchemy.engine.base.Engine CREATE INDEX `ix_pandas_mysql_shenzhen_拉钩数据_index` ON pandas_mysql.`shenzhen_拉钩数据` (`index`)\n",
      "2020-12-28 21:40:54,354 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:40:54,398 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:40:54,400 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)\n",
      "2020-12-28 21:40:54,406 INFO sqlalchemy.engine.base.Engine INSERT INTO pandas_mysql.`shenzhen_拉钩数据` (`index`, `职位名称`, `公司地址`, `发布时间`, `薪资待遇`, `岗位要求`, `岗位标签`, `公司福利`, `所属行业`, `公司名称`) VALUES (%(index)s, %(职位名称)s, %(公司地址)s, %(发布时间)s, %(薪资待遇)s, %(岗位要求)s, %(岗位标签)s, %(公司福利)s, %(所属行业)s, %(公司名称)s)\n",
      "2020-12-28 21:40:54,407 INFO sqlalchemy.engine.base.Engine ({'index': 0, '职位名称': '数据分析师', '公司地址': '南山区', '发布时间': '20:10发布', '薪资待遇': '10k-15k', '岗位要求': '10k-15k 经验1-3年 / 本科', '岗位标签': '数据仓库 ETL 数仓建模 数仓架构', '公司福利': '“奖金、五险一金、发展前景广”', '所属行业': '广告营销,数据服务 / A轮 / 50-150人', '公司名称': '玉策数据'}, {'index': 1, '职位名称': '数据分析师', '公司地址': '南山区', '发布时间': '20:16发布', '薪资待遇': '8k-15k', '岗位要求': '8k-15k 经验3-5年 / 本科', '岗位标签': '即时通讯 社交 数据分析 用户增长', '公司福利': '“高速发展期，前景好，团队强，成长快”', '所属行业': '社交 / 天使轮 / 15-50人', '公司名称': '喵石科技'}, {'index': 2, '职位名称': '数据分析师', '公司地址': '石厦', '发布时间': '17:12发布', '薪资待遇': '12k-24k', '岗位要求': '12k-24k 经验3-5年 / 本科', '岗位标签': '大数据 移动互联网 Hadoop Spark Python ETL', '公司福利': '“500强,快速晋升,多元发展”', '所属行业': '移动互联网,信息安全 / 上市公司 / 2000人以上', '公司名称': '深圳联通'}, {'index': 3, '职位名称': '数据分析师', '公司地址': '南山区', '发布时间': '17:10发布', '薪资待遇': '12k-20k', '岗位要求': '12k-20k 经验3-5年 / 本科', '岗位标签': '大数据 云计算 可视化 商业 数据分析 数据建模', '公司福利': '“扁平化管理 行业大神 周末双休”', '所属行业': '数据服务,软件开发 / 不需要融资 / 15-50人', '公司名称': '中付技术'}, {'index': 4, '职位名称': '数据分析师', '公司地址': '科技园', '发布时间': '19:56发布', '薪资待遇': '10k-15k', '岗位要求': '10k-15k 经验不限 / 本科', '岗位标签': '金融 数据分析', '公司福利': '“精英团队,弹性工作,工作氛围好”', '所属行业': '金融 / C轮 / 150-500人', '公司名称': '萨摩耶数科'}, {'index': 5, '职位名称': '数据分析师', '公司地址': '南山区', '发布时间': '18:36发布', '薪资待遇': '12k-20k', '岗位要求': '12k-20k 经验1-3年 / 本科', '岗位标签': '数字 统计 数据运营 python/R', '公司福利': '“行业领先，发展空间大，福利待遇好”', '所属行业': '游戏 / 不需要融资 / 150-500人', '公司名称': '星尘游戏'}, {'index': 6, '职位名称': '数据分析师', '公司地址': '南山区', '发布时间': '18:01发布', '薪资待遇': '10k-20k', '岗位要求': '10k-20k 经验1-3年 / 本科', '岗位标签': '新零售 本地生活 SQL 数据运营 数据库', '公司福利': '“朝阳行业”', '所属行业': '移动互联网 / 不需要融资 / 50-150人', '公司名称': '懒人科技'}, {'index': 7, '职位名称': '数据分析师', '公司地址': '南山区', '发布时间': '18:49发布', '薪资待遇': '16k-20k', '岗位要求': '16k-20k 经验3-5年 / 本科', '岗位标签': '移动互联网 数据分析 项目管理 业务数据 经营分析', '公司福利': '“周末双休,行业独角兽,快速成长”', '所属行业': '移动互联网,消费生活 / B轮 / 2000人以上', '公司名称': '来电科技'}  ... displaying 10 of 300 total bound parameter sets ...  {'index': 298, '职位名称': 'PCG创新项目-增长数据分析师', '公司地址': '科技园', '发布时间': '2020-12-07', '薪资待遇': '25k-50k', '岗位要求': '25k-50k 经验不限 / 本科', '岗位标签': '用户增长', '公司福利': '“欢迎加入我们，和前硅谷增长专家强强联手”', '所属行业': '社交 / 上市公司 / 2000人以上', '公司名称': '腾讯'}, {'index': 299, '职位名称': '数据分析师（车辆数据产品方向）', '公司地址': '福田区', '发布时间': '2020-12-15', '薪资待遇': '20k-30k', '岗位要求': '20k-30k 经验5-10年 / 本科', '岗位标签': '汽车 大数据 Hadoop 算法工程师 数据挖掘 数据架构', '公司福利': '“精算 大数据 数据产品”', '所属行业': '移动互联网 / C轮 / 50-150人', '公司名称': '鼎然信息科技'})\n",
      "2020-12-28 21:40:54,434 INFO sqlalchemy.engine.base.Engine COMMIT\n"
     ]
    }
   ],
   "source": [
    "df_shenzhen.to_sql('shenzhen_拉钩数据',con=engine,schema='pandas_mysql',if_exists='append',)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 149,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-28 21:41:47,522 INFO sqlalchemy.engine.base.Engine DESCRIBE `pandas_mysql`.`zhengzhou_拉钩数据`\n",
      "2020-12-28 21:41:47,524 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:41:47,527 INFO sqlalchemy.engine.base.Engine ROLLBACK\n",
      "2020-12-28 21:41:47,532 INFO sqlalchemy.engine.base.Engine \n",
      "CREATE TABLE pandas_mysql.`zhengzhou_拉钩数据` (\n",
      "\t`index` BIGINT, \n",
      "\t`职位名称` TEXT, \n",
      "\t`公司地址` TEXT, \n",
      "\t`发布时间` TEXT, \n",
      "\t`薪资待遇` TEXT, \n",
      "\t`岗位要求` TEXT, \n",
      "\t`岗位标签` TEXT, \n",
      "\t`公司福利` TEXT, \n",
      "\t`所属行业` TEXT, \n",
      "\t`公司名称` TEXT\n",
      ")\n",
      "\n",
      "\n",
      "2020-12-28 21:41:47,533 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:41:47,577 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:41:47,579 INFO sqlalchemy.engine.base.Engine CREATE INDEX `ix_pandas_mysql_zhengzhou_拉钩数据_index` ON pandas_mysql.`zhengzhou_拉钩数据` (`index`)\n",
      "2020-12-28 21:41:47,580 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:41:47,610 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:41:47,615 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)\n",
      "2020-12-28 21:41:47,620 INFO sqlalchemy.engine.base.Engine INSERT INTO pandas_mysql.`zhengzhou_拉钩数据` (`index`, `职位名称`, `公司地址`, `发布时间`, `薪资待遇`, `岗位要求`, `岗位标签`, `公司福利`, `所属行业`, `公司名称`) VALUES (%(index)s, %(职位名称)s, %(公司地址)s, %(发布时间)s, %(薪资待遇)s, %(岗位要求)s, %(岗位标签)s, %(公司福利)s, %(所属行业)s, %(公司名称)s)\n",
      "2020-12-28 21:41:47,621 INFO sqlalchemy.engine.base.Engine ({'index': 0, '职位名称': '数据分析师-郑州', '公司地址': '中原区', '发布时间': '17:04发布', '薪资待遇': '8k-15k', '岗位要求': '8k-15k 经验3-5年 / 本科', '岗位标签': '数据采集', '公司福利': '“五险一金,午餐补助,补充医疗,14薪”', '所属行业': '数据服务 / C轮 / 500-2000人', '公司名称': '神策数据'}, {'index': 1, '职位名称': '高级数据分析师（五险一金+双休+丰厚福利）', '公司地址': '中原区', '发布时间': '2天前发布', '薪资待遇': '10k-15k', '岗位要求': '10k-15k 经验3-5年 / 本科', '岗位标签': '大数据 Python', '公司福利': '“公司发展前景好，团队实力强”', '所属行业': '移动互联网,游戏 / B轮 / 500-2000人', '公司名称': '安徽省刀锋网络科技有限公司'}, {'index': 2, '职位名称': '自动驾驶数据分析工程师', '公司地址': '郑东新区', '发布时间': '2020-12-24', '薪资待遇': '10k-20k', '岗位要求': '10k-20k 经验在校/应届 / 本科', '岗位标签': '测试开发 ubuntu git docker', '公司福利': '“大牛导师一带一培养”', '所属行业': '移动互联网,企业服务 / B轮 / 150-500人', '公司名称': '文远知行'}, {'index': 3, '职位名称': '数据分析', '公司地址': '经开区', '发布时间': '2020-12-04', '薪资待遇': '10k-20k', '岗位要求': '10k-20k 经验5-10年 / 本科', '岗位标签': '大数据 移动互联网 数据库 BI SQL', '公司福利': '“五险一金 绩效奖金 带薪休假 定期体检”', '所属行业': '电商,数据服务 / 上市公司 / 2000人以上', '公司名称': '富士康科技集团'}, {'index': 4, '职位名称': '数据分析', '公司地址': '北环', '发布时间': '2020-12-23', '薪资待遇': '4k-8k', '岗位要求': '4k-8k 经验不限 / 大专', '岗位标签': 'ETL', '公司福利': '“双休，五险一金，项目奖金”', '所属行业': '数据服务 / B轮 / 少于15人', '公司名称': '河皓大数据'}, {'index': 5, '职位名称': '数据分析师', '公司地址': '二七区', '发布时间': '2020-11-08', '薪资待遇': '4k-6k', '岗位要求': '4k-6k 经验不限 / 本科', '岗位标签': '电力 数据分析', '公司福利': '“国家电网 信息系统数据分析师”', '所属行业': '人工智能,软件开发 / 不需要融资 / 15-50人', '公司名称': '飙风信息'}, {'index': 6, '职位名称': '数据分析师（中级、高级）', '公司地址': '郑东新区', '发布时间': '2020-11-16', '薪资待遇': '15k-30k', '岗位要求': '15k-30k 经验1-3年 / 本科', '岗位标签': '数据挖掘', '公司福利': '“五险一金 住房餐贴 带薪年假 交通补助”', '所属行业': '金融 / 上市公司 / 2000人以上', '公司名称': '中原银行'}, {'index': 7, '职位名称': '大数据分析师实习生', '公司地址': '中原区', '发布时间': '2020-12-24', '薪资待遇': '9k-18k', '岗位要求': '9k-18k 经验不限 / 大专', '岗位标签': '视频 工具软件 数据挖掘 大数据运维 网络 IT支持', '公司福利': '“五险一金，年底分红”', '所属行业': '软件开发、VR丨AR / 未融资 / 150-500人', '公司名称': '掌乐多软件'}  ... displaying 10 of 258 total bound parameter sets ...  {'index': 256, '职位名称': '客户经理', '公司地址': '祭城', '发布时间': '2020-08-08', '薪资待遇': '6k-7k', '岗位要求': '6k-7k 经验在校/应届 / 本科', '岗位标签': '教育 移动互联网', '公司福利': '“五险一金、工作餐、图书馆、健身房等等”', '所属行业': '教育,移动互联网 / 不需要融资 / 150-500人', '公司名称': '校信通'}, {'index': 257, '职位名称': '数据运营专员', '公司地址': '金水区', '发布时间': '2020-08-24', '薪资待遇': '4k-6k', '岗位要求': '4k-6k 经验1-3年 / 大专', '岗位标签': '移动互联网 活动运营 游戏运营 APP运营 数据分析', '公司福利': '“五险一金 免费午餐 体检 节假日福利 年终奖”', '所属行业': '游戏 / 未融资 / 50-150人', '公司名称': '百易科技'})\n",
      "2020-12-28 21:41:47,642 INFO sqlalchemy.engine.base.Engine COMMIT\n"
     ]
    }
   ],
   "source": [
    "df_zhengzhou.to_sql('zhengzhou_拉钩数据',con=engine,schema='pandas_mysql',if_exists='append',)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 152,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-28 21:43:06,869 INFO sqlalchemy.engine.base.Engine DESCRIBE `pandas_mysql`.`shanghai_拉钩数据`\n",
      "2020-12-28 21:43:06,871 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:43:06,874 INFO sqlalchemy.engine.base.Engine ROLLBACK\n",
      "2020-12-28 21:43:06,879 INFO sqlalchemy.engine.base.Engine \n",
      "CREATE TABLE pandas_mysql.`shanghai_拉钩数据` (\n",
      "\t`index` BIGINT, \n",
      "\t`职位名称` TEXT, \n",
      "\t`公司地址` TEXT, \n",
      "\t`发布时间` TEXT, \n",
      "\t`薪资待遇` TEXT, \n",
      "\t`岗位要求` TEXT, \n",
      "\t`岗位标签` TEXT, \n",
      "\t`公司福利` TEXT, \n",
      "\t`所属行业` TEXT, \n",
      "\t`公司名称` TEXT\n",
      ")\n",
      "\n",
      "\n",
      "2020-12-28 21:43:06,881 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:43:06,920 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:43:06,922 INFO sqlalchemy.engine.base.Engine CREATE INDEX `ix_pandas_mysql_shanghai_拉钩数据_index` ON pandas_mysql.`shanghai_拉钩数据` (`index`)\n",
      "2020-12-28 21:43:06,922 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:43:06,944 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-28 21:43:06,947 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)\n",
      "2020-12-28 21:43:06,952 INFO sqlalchemy.engine.base.Engine INSERT INTO pandas_mysql.`shanghai_拉钩数据` (`index`, `职位名称`, `公司地址`, `发布时间`, `薪资待遇`, `岗位要求`, `岗位标签`, `公司福利`, `所属行业`, `公司名称`) VALUES (%(index)s, %(职位名称)s, %(公司地址)s, %(发布时间)s, %(薪资待遇)s, %(岗位要求)s, %(岗位标签)s, %(公司福利)s, %(所属行业)s, %(公司名称)s)\n",
      "2020-12-28 21:43:06,953 INFO sqlalchemy.engine.base.Engine ({'index': 0, '职位名称': '数据分析师', '公司地址': '北蔡', '发布时间': '19:56发布', '薪资待遇': '10k-20k', '岗位要求': '10k-20k 经验1-3年 / 本科', '岗位标签': '金融 数据分析', '公司福利': '“氛围好,商业医疗险”', '所属行业': '金融 / C轮 / 150-500人', '公司名称': '萨摩耶数科'}, {'index': 1, '职位名称': '数据分析师', '公司地址': '华漕', '发布时间': '17:02发布', '薪资待遇': '12k-18k', '岗位要求': '12k-18k 经验3-5年 / 本科', '岗位标签': '教育 企业服务 数据库 BI SQL 数据分析', '公司福利': '“上市公司、创新氛围强、团队凝聚力、发展空间大”', '所属行业': '教育 / 不需要融资 / 500-2000人', '公司名称': '行动教育'}, {'index': 2, '职位名称': '数据分析师', '公司地址': '徐家汇', '发布时间': '17:41发布', '薪资待遇': '12k-20k', '岗位要求': '12k-20k 经验不限 / 本科', '岗位标签': '大数据 新零售', '公司福利': '“福利待遇优厚，发展空间大，团队氛围好”', '所属行业': '企业服务,数据服务 / 未融资 / 50-150人', '公司名称': '久谦咨询'}, {'index': 3, '职位名称': '数据分析师', '公司地址': '杨浦区', '发布时间': '17:01发布', '薪资待遇': '10k-18k', '岗位要求': '10k-18k 经验3-5年 / 本科', '岗位标签': '数据分析', '公司福利': '“交通便利 待遇良好 晋升机会 技术大牛”', '所属行业': '移动互联网 / A轮 / 50-150人', '公司名称': '上海众调科技'}, {'index': 4, '职位名称': '数据分析师', '公司地址': '六里', '发布时间': '18:02发布', '薪资待遇': '10k-16k', '岗位要求': '10k-16k 经验1-3年 / 本科', '岗位标签': '电商 数据分析', '公司福利': '“发展前景好 团队氛围佳 注重个人成长”', '所属行业': '软件开发 / 未融资 / 150-500人', '公司名称': '杉欣集团'}, {'index': 5, '职位名称': '数据分析师', '公司地址': '虹梅路', '发布时间': '17:49发布', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验3-5年 / 本科', '岗位标签': '电商 数据分析', '公司福利': '“晋升空间 潜力大 有挑战性”', '所属行业': '电商 / C轮 / 150-500人', '公司名称': '一条视频'}, {'index': 6, '职位名称': '高级数据分析师', '公司地址': '徐家汇', '发布时间': '18:13发布', '薪资待遇': '8k-15k', '岗位要求': '8k-15k 经验1-3年 / 本科', '岗位标签': '新零售 CRM BI SQL 数据分析', '公司福利': '“五险一金 综合实力强”', '所属行业': '企业服务,数据服务 / C轮 / 150-500人', '公司名称': '数云'}, {'index': 7, '职位名称': '数据分析师', '公司地址': '北新泾', '发布时间': '17:50发布', '薪资待遇': '15k-25k', '岗位要求': '15k-25k 经验1-3年 / 本科', '岗位标签': '旅游 大数据 ETL Hive 数据分析 数据处理', '公司福利': '“技术大牛群集，年度旅游，晋升机会”', '所属行业': '旅游 / 上市公司 / 2000人以上', '公司名称': '携程集团'}  ... displaying 10 of 450 total bound parameter sets ...  {'index': 448, '职位名称': '数据分析专家', '公司地址': '漕河泾', '发布时间': '2020-07-25', '薪资待遇': '20k-40k', '岗位要求': '20k-40k 经验3-5年 / 本科', '岗位标签': '企业服务 机器学习 创业 数据挖掘', '公司福利': '“数据科学，产品创新孵化”', '所属行业': '企业服务,数据服务 / B轮 / 150-500人', '公司名称': 'GrowingIO'}, {'index': 449, '职位名称': 'JA5738-资深数据分析师', '公司地址': '杨浦区', '发布时间': '2020-12-18', '薪资待遇': '15k-30k', '岗位要求': '15k-30k 经验1-3年 / 本科', '岗位标签': '互联网', '公司福利': '“上市公司,五险一金”', '所属行业': '移动互联网,文娱丨内容 / 上市公司 / 2000人以上', '公司名称': '哔哩哔哩'})\n",
      "2020-12-28 21:43:06,987 INFO sqlalchemy.engine.base.Engine COMMIT\n"
     ]
    }
   ],
   "source": [
    "df_shanghai.to_sql('shanghai_拉钩数据',con=engine,schema='pandas_mysql',if_exists='append',)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 153,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-28 21:46:25,551 INFO sqlalchemy.engine.base.Engine DESCRIBE `shanghai_拉钩数据`\n",
      "2020-12-28 21:46:25,552 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:46:25,559 INFO sqlalchemy.engine.base.Engine SHOW FULL TABLES FROM `pandas_mysql`\n",
      "2020-12-28 21:46:25,560 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:46:25,584 INFO sqlalchemy.engine.base.Engine SHOW CREATE TABLE `shanghai_拉钩数据`\n",
      "2020-12-28 21:46:25,585 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:46:25,588 INFO sqlalchemy.engine.base.Engine SELECT `shanghai_拉钩数据`.`index`, `shanghai_拉钩数据`.`职位名称`, `shanghai_拉钩数据`.`公司地址`, `shanghai_拉钩数据`.`发布时间`, `shanghai_拉钩数据`.`薪资待遇`, `shanghai_拉钩数据`.`岗位要求`, `shanghai_拉钩数据`.`岗位标签`, `shanghai_拉钩数据`.`公司福利`, `shanghai_拉钩数据`.`所属行业`, `shanghai_拉钩数据`.`公司名称` \n",
      "FROM `shanghai_拉钩数据`\n",
      "2020-12-28 21:46:25,589 INFO sqlalchemy.engine.base.Engine {}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>index</th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>北蔡</td>\n",
       "      <td>19:56发布</td>\n",
       "      <td>10k-20k</td>\n",
       "      <td>10k-20k 经验1-3年 / 本科</td>\n",
       "      <td>金融 数据分析</td>\n",
       "      <td>“氛围好,商业医疗险”</td>\n",
       "      <td>金融 / C轮 / 150-500人</td>\n",
       "      <td>萨摩耶数科</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>华漕</td>\n",
       "      <td>17:02发布</td>\n",
       "      <td>12k-18k</td>\n",
       "      <td>12k-18k 经验3-5年 / 本科</td>\n",
       "      <td>教育 企业服务 数据库 BI SQL 数据分析</td>\n",
       "      <td>“上市公司、创新氛围强、团队凝聚力、发展空间大”</td>\n",
       "      <td>教育 / 不需要融资 / 500-2000人</td>\n",
       "      <td>行动教育</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>徐家汇</td>\n",
       "      <td>17:41发布</td>\n",
       "      <td>12k-20k</td>\n",
       "      <td>12k-20k 经验不限 / 本科</td>\n",
       "      <td>大数据 新零售</td>\n",
       "      <td>“福利待遇优厚，发展空间大，团队氛围好”</td>\n",
       "      <td>企业服务,数据服务 / 未融资 / 50-150人</td>\n",
       "      <td>久谦咨询</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>17:01发布</td>\n",
       "      <td>10k-18k</td>\n",
       "      <td>10k-18k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“交通便利 待遇良好 晋升机会 技术大牛”</td>\n",
       "      <td>移动互联网 / A轮 / 50-150人</td>\n",
       "      <td>上海众调科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>六里</td>\n",
       "      <td>18:02发布</td>\n",
       "      <td>10k-16k</td>\n",
       "      <td>10k-16k 经验1-3年 / 本科</td>\n",
       "      <td>电商 数据分析</td>\n",
       "      <td>“发展前景好 团队氛围佳 注重个人成长”</td>\n",
       "      <td>软件开发 / 未融资 / 150-500人</td>\n",
       "      <td>杉欣集团</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>445</th>\n",
       "      <td>445</td>\n",
       "      <td>【21届校招】质量数据分析专员/上海(J13720)</td>\n",
       "      <td>闵行区</td>\n",
       "      <td>2020-12-21</td>\n",
       "      <td>15k-20k</td>\n",
       "      <td>15k-20k 经验在校/应届 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“0-12个月年终奖，一线互联网公司”</td>\n",
       "      <td>移动互联网,硬件 / D轮及以上 / 2000人以上</td>\n",
       "      <td>哈啰出行</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>446</th>\n",
       "      <td>446</td>\n",
       "      <td>EI8467-资深数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-12-09</td>\n",
       "      <td>13k-26k</td>\n",
       "      <td>13k-26k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析 业务理解</td>\n",
       "      <td>“发展前景,晋升机会,能力发挥”</td>\n",
       "      <td>移动互联网,文娱丨内容 / 上市公司 / 2000人以上</td>\n",
       "      <td>哔哩哔哩</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>447</th>\n",
       "      <td>447</td>\n",
       "      <td>游戏数据分析师</td>\n",
       "      <td>闵行区</td>\n",
       "      <td>2020-12-18</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验1-3年 / 本科</td>\n",
       "      <td>数据分析 SQL/Hive 数据挖掘 算法</td>\n",
       "      <td>“福利待遇好，晋升空间大”</td>\n",
       "      <td>游戏 / 不需要融资 / 500-2000人</td>\n",
       "      <td>沐瞳游戏</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>448</th>\n",
       "      <td>448</td>\n",
       "      <td>数据分析专家</td>\n",
       "      <td>漕河泾</td>\n",
       "      <td>2020-07-25</td>\n",
       "      <td>20k-40k</td>\n",
       "      <td>20k-40k 经验3-5年 / 本科</td>\n",
       "      <td>企业服务 机器学习 创业 数据挖掘</td>\n",
       "      <td>“数据科学，产品创新孵化”</td>\n",
       "      <td>企业服务,数据服务 / B轮 / 150-500人</td>\n",
       "      <td>GrowingIO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>449</th>\n",
       "      <td>449</td>\n",
       "      <td>JA5738-资深数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-12-18</td>\n",
       "      <td>15k-30k</td>\n",
       "      <td>15k-30k 经验1-3年 / 本科</td>\n",
       "      <td>互联网</td>\n",
       "      <td>“上市公司,五险一金”</td>\n",
       "      <td>移动互联网,文娱丨内容 / 上市公司 / 2000人以上</td>\n",
       "      <td>哔哩哔哩</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>450 rows × 10 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "     index                        职位名称 公司地址        发布时间     薪资待遇  \\\n",
       "0        0                       数据分析师   北蔡     19:56发布  10k-20k   \n",
       "1        1                       数据分析师   华漕     17:02发布  12k-18k   \n",
       "2        2                       数据分析师  徐家汇     17:41发布  12k-20k   \n",
       "3        3                       数据分析师  杨浦区     17:01发布  10k-18k   \n",
       "4        4                       数据分析师   六里     18:02发布  10k-16k   \n",
       "..     ...                         ...  ...         ...      ...   \n",
       "445    445  【21届校招】质量数据分析专员/上海(J13720)  闵行区  2020-12-21  15k-20k   \n",
       "446    446              EI8467-资深数据分析师  杨浦区  2020-12-09  13k-26k   \n",
       "447    447                     游戏数据分析师  闵行区  2020-12-18  15k-25k   \n",
       "448    448                      数据分析专家  漕河泾  2020-07-25  20k-40k   \n",
       "449    449              JA5738-资深数据分析师  杨浦区  2020-12-18  15k-30k   \n",
       "\n",
       "                     岗位要求                     岗位标签                      公司福利  \\\n",
       "0     10k-20k 经验1-3年 / 本科                  金融 数据分析               “氛围好,商业医疗险”   \n",
       "1     12k-18k 经验3-5年 / 本科  教育 企业服务 数据库 BI SQL 数据分析  “上市公司、创新氛围强、团队凝聚力、发展空间大”   \n",
       "2       12k-20k 经验不限 / 本科                  大数据 新零售      “福利待遇优厚，发展空间大，团队氛围好”   \n",
       "3     10k-18k 经验3-5年 / 本科                     数据分析     “交通便利 待遇良好 晋升机会 技术大牛”   \n",
       "4     10k-16k 经验1-3年 / 本科                  电商 数据分析      “发展前景好 团队氛围佳 注重个人成长”   \n",
       "..                    ...                      ...                       ...   \n",
       "445  15k-20k 经验在校/应届 / 本科                     数据分析       “0-12个月年终奖，一线互联网公司”   \n",
       "446   13k-26k 经验3-5年 / 本科                数据分析 业务理解          “发展前景,晋升机会,能力发挥”   \n",
       "447   15k-25k 经验1-3年 / 本科    数据分析 SQL/Hive 数据挖掘 算法             “福利待遇好，晋升空间大”   \n",
       "448   20k-40k 经验3-5年 / 本科        企业服务 机器学习 创业 数据挖掘             “数据科学，产品创新孵化”   \n",
       "449   15k-30k 经验1-3年 / 本科                      互联网               “上市公司,五险一金”   \n",
       "\n",
       "                             所属行业       公司名称  \n",
       "0              金融 / C轮 / 150-500人      萨摩耶数科  \n",
       "1          教育 / 不需要融资 / 500-2000人       行动教育  \n",
       "2       企业服务,数据服务 / 未融资 / 50-150人       久谦咨询  \n",
       "3            移动互联网 / A轮 / 50-150人     上海众调科技  \n",
       "4           软件开发 / 未融资 / 150-500人       杉欣集团  \n",
       "..                            ...        ...  \n",
       "445    移动互联网,硬件 / D轮及以上 / 2000人以上       哈啰出行  \n",
       "446  移动互联网,文娱丨内容 / 上市公司 / 2000人以上       哔哩哔哩  \n",
       "447        游戏 / 不需要融资 / 500-2000人       沐瞳游戏  \n",
       "448     企业服务,数据服务 / B轮 / 150-500人  GrowingIO  \n",
       "449  移动互联网,文娱丨内容 / 上市公司 / 2000人以上       哔哩哔哩  \n",
       "\n",
       "[450 rows x 10 columns]"
      ]
     },
     "execution_count": 153,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.read_sql('shanghai_拉钩数据',con=engine,)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 157,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-28 21:51:12,480 INFO sqlalchemy.engine.base.Engine DESCRIBE `select * from shanghai_拉钩数据 where 公司地址 = \"杨浦区\"`\n",
      "2020-12-28 21:51:12,483 INFO sqlalchemy.engine.base.Engine {}\n",
      "2020-12-28 21:51:12,485 INFO sqlalchemy.engine.base.Engine ROLLBACK\n",
      "2020-12-28 21:51:12,488 INFO sqlalchemy.engine.base.Engine select * from shanghai_拉钩数据 where 公司地址 = \"杨浦区\"\n",
      "2020-12-28 21:51:12,489 INFO sqlalchemy.engine.base.Engine {}\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>index</th>\n",
       "      <th>职位名称</th>\n",
       "      <th>公司地址</th>\n",
       "      <th>发布时间</th>\n",
       "      <th>薪资待遇</th>\n",
       "      <th>岗位要求</th>\n",
       "      <th>岗位标签</th>\n",
       "      <th>公司福利</th>\n",
       "      <th>所属行业</th>\n",
       "      <th>公司名称</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>3</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>17:01发布</td>\n",
       "      <td>10k-18k</td>\n",
       "      <td>10k-18k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“交通便利 待遇良好 晋升机会 技术大牛”</td>\n",
       "      <td>移动互联网 / A轮 / 50-150人</td>\n",
       "      <td>上海众调科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>8</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>17:30发布</td>\n",
       "      <td>15k-20k</td>\n",
       "      <td>15k-20k 经验1-3年 / 本科</td>\n",
       "      <td>消费者分析 数据分析</td>\n",
       "      <td>“五险一金 周末双休 扁平管理 氛围轻松”</td>\n",
       "      <td>数据服务 / B轮 / 150-500人</td>\n",
       "      <td>DataStory</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>24</td>\n",
       "      <td>资深数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>16:34发布</td>\n",
       "      <td>25k-40k</td>\n",
       "      <td>25k-40k 经验5-10年 / 本科</td>\n",
       "      <td>电商 本地生活 数据分析</td>\n",
       "      <td>“潮流APP 扁平化 技术氛围浓厚”</td>\n",
       "      <td>移动互联网,电商 / B轮 / 500-2000人</td>\n",
       "      <td>得物App</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>84</td>\n",
       "      <td>资深数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>04:14发布</td>\n",
       "      <td>20k-30k</td>\n",
       "      <td>20k-30k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析</td>\n",
       "      <td>“弹性工作,免费三餐,租房补贴,带薪休假”</td>\n",
       "      <td>文娱丨内容 / D轮及以上 / 2000人以上</td>\n",
       "      <td>字节跳动</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>108</td>\n",
       "      <td>车联网数据分析</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>13:13发布</td>\n",
       "      <td>15k-28k</td>\n",
       "      <td>15k-28k 经验不限 / 本科</td>\n",
       "      <td>数据挖掘 数学 机器学习</td>\n",
       "      <td>“发展空间大、灵活办公”</td>\n",
       "      <td>数据服务,移动互联网 / 未融资 / 15-50人</td>\n",
       "      <td>ExceedData</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>116</td>\n",
       "      <td>数据分析（实习生）</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>17:01发布</td>\n",
       "      <td>2k-4k</td>\n",
       "      <td>2k-4k 经验在校/应届 / 本科</td>\n",
       "      <td>数据分析 实习</td>\n",
       "      <td>“交通便利 调薪晋升 福利好”</td>\n",
       "      <td>移动互联网 / A轮 / 50-150人</td>\n",
       "      <td>上海众调科技</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>123</td>\n",
       "      <td>高级数据分析师（互联网方向）</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>09:28发布</td>\n",
       "      <td>13k-18k</td>\n",
       "      <td>13k-18k 经验3-5年 / 本科</td>\n",
       "      <td>新零售 移动互联网 数据分析</td>\n",
       "      <td>“五险一金 弹性工作 年终奖金 绿色办公”</td>\n",
       "      <td>移动互联网,电商 / C轮 / 150-500人</td>\n",
       "      <td>上海趣致</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>158</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-12-24</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验3-5年 / 本科</td>\n",
       "      <td>数据挖掘 Python</td>\n",
       "      <td>“晋升快 空间大 免费午餐 交通便利”</td>\n",
       "      <td>移动互联网,电商 / D轮及以上 / 500-2000人</td>\n",
       "      <td>找钢网</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>163</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-12-23</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验3-5年 / 本科</td>\n",
       "      <td>金融 商业 BI 可视化 数据分析</td>\n",
       "      <td>“高速发展 精英团队 大牛带路”</td>\n",
       "      <td>金融 / 不需要融资 / 500-2000人</td>\n",
       "      <td>GeexFinance</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>200</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-11-12</td>\n",
       "      <td>15k-25k</td>\n",
       "      <td>15k-25k 经验3-5年 / 本科</td>\n",
       "      <td>电商 需求分析 数据分析 产品设计</td>\n",
       "      <td>“氛围佳，团队nice”</td>\n",
       "      <td>移动互联网,电商 / B轮 / 500-2000人</td>\n",
       "      <td>得物App</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>247</td>\n",
       "      <td>ND8460-资深数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-12-23</td>\n",
       "      <td>20k-40k</td>\n",
       "      <td>20k-40k 经验3-5年 / 本科</td>\n",
       "      <td>互联网</td>\n",
       "      <td>“上市公司,五险一金”</td>\n",
       "      <td>移动互联网,文娱丨内容 / 上市公司 / 2000人以上</td>\n",
       "      <td>哔哩哔哩</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>265</td>\n",
       "      <td>数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-09-29</td>\n",
       "      <td>9k-18k</td>\n",
       "      <td>9k-18k 经验1-3年 / 本科</td>\n",
       "      <td>汽车 大数据 数据分析 用户增长 SQL</td>\n",
       "      <td>“背靠上汽集团大数据平台”</td>\n",
       "      <td>其他,汽车丨出行 / 未融资 / 500-2000人</td>\n",
       "      <td>上汽大通</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>349</td>\n",
       "      <td>数据分析应用开发工程师-应届生招聘</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-10-20</td>\n",
       "      <td>10k-15k</td>\n",
       "      <td>10k-15k 经验1年以下 / 本科</td>\n",
       "      <td>大数据 数据仓库 AWS</td>\n",
       "      <td>“大数据 云”</td>\n",
       "      <td>移动互联网,数据服务 / 未融资 / 150-500人</td>\n",
       "      <td>比孚</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>374</td>\n",
       "      <td>战略数据分析专家</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-07-07</td>\n",
       "      <td>25k-35k</td>\n",
       "      <td>25k-35k 经验5-10年 / 本科</td>\n",
       "      <td>房产服务</td>\n",
       "      <td>“房地产开发、物业管理、营销管理、服务管理”</td>\n",
       "      <td>企业服务,消费生活 / 不需要融资 / 150-500人</td>\n",
       "      <td>武汉悦莱</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>391</td>\n",
       "      <td>数据分析（K12教辅运营）</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>04:29发布</td>\n",
       "      <td>10k-20k</td>\n",
       "      <td>10k-20k 经验1-3年 / 本科</td>\n",
       "      <td>运营</td>\n",
       "      <td>“六险一金,团队氛围好,晋升空间大”</td>\n",
       "      <td>文娱丨内容 / D轮及以上 / 2000人以上</td>\n",
       "      <td>字节跳动</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>444</td>\n",
       "      <td>DJ3024-资深数据分析师(漫画)</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-12-21</td>\n",
       "      <td>20k-35k</td>\n",
       "      <td>20k-35k 经验3-5年 / 本科</td>\n",
       "      <td>互联网</td>\n",
       "      <td>“上市公司,五险一金”</td>\n",
       "      <td>移动互联网,文娱丨内容 / 上市公司 / 2000人以上</td>\n",
       "      <td>哔哩哔哩</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>446</td>\n",
       "      <td>EI8467-资深数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-12-09</td>\n",
       "      <td>13k-26k</td>\n",
       "      <td>13k-26k 经验3-5年 / 本科</td>\n",
       "      <td>数据分析 业务理解</td>\n",
       "      <td>“发展前景,晋升机会,能力发挥”</td>\n",
       "      <td>移动互联网,文娱丨内容 / 上市公司 / 2000人以上</td>\n",
       "      <td>哔哩哔哩</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>449</td>\n",
       "      <td>JA5738-资深数据分析师</td>\n",
       "      <td>杨浦区</td>\n",
       "      <td>2020-12-18</td>\n",
       "      <td>15k-30k</td>\n",
       "      <td>15k-30k 经验1-3年 / 本科</td>\n",
       "      <td>互联网</td>\n",
       "      <td>“上市公司,五险一金”</td>\n",
       "      <td>移动互联网,文娱丨内容 / 上市公司 / 2000人以上</td>\n",
       "      <td>哔哩哔哩</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    index                职位名称 公司地址        发布时间     薪资待遇                  岗位要求  \\\n",
       "0       3               数据分析师  杨浦区     17:01发布  10k-18k   10k-18k 经验3-5年 / 本科   \n",
       "1       8               数据分析师  杨浦区     17:30发布  15k-20k   15k-20k 经验1-3年 / 本科   \n",
       "2      24             资深数据分析师  杨浦区     16:34发布  25k-40k  25k-40k 经验5-10年 / 本科   \n",
       "3      84             资深数据分析师  杨浦区     04:14发布  20k-30k   20k-30k 经验3-5年 / 本科   \n",
       "4     108             车联网数据分析  杨浦区     13:13发布  15k-28k     15k-28k 经验不限 / 本科   \n",
       "5     116           数据分析（实习生）  杨浦区     17:01发布    2k-4k    2k-4k 经验在校/应届 / 本科   \n",
       "6     123      高级数据分析师（互联网方向）  杨浦区     09:28发布  13k-18k   13k-18k 经验3-5年 / 本科   \n",
       "7     158               数据分析师  杨浦区  2020-12-24  15k-25k   15k-25k 经验3-5年 / 本科   \n",
       "8     163               数据分析师  杨浦区  2020-12-23  15k-25k   15k-25k 经验3-5年 / 本科   \n",
       "9     200               数据分析师  杨浦区  2020-11-12  15k-25k   15k-25k 经验3-5年 / 本科   \n",
       "10    247      ND8460-资深数据分析师  杨浦区  2020-12-23  20k-40k   20k-40k 经验3-5年 / 本科   \n",
       "11    265               数据分析师  杨浦区  2020-09-29   9k-18k    9k-18k 经验1-3年 / 本科   \n",
       "12    349   数据分析应用开发工程师-应届生招聘  杨浦区  2020-10-20  10k-15k   10k-15k 经验1年以下 / 本科   \n",
       "13    374            战略数据分析专家  杨浦区  2020-07-07  25k-35k  25k-35k 经验5-10年 / 本科   \n",
       "14    391       数据分析（K12教辅运营）  杨浦区     04:29发布  10k-20k   10k-20k 经验1-3年 / 本科   \n",
       "15    444  DJ3024-资深数据分析师(漫画)  杨浦区  2020-12-21  20k-35k   20k-35k 经验3-5年 / 本科   \n",
       "16    446      EI8467-资深数据分析师  杨浦区  2020-12-09  13k-26k   13k-26k 经验3-5年 / 本科   \n",
       "17    449      JA5738-资深数据分析师  杨浦区  2020-12-18  15k-30k   15k-30k 经验1-3年 / 本科   \n",
       "\n",
       "                    岗位标签                    公司福利  \\\n",
       "0                   数据分析   “交通便利 待遇良好 晋升机会 技术大牛”   \n",
       "1             消费者分析 数据分析   “五险一金 周末双休 扁平管理 氛围轻松”   \n",
       "2           电商 本地生活 数据分析      “潮流APP 扁平化 技术氛围浓厚”   \n",
       "3                   数据分析   “弹性工作,免费三餐,租房补贴,带薪休假”   \n",
       "4           数据挖掘 数学 机器学习            “发展空间大、灵活办公”   \n",
       "5                数据分析 实习         “交通便利 调薪晋升 福利好”   \n",
       "6         新零售 移动互联网 数据分析   “五险一金 弹性工作 年终奖金 绿色办公”   \n",
       "7            数据挖掘 Python     “晋升快 空间大 免费午餐 交通便利”   \n",
       "8      金融 商业 BI 可视化 数据分析        “高速发展 精英团队 大牛带路”   \n",
       "9      电商 需求分析 数据分析 产品设计            “氛围佳，团队nice”   \n",
       "10                   互联网             “上市公司,五险一金”   \n",
       "11  汽车 大数据 数据分析 用户增长 SQL           “背靠上汽集团大数据平台”   \n",
       "12          大数据 数据仓库 AWS                 “大数据 云”   \n",
       "13                  房产服务  “房地产开发、物业管理、营销管理、服务管理”   \n",
       "14                    运营      “六险一金,团队氛围好,晋升空间大”   \n",
       "15                   互联网             “上市公司,五险一金”   \n",
       "16             数据分析 业务理解        “发展前景,晋升机会,能力发挥”   \n",
       "17                   互联网             “上市公司,五险一金”   \n",
       "\n",
       "                            所属行业         公司名称  \n",
       "0           移动互联网 / A轮 / 50-150人       上海众调科技  \n",
       "1           数据服务 / B轮 / 150-500人    DataStory  \n",
       "2      移动互联网,电商 / B轮 / 500-2000人        得物App  \n",
       "3        文娱丨内容 / D轮及以上 / 2000人以上         字节跳动  \n",
       "4      数据服务,移动互联网 / 未融资 / 15-50人   ExceedData  \n",
       "5           移动互联网 / A轮 / 50-150人       上海众调科技  \n",
       "6       移动互联网,电商 / C轮 / 150-500人         上海趣致  \n",
       "7   移动互联网,电商 / D轮及以上 / 500-2000人          找钢网  \n",
       "8         金融 / 不需要融资 / 500-2000人  GeexFinance  \n",
       "9      移动互联网,电商 / B轮 / 500-2000人        得物App  \n",
       "10  移动互联网,文娱丨内容 / 上市公司 / 2000人以上         哔哩哔哩  \n",
       "11    其他,汽车丨出行 / 未融资 / 500-2000人         上汽大通  \n",
       "12   移动互联网,数据服务 / 未融资 / 150-500人           比孚  \n",
       "13  企业服务,消费生活 / 不需要融资 / 150-500人         武汉悦莱  \n",
       "14       文娱丨内容 / D轮及以上 / 2000人以上         字节跳动  \n",
       "15  移动互联网,文娱丨内容 / 上市公司 / 2000人以上         哔哩哔哩  \n",
       "16  移动互联网,文娱丨内容 / 上市公司 / 2000人以上         哔哩哔哩  \n",
       "17  移动互联网,文娱丨内容 / 上市公司 / 2000人以上         哔哩哔哩  "
      ]
     },
     "execution_count": 157,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "area_yangpu=pd.read_sql('select * from shanghai_拉钩数据 where 公司地址 = \"杨浦区\"',engine)\n",
    "area_yangpu"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}