week4/7-5.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "\n",
    "### 4. 뉴스 기사 타이틀 크롤링 \n",
    "\n",
    "이번에는 뉴스 기사 타이틀 크롤링하는 것에 대해 알아보려고 해요. 네이버뉴스 IT/과학 홈의 모바일 면 1페이지의 뉴스 타이틀을 가져와 볼겁니다. \n",
    "\n",
    "- [네이버뉴스 IT/과학 홈 모바일](https://news.naver.com/main/list.naver?mode=LS2D&mid=shm&sid1=105&sid2=731)\n",
    "\n",
    "우선 필요한 모듈들을 import 해줍니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "9x3Q7P39C5ch"
   },
   "outputs": [],
   "source": [
    "from urllib.request import urlopen # request 모듈에서 urlopen import 할게~\n",
    "from bs4 import BeautifulSoup\n",
    "\n",
    "url = 'https://news.naver.com/main/list.naver?mode=LS2D&mid=shm&sid1=105&sid2=731'\n",
    "page = urlopen(url)\n",
    "soup = BeautifulSoup(page, \"html.parser\")\n",
    "\n",
    "#print(soup.prettify())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ZSvNcT41C5ch"
   },
   "source": [
    "soup의 내용을 그냥 print하면 내용이 엄청 많아요. 저희가 찾고자하는 타이틀이 어떤 태그와 클라스를 가지는지 찾아봅시다. 아까 알려드린 구글 개발자 도구를 사용해보세요!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "uEtVO-0SC5ch",
    "outputId": "8f3a2243-be4e-4a02-e72f-6ef0637a115b"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t AI 고객센터 \\'카카오 i 커넥트 센터\\' 오픈…\"기업고객 겨냥\"\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', \"\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 삼성, 갤S22·탭S8에 '삼성케어플러스 케이스구독형' 적용\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n\", \"\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t KT, MWC에서 'AI 통화비서' 선보인다\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n\", '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 네이버, \\'학급 밴드\\' 2년간 440만명 가입…\"학교 필수앱으로 부상\"\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 삼성전자, ‘삼성케어플러스 케이스 구독형’ 서비스 선봬\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 과기정통부, 이음5G 시장 키운다…\"5G 기반 디지털 혁신 주도\"\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', \"\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 파손 보장에 케이스까지…'갤S22·탭S8 구독서비스' 나왔다\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n\", \"\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 과기부, 올해 340억 규모 '메타버스 플랫폼 개발지원 사업' 공모\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n\", '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 과기부, 1인 미디어 지원사업 본격 추진…창작자경제 뒷받침\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 한국 5G 기지국 전자파 평가방법 국제표준으로 채택\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 과기부, 올해 여성과학기술인 지원 사업에 251억 투자\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 제2의 통신비 인하? 정치권 ‘통신데이터 보장’ 압박 커지나\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t \"갑자기 화내는 성인 ADHD, 게임으로 치료 가능하다\"\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 구글의 차세대 폰 ‘픽셀7·픽셀7프로’ 렌더링 공개\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 캐논코리아, RF 마운트 초망원 줌렌즈 2종 공개\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 삼성, 갤S22·탭S8 구매고객 위해 케이스 구독형 서비스\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 삼성, 갤S22·탭S8 구매고객 위해 케이스구독형 서비스\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', \"\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 삼성전자, '삼성케어플러스 케이스구독형' 서비스 출시\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n\", '\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 삼성, 갤S22·갤탭S8 대상 ‘삼성케어플러스 케이스구독형’ 출시\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n', \"\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t 갤럭시S22·탭S8, '삼성케어플러스 케이스구독형 서비스' 출시\\n\\t\\t\\t\\t\\t\\t\\t\\t\\n\"]\n"
     ]
    }
   ],
   "source": [
    "title = soup.find_all('dt', class_= None)\n",
    "titles=[]\n",
    "\n",
    "for n in title:\n",
    "    a = n.get_text()\n",
    "    titles.append(a)\n",
    "\n",
    "print(titles)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "RUlrMbwHC5ci"
   },
   "source": [
    "간혹 제목 리스트를 보면 \\xa0와 같은 이상한 문자들이 섞여 나올 때가 있습니다. 이것들은 제목이 아니니 처리해줘야겠죠? 이럴 때 사용하는 것이 바로 **정규표현식**입니다. 이번 주차를 다 공부하고 나면 제목만 쏙쏙 뽑아낼 수 있을거에요. 더 정확한 예시는 첨부한 구글 드라이브의 파일들과 예시를 살펴봅시다!"
   ]
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}