crawl/astroawani/nested-crawl.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [],
   "source": [
    "from glob import glob\n",
    "import json\n",
    "import requests"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [],
   "source": [
    "headers = {\n",
    "    'authority': 'de-api.eco.astro.com.my',\n",
    "    'accept': '*/*',\n",
    "    'accept-language': 'en-MY,en;q=0.9,en-US;q=0.8,ms;q=0.7',\n",
    "    'authorization': 'eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjbGllbnQiOiJhd2FuaV93ZWIiLCJkZXZpY2VJZCI6ImNjMDllN2MyLWI3MGYtNGU1Yy1iZTQzLTE1MmExMmM5MzY3YSIsImlhdCI6MTY3MDA3NzA3MCwiZXhwIjoxNjcwNjgxODcwfQ.F9R5luAsS0rGXhmmUWeYd8UOWaY63qgyKSVkqxHniTc',\n",
    "    'cache-control': 'no-cache',\n",
    "    'origin': 'https://www.astroawani.com',\n",
    "    'pragma': 'no-cache',\n",
    "    'referer': 'https://www.astroawani.com/',\n",
    "    'sec-ch-ua': '\"Google Chrome\";v=\"107\", \"Chromium\";v=\"107\", \"Not=A?Brand\";v=\"24\"',\n",
    "    'sec-ch-ua-mobile': '?0',\n",
    "    'sec-ch-ua-platform': '\"macOS\"',\n",
    "    'sec-fetch-dest': 'empty',\n",
    "    'sec-fetch-mode': 'cors',\n",
    "    'sec-fetch-site': 'cross-site',\n",
    "    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',\n",
    "}\n",
    "\n",
    "params = {\n",
    "    'site': 'awani',\n",
    "}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['berita-bisnes.json',\n",
       " 'berita-dunia.json',\n",
       " 'berita-hiburan.json',\n",
       " 'berita-malaysia.json',\n",
       " 'berita-politik.json',\n",
       " 'berita-sukan.json',\n",
       " 'berita-teknologi.json',\n",
       " 'gaya-hidup.json']"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "files = sorted(glob('*.json'))\n",
    "files"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "berita-bisnes.json\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████| 10000/10000 [18:46<00:00,  8.88it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "berita-dunia.json\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████| 10000/10000 [18:46<00:00,  8.87it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "berita-hiburan.json\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████| 10000/10000 [19:08<00:00,  8.71it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "berita-malaysia.json\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████| 10000/10000 [18:55<00:00,  8.81it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "berita-politik.json\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████| 10000/10000 [18:44<00:00,  8.90it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "berita-sukan.json\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████| 10000/10000 [19:17<00:00,  8.64it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "berita-teknologi.json\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|█████████████████████████████████████████| 987/987 [01:45<00:00,  9.39it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gaya-hidup.json\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|███████████████████████████████████████| 5341/5341 [09:34<00:00,  9.30it/s]\n"
     ]
    }
   ],
   "source": [
    "from tqdm import tqdm\n",
    "\n",
    "for f in files:\n",
    "    print(f)\n",
    "\n",
    "    with open(f) as fopen:\n",
    "        data = json.load(fopen)\n",
    "        \n",
    "    flatten = []\n",
    "    for d in data:\n",
    "        flatten.extend(d['response'])\n",
    "    \n",
    "    data = []\n",
    "    \n",
    "    for d in tqdm(flatten):\n",
    "        news_id = d['id']\n",
    "        response = requests.get(f'https://de-api.eco.astro.com.my/feed/api/v1/articles/{news_id}', params=params, headers=headers)\n",
    "        r = response.json()\n",
    "        data.append({'original': d, 'r': r})\n",
    "        \n",
    "    with open(f'{f}.nested', 'w') as fopen:\n",
    "        json.dump(data, fopen)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('berita-politik.json.nested') as fopen:\n",
    "    data = json.load(fopen)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "from bs4 import BeautifulSoup"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "from unidecode import unidecode\n",
    "\n",
    "def simple_cleaning(string):\n",
    "    return re.sub(r'[ ]+', ' ', unidecode(string).replace('\\n', ' ').replace('--', ' ').replace('/', ' ').replace('\\r', ' ')).strip()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Pergerakan Pemuda UMNO Sabah menyelar tindakan segelintir pemimpin Parti Warisan Sabah (Warisan) yang menuduh UMNO sedang \\'memancing\\' Ahli Dewan Undangan Negeri (ADUN) untuk membentuk kerajaan negeri tidak demokratik. Ketua Pemuda UMNO Sabah, Ir. Abdul Aziz Julkarnain sebaliknya, mengingatkan kembali pemimpin Warisan berhubung pembentukan kerajaan parti itu selepas Pilihan Raya Umum Ke-14 (PRU-14) adalah dengan membeli ADUN dari Barisan Nasional (BN). Katanya, semua ADUN tidak perlu dibeli kerana mereka sedar dan tahu apakah yang diinginkan rakyat lebih-lebih lagi selepas Warisan kalah teruk dalam Pilihan Raya Kecil (PRK) Parlimen Kimanis. \"Ketua Wira Warisan, Datuk Mohd Azis Jamman tidak perlu gelabah dengan memfitnah UMNO bahawa parti itu sedang membeli ADUN-ADUN untuk menubuhkan kerajaan yang tidak demokratik. \"Sebagai rekod, kerajaan Warisan dibawah pimpinan Datuk Seri Mohd Shafie Apdal sebenarnya tidak demokratik,\" katanya dalam kenyataan di sini pada Jumaat. Sebelum ini, Mohd Aziz menempelak UMNO supaya jangan bermimpi mahu membentuk kerajaan pintu belakang di Sabah melalui usaha membeli wakil rakyat untuk berpaling tadah. Krisis politik Sabah kembali bergegar dan kedudukan Warisan sebagai kerajaan negeri dilihat goyah selepas ada dakwaan bahawa hanya 19 ADUN sahaja yang hadir dalam sebuah sidang media khas bagi menyatakan sokongan terhadap Ketua Menteri ketika ini. Mengulas lanjut, Abdul Aziz berkata, maklum balas yang diberikan selepas isu itu wujud adalah berdasarkan aksi political stunt yang dibuat oleh Timbalan Presiden Pertubuhan Pasok Momogun Kadazandusun Murut Bersatu (UPKO), Datuk Wilfred Madius Tangau. \"Barangkali dia (Mohd Azis) sendiri yang keliru dan gagal menggarap situasi yang sedang berlaku saat ini,\" ujar beliau lagi.'"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "soup = BeautifulSoup(data[-1]['r']['response']['articleBody'], \"lxml\")\n",
    "simple_cleaning(BeautifulSoup(soup.text, 'lxml').text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'original': {'id': 394966,\n",
       "  'title': 'Dari Pantai Remis ke Putrajaya, Nga Kor Ming kini bergelar menteri',\n",
       "  'imageUrl': 'https://img.astroawani.com/2022-12/61670077445_NgaKorMing.jpg',\n",
       "  'type': 'ARTICLE',\n",
       "  'feedUrl': 'dari-pantai-remis-ke-putrajaya-nga-kor-ming-kini-bergelar-menteri-394966',\n",
       "  'description': 'Ahli Parlimen Teluk Intan Nga Kor Ming yang dilantik menganggotai Jemaah Menteri memegang portfolio Menteri Pembangunan Kerajaan Tempatan, bukan nama asing dalam arena politik negara.',\n",
       "  'tags': ['Nga Kor Ming',\n",
       "   'Kabinet baharu',\n",
       "   'Anwar Ibrahim',\n",
       "   'Menteri Pembangunan Kerajaan Tempatan'],\n",
       "  'photos': None,\n",
       "  'primaryCategorySlug': 'politics',\n",
       "  'publishDate': '2022-12-03T14:25:11.000Z',\n",
       "  'duration': None,\n",
       "  'syncedAt': '2022-12-03T14:25:18.491Z',\n",
       "  '_score': None,\n",
       "  'language': 'BM'},\n",
       " 'r': {'responseCode': 200,\n",
       "  'responseMessage': 'Article by Id',\n",
       "  'response': {'id': 394966,\n",
       "   'title': 'Dari Pantai Remis ke Putrajaya, Nga Kor Ming kini bergelar menteri',\n",
       "   'imageUrl': 'https://img.astroawani.com/2022-12/61670077445_NgaKorMing.jpg',\n",
       "   'imageCaption': 'Nga yang memiliki Sarjana Muda Undang-undang Universiti Malaya (UM) LLB (Hons) Mal dan pernah menjadi peguam, dipilih menjadi Ahli Parlimen Taiping dan ADUN Kepayang Ipoh pada 2013. - Gambar fail',\n",
       "   'description': 'Ahli Parlimen Teluk Intan Nga Kor Ming yang dilantik menganggotai Jemaah Menteri memegang portfolio Menteri Pembangunan Kerajaan Tempatan, bukan nama asing dalam arena politik negara.',\n",
       "   'publishDate': '2022-12-03T14:25:11.000Z',\n",
       "   'feedUrl': 'dari-pantai-remis-ke-putrajaya-nga-kor-ming-kini-bergelar-menteri-394966',\n",
       "   'primaryCategorySlug': 'politics',\n",
       "   'articleBody': '&lt;strong&gt;IPOH:&lt;/strong&gt; Ahli Parlimen Teluk Intan Nga Kor Ming yang dilantik menganggotai Jemaah Menteri memegang portfolio Menteri Pembangunan Kerajaan Tempatan, bukan nama asing dalam arena politik negara.&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\nNga, 50, pernah menjadi Ketua Pembangkang Dewan Undangan Negeri (DUN) Perak ketika usianya hanya mencecah 27 tahun selain memegang jawatan Timbalan Speaker Dewan Rakyat selepas Pakatan Harapan memenangi Pilihan Raya Umum ke-14 (PRU14).&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\nMenelusuri karier politiknya, anak kelahiran Kota Bharu, Kelantan itu bermula sebagai Ahli Dewan Undangan Negeri (ADUN) Perak apabila dipilih mewakili Pantai Remis pada 1999 dan mempertahankan kerusi itu pada 2004. Pada tahun yang sama beliau dipilih sebagai Ketua Pemuda DAP Malaysia.&lt;br /&gt;\\r\\n&lt;div class=&quot;embed-prucard&quot;&gt; &lt;div style=&quot;width: 100%;height:300px;&quot;&gt; &lt;iframe scrolling=&quot;no&quot; src=&quot;https://embed.astroawani.com/embed-news-keyword/keyword/kabinet baharu/id/394966&quot; style=&quot;border:none;width:100%;height: 290px;&quot;&gt;&lt;/iframe&gt;&lt;/div&gt;&lt;/div&gt;&lt;br /&gt;\\r\\n&lt;strong&gt;&lt;a href=&quot;https://pulse.astroawani.com/kerajaan-perpaduan&quot; target=&quot;_blank&quot;&gt;DIARI 100 HARI KABINET KERAJAAN PERPADUAN PM ANWAR IBRAHIM&lt;/a&gt;&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\n&lt;a href=&quot;https://www.astroawani.com/berita-malaysia/lapor-langsung-senarai-penuh-kabinet-kerajaan-perpaduan-pm-anwar-394689&quot; target=&quot;_blank&quot;&gt;[LAPOR LANGSUNG] Senarai penuh Kabinet Kerajaan Perpaduan PM Anwar&lt;/a&gt;&lt;/strong&gt;&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\nDipilih menjadi Ahli Parlimen Taiping, ADUN Kawasan Pantai Remis dan dilantik menjadi Ahli Exco kerajaan Negeri Perak sebagai Pengerusi jawatankuasa Kerajaan Tempatan, Perumahan dan Pengangkutan awam pada 2008.&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\nNga yang memiliki Sarjana Muda Undang-undang Universiti Malaya (UM) LLB ( Hons) Mal dan pernah menjadi peguam, dipilih menjadi Ahli Parlimen Taiping dan ADUN Kepayang Ipoh pada 2013.&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\nNaib Pengerusi DAP itu yang pernah mengetuai pasukan debat UM sehingga diangkat menjadi juara pertandingan debat antarabangsa peringkat dunia di Singapura pada 1997, kemudiannya dipilih menjadi Ahli Parlimen Teluk Intan dan ADUN Aulong, Taiping pada 2018.&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\nKejayaannya pada PRU15 sebagai ADUN Kepayang juga memahat pencapaian cemerlang beliau apabila menjadi wakil rakyat paling lama berkhidmat di peringkat DUN Perak iaitu selama enam penggal.&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\nDalam pesanan ringkas kepada Bernama sejurus pengumuman pelantikannya sebagai Menteri Pembangunan Kerajaan Tempatan, Nga berkata kebersamaan rakyat dan kerajaan penting sebagai sebuah pasukan yang kuat serta meletakkan kepentingan negara mengatasi segala-galanya.&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\nPerdana Menteri Datuk Seri Anwar Ibrahim malam tadi mengumumkan pelantikan 28 anggota Jemaah Menteri bagi kerajaan perpaduan termasuk dua timbalan perdana menteri.&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\nSelain Nga, lima lagi anggota Jemaah Menteri dari Perak ialah Perdana Menteri yang memegang jawatan sebagai Menteri Kewangan dari Parlimen Tambun dan Pengerusi Barisan Nasional (BN) Datuk Seri Dr Ahmad Zahid Hamidi yang juga Ahli Parlimen Bagan Datuk yang dilantik sebagai Timbalan Perdana Menteri dan Menteri Kemajuan Desa dan Wilayah.&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\nTurut dilantik ialah Parlimen Batu Gajah V. Sivakumar sebagai Menteri Sumber Manusia, Parlimen Tanjung Malim Chan Lih Kang (Menteri Sains dan Teknologi) dan Menteri Luar Datuk Seri Zambry Abd Kadir.&lt;br /&gt;\\r\\n&lt;br /&gt;\\r\\n-- BERNAMA&lt;br /&gt; &lt;div class=&quot;embed-prucard&quot;&gt; &lt;div style=&quot;width: 100%;height:100px;&quot;&gt; &lt;iframe scrolling=&quot;no&quot; src=&quot;https://embed.astroawani.com/embed-follow/id/394966&quot; style=&quot;border:none;width:100%;height: 100px;&quot;&gt;&lt;/iframe&gt;&lt;/div&gt; &lt;/div&gt;',\n",
       "   'authors': [{'id': 5, 'fullName': 'Bernama'}],\n",
       "   'tags': [{'id': 73086,\n",
       "     'name': 'Nga Kor Ming',\n",
       "     'ArticleTagAwani': {'id': 3520729}},\n",
       "    {'id': 211614,\n",
       "     'name': 'Kabinet Baharu',\n",
       "     'ArticleTagAwani': {'id': 3520730}},\n",
       "    {'id': 501, 'name': 'Anwar Ibrahim', 'ArticleTagAwani': {'id': 3520731}},\n",
       "    {'id': 2517102,\n",
       "     'name': 'Menteri Pembangunan Kerajaan Tempatan',\n",
       "     'ArticleTagAwani': {'id': 3520732}}]}}}"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}