Семинары/4. Проект.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Собери корпус из газет\n",
    "\n",
    "## Про проект\n",
    "Итак, уже скоро мы завершаем марафон \"Собери корпус из газет\". Через 2 недели, 7-го октября (в 23:59), в репозитории должен лежать готовый код, который умеет делать всё, что перечислено ниже, а также в файле Readme.md в папке с проектом должна находиться ссылка на скачанные и обработанные файлы вашей газеты, лежащие **одним архивом** на Яндекс.Диске, Google Drive, Облаке@Мэйл.ру или на чём угодно подобном (но, пожалуйста, не надо заливать эти архивы на гитхаб).\n",
    "\n",
    "При этом \n",
    "\n",
    "1. Общий объём скачанных текстов должен быть не меньше 100 тыс. слов. \n",
    "2. В именах файлов не должно быть не-ascii символов (убираем их из url - [stackoverflow](https://stackoverflow.com/questions/4389572/how-to-fetch-a-non-ascii-url-with-python-urlopen)).\n",
    "3. Структура каталогов, в которых хранятся файлы, должна быть следующей: корень/год/месяц/файлы с материалами за этот месяц\n",
    "4. В корне также должна лежать csv-таблица с такими полями (разделитель - знак табуляции):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "path\tauthor\tsex\tbirthday\theader\tcreated\tsphere\tgenre_fi\ttype\ttopic\tchronotop\tstyle\taudience_age\taudience_level\taudience_size\tsource\tpublication\tpublisher\tpubl_year\tmedium\tcountry\tregion\tlanguage"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Имена полей означают следующее:\n",
    "\n",
    "**path** -- это путь к чистому неразмеченному файлу со статьёй, <br>\n",
    "**author** -- имя автора, если его можно достать со страницы (и вообще если оно есть),<br>\n",
    "**sex** -- поле оставить пустым,<br>\n",
    "**birthday** -- оставить пустым<br>\n",
    "**header** -- название статьи<br>\n",
    "**created** -- дата в формате 07.01.2012 (день.месяц.год)<br>\n",
    "**sphere** -- слово \"публицистика\"<br>\n",
    "**genre_fi** -- оставить пустым<br>\n",
    "**type** -- оставить пустым<br>\n",
    "**topic** -- категория, если мы её можем найти на странице со статьёй<br>\n",
    "**chronotop** -- оставить пустым<br>\n",
    "**style** -- слово \"нейтральный\"<br>\n",
    "**audience_age** -- слово \"н-возраст\"<br>\n",
    "**audience_level** -- слово \"н-уровень\"<br>\n",
    "**audience_size** -- \"районная\", если газета районная, \"республиканская\", если газета республиканская, \"городская\" -- если городская<br>\n",
    "**source** -- URL, откуда статья была скачана<br>\n",
    "**publication** -- название газеты<br>\n",
    "**publisher** -- оставить пустой<br>\n",
    "**publ_year** -- год публикации<br>\n",
    "**medium** -- слово \"газета\"<br>\n",
    "**country** -- слово \"Россия\"<br>\n",
    "**region** -- Название региона, откуда ваша газета<br>\n",
    "**language** -- слово \"ru\"<br>\n",
    "\n",
    "Таким образом, со страницы со статьей нужно еще извлечь, если возможно, имя автора, дату публикации, название публикации, приписанные категории.\n",
    "\n",
    "Кроме того, коллекция текстов с сайта газеты должна быть представлена в трёх видах (каждый вид в отдельной папке):\n",
    "\n",
    "1. Неразмеченный текст. \n",
    "\n",
    "    В нём перед текстом должны быть такие строки (после собаки и примыкающего к ней слова через пробел нужно написать релевантную информацию):\n",
    "\n",
    "    @au имя автора (если автора нет, пишем Noname)<br>\n",
    "    @ti Название статьи<br>\n",
    "    @da дата в формате 12.02.2012<br>\n",
    "    @topic категория, если мы её можем найти на странице со статьёй<br>\n",
    "    @url URL, откуда мы скачали страницу<br><br>\n",
    "\n",
    "2. Размеченный mystem текст в формате XML\n",
    "\n",
    "3. Размеченный mystem текст в формате plain text\n",
    "\n",
    "\n",
    "Соответственно, сама программа (в одном или в нескольких файлах) должна уметь:\n",
    "\n",
    "1. Скачивать страницы с выбранного сайта, обходя его по принципу краулера. При этом программа не должна заходить на одни и те же страницы несколько раз.\n",
    "2. Извлекать со страниц информацию для метатаблицы (если она доступна) и сам текст.\n",
    "3. Раскладывать скачанные тексты по папкам.\n",
    "4. Вызывать mystem и делать морфологическую разметку текста (таким образом, чтобы каждому слову была присвоена информация о лемме и грамматическая информация с учётом контекстно снятой омонимии).\n",
    "\n",
    "\n",
    "## Про каталог еще раз\n",
    "\n",
    "Каталог должен выглядеть вот так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "📂газета\n",
    "|\n",
    "|____ metadata.csv\n",
    "|\n",
    "|____📂plain\n",
    "|    |\n",
    "|    |____📂2016\n",
    "|    |    |\n",
    "|    |    |____📂1\n",
    "|    |    |    |\n",
    "|    |    |    |____ статья1.txt\n",
    "|    |    |    |\n",
    "|    |    |    |____ статья2.txt\n",
    "|    |    |\n",
    "|    |    |____📁2\n",
    "|    |\n",
    "|    |____📁2015\n",
    "|\n",
    "|____📂mystem-xml<br>\n",
    "|    |\n",
    "|    |____📂2016\n",
    "|    |    |\n",
    "|    |    |____📂1\n",
    "|    |    |    |\n",
    "|    |    |    |____ статья1.xml\n",
    "|    |    |    |\n",
    "|    |    |    |____ статья2.xml\n",
    "|    |    |\n",
    "|    |    |____📁2\n",
    "|    |\n",
    "|    |____📁2015\n",
    "|\n",
    "|____📂mystem-plain\n",
    "     |\n",
    "     |____📂2016\n",
    "     |    |\n",
    "     |    |____📂1\n",
    "     |    |    |\n",
    "     |    |    |____ статья1.txt\n",
    "     |    |    |\n",
    "     |    |    |____ статья2.txt\n",
    "     |    |\n",
    "     |    |____📁2\n",
    "     |\n",
    "     |____📁2015"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Про устройство программы\n",
    "\n",
    "Подумаем, как может быть устроена ваша программа.\n",
    "\n",
    "**Путь первый** \n",
    "\n",
    "Для каждой задачи написать отдельную функцию. Написать главную функцию, которая запускает программу.\n",
    "\n",
    "\n",
    "**Путь второй**\n",
    "\n",
    "Можно для каждой логической группы функций создать отдельный файл, например, файл для функций, работающих с майстемом, файл для функций, выкачивающих газетные страницы и т.д. Создать главный файл, в котором прописана основная логика программы. В этот главный файл импортируются все остальные функции.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Про папки\n",
    "\n",
    "Вспомним, как на питоне работать с папками. Для этого используется модуль `os`.\n",
    "\n",
    "Создать папку:  `os.mkdir(dirname)` или `os.makedirs(dirname)`. `mkdir` создает директорию и вызывает ошибку, если она существует. `makedirs` создает директории и все несуществующие директории в указанном пути (например, если в `dirname` указан путь `./dir1/dir2/dir3`, и при этом dir1 и dir2 не существуют, то функция их создаст).\n",
    "    \n",
    "Проверить, существует ли папка: `os.path.exists(dirname)` (возвращает `True` или `False`).\n",
    "Пройтись по каталогу: `os.walk(dirname)`.\n",
    "\n",
    "Вот такой маленький сниппет, возможно, вам пригодится:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import os\n",
    "\n",
    "if not os.path.exists(directory):\n",
    "    os.makedirs(directory)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Как просто вставить куски строки в шаблон\n",
    "\n",
    "Для такого форматирования можно использовать оператор %. \n",
    "\n",
    "`%s` в строке значит, что в это место вставится строка. `%d` значит, что в это место вставится число. Эти последовательности пишутся в том месте строки, куда нужно что-то вставить. \n",
    "\n",
    "После строки пишется знак `%` и затем кортеж (в круглых скобочках) из элементов, которые нужно вставить:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "тут ссылка\tПетя\t\t\tНазвание статьи\t26.09.2016\tпублицистика\t\t\tобразование\t\tнейтральный\tн-возраст\tн-уровень\tрайонная(если районная)\turl\tназвание газеты\t\t2016\tгазета\tРоссия\tкакой-то регион\tru\n"
     ]
    }
   ],
   "source": [
    "row = '%s\\t%s\\t\\t\\t%s\\t%s\\tпублицистика\\t\\t\\t%s\\t\\tнейтральный\\tн-возраст\\tн-уровень\\tрайонная(если районная)\\t%s\\tназвание газеты\\t\\t%s\\tгазета\\tРоссия\\tкакой-то регион\\tru'\n",
    "\n",
    "print(row % ('тут ссылка', 'Петя', 'Название статьи', '26.09.2016', 'образование', 'url', '2016'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "тут другая ссылка\tАвтор\t\t\tДругая статья\t27.09.2016\tпублицистика\t\t\tспорт\t\tнейтральный\tн-возраст\tн-уровень\tрайонная(если районная)\turl2\tназвание газеты\t\t2016\tгазета\tРоссия\tкакой-то регион\tru\n"
     ]
    }
   ],
   "source": [
    "print(row % ('тут другая ссылка', 'Автор', 'Другая статья', '27.09.2016', 'спорт', 'url2', '2016'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Задания\n",
    "\n",
    "\n",
    "### Задание 1\n",
    "\n",
    "Придумать любой словарь, например, Страна -> (столица, население) или Имя -> (город проживания, возраст).\n",
    "\n",
    "Распечатать словарь, используя форматирование с %.\n",
    "\n",
    "\n",
    "### Задание 2\n",
    "\n",
    "Для каждого элемента словаря из задания 1 создать папку. Внутри этой папки создать файл, в котором будет записано значение соответствующего элемента в словаре.\n",
    "\n",
    "Например, у вас есть в словаре Россия -> (Москва, 7000000). Тогда нужно создать папку \"Россия\", а в ней файл с любым названием, содержащий запись \"Москва, 7000000\".\n",
    "\n",
    "\n",
    "### Задание 3\n",
    "\n",
    "Вспомните адрес сайта своей газеты. =В \n",
    "\n",
    "Напишите программу, которая извлекает со страницы газетной статьи метаданные: \n",
    "\n",
    "1. Название статьи\n",
    "2. Имя автора (если указано)\n",
    "3. Дату публикации\n",
    "4. Категории (если есть)\n",
    "\n",
    "Для начала можно скачать html-код какой-то статьи и попробовать вытаскивать информацию из него. А потом убедитесь, что программа не падает на разных статьях."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3.0
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.4.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}