Search engines (text and pictures).ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Як робота Google впливає на відвідування української Вікіпедії"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Серед усіх переглядів сторінок Вікіпедії у жовтні 2016 1.1% відбулись із території України ([джерело](https://stats.wikimedia.org/wikimedia/squids/SquidReportPageViewsPerCountryBreakdownHuge.htm)). Проте на україномовний розділ припало лише 0.3% глобального трафіку ([джерело](https://stats.wikimedia.org/wikimedia/squids/SquidReportPageViewsPerLanguageBreakdown.htm)), тому що більшість українців читають Вікіпедію російською. Цього жовтня російський розділ переглядався з території України у 2.5 разів частіше, ніж український (63.5% проти 25.2%)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "На графіку нижче наведені відсоткові співвідношення відвідування українського і російського розділу Вікіпедії з території України із середини 2009 року до жовтня 2016 (більшість даних за 2014 отримати не вдалось). Видно, що слабка тенденція до збільшення частки переглядів українського розділу, яка спостерігалась до 2015, в останні півтори роки зникла.  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![wiki in Ukraine](https://dl.dropboxusercontent.com/s/p74pnquy93l3zw2/squid_uk_vs_ru_updated.svg.png?dl=0 \"Відвідування статей Вікіпедії з території України\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Більший інтерес українців до російського розділу пояснюється просто: в той час, як українська Вікіпедія недавно перетнула позначку в дві третини мільйона статей (точне число [тут](https://uk.wikipedia.org/wiki/Спеціальна:Статистика)), російська має вже більше 1.3 млн (точне число [тут](https://ru.wikipedia.org/wiki/Служебная:Статистика)). Зважаючи на те, що значна частина жителів України вважає російську рідною мовою (15% тільки російську і 22% російську на рівні з українською [джерело](http://texty.org.ua/pg/article/Oximets/read/72173/Stan_ukrajinskoji_movy_Shhorichnyj_monitoryng_Rosijska_dominuje)), а решта переважно непогано її розуміє, oчевидний вибір повнішого розділу Вікіпедії.\n",
    "\n",
    "Найбільша — англійська — Вікіпедія не становить українській такої конкуренції (у жовтні цього року серед усіх переглядів з території України 9.4% припадають на англійський розділ), через менше володіння мовою і, ймовірно, нестачу глибокого висвітлення «українських» тем."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "З іншого боку, важко сказати, як саме читач робить вибір на користь того чи іншого мовного розділу. Дослідження англійської Вікіпедії показують, що більшість користувачів приходять на її сторінки із пошукових систем (зокрема Google, [джерело](http://ewulczyn.github.io/Wikipedia_Clickstream_Getting_Started/)). Чи можливе таке, що користувачку, яка ввела запит українською, пошуковик спрямує до російського мовного розділу, навіть коли відповідна стаття існує в українському? Наскільки сильно на ймовірність такого сценарію впливають налаштування облікового запису і браузера? Для того, щоб дати (часткову) відповідь на ці питання я провела невеличкий експеримент, результати якого описані нижче."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Посилання на Відкіпедію в результатах пошуку Google"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "Алгоритми Google при прийнятті рішення, якою мовою відображати результати пошуку, беруть до уваги багато факторів: мову запиту (якщо її можливо визначати), локацію користувача, налаштування його облікового запису і браузера, домен вищого рівня (наприклад, google.com.ua чи google.ru). Детальніше можна почитати [тут](https://www.searchenginejournal.com/multilingual-seo-actually-pretty-big-challenge-google-determine-language-query/107871/)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для того, щоб оцінити, як ці чинники впливають на справжній користувацький досвід, я вибрала 70 популярних у жовтні цього року тем\\*, для яких існують статті в українській і російській Вікіпедіях і перевірила порядок відображення посилань на ці статті у результатах пошуку Google. При цьому перевірялись усі можливі комбінації таких факторів:\n",
    "* мова запиту: українська чи російська (крім запитів, які не відрізняються цими мовами, наприклад, *«Гобсек»*)\n",
    "* домен верхнього рівня: google.com.ua чи google.ru\n",
    "* налаштування мови пошуку в обліковому записі: українська, російська чи запит зроблений анонімно\n",
    "* налаштування мови вмісту у браузері: українська, російська чи не налаштована\n",
    "* додавання чи не додавання до запиту слова *«Вікіпедія»* чи *«Википедія»* "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\\*<sup><sub>Список статей отриманий через [Pageview API](https://wikitech.wikimedia.org/wiki/Analytics/PageviewAPI). Брались найпопулярніші сторінки основного простору української і російської Вікіпедій за 26 жовтня (обмеження в один день сталось через помилку).</sub></sup>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Загальне враження про взаємне розташування посилань на українську і російську Вікіпедії у результатах пошуку і вплив на нього перелічених чинників можна скласти із наведених нижче діаграм. По горизонталі відкладене положення посилання на сторінці (остання, одинадцята, колонка&nbsp;- це ті посилання, як не були знайдені на першій сторінці результатів). Розмір «бульбашки» відповідає кількості запитів. Рожевий колір позначає посилання на український розділ, а блакитний&nbsp;— на російський."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"https://dl.dropboxusercontent.com/s/3mdtpqwcmgm5gq6/google_results_priority.svg.png?dl=0\" alt=\"Посилання на українську і російську Вікіпедії у результатах пошуку Google\" style=\"width: 500px;\"/>\n",
    "\n",
    "<img src=\"https://dl.dropboxusercontent.com/s/caqnm202m4tbj5k/google_results_priority_p2.svg.png?dl=0\" alt=\"Посилання на українську і російську Вікіпедії у результатах пошуку Google (частина 2)\" style=\"width: 500px;\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Як видно, посилання на Вікіпедію, чи то українську, чи російську, якщо воно взагалі наявне у результатах, зазвичай має перший або другий пріоритет. Усі фактори мали передбачуваний вплив на розташування посилань, серед них «найвпливовішим» виглядає саме мова пошуку. Цікаво також, що результати для анонімних запитів виглядають майже так само, як і для облікового запису із українськими налаштуваннями (ймовірно, через те, що запити здійснювались з території України)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Слід зазначити, що, хоч вплив домену верхнього рівня був відчутним, його практичне значення мінімальне, оскільки користувачі автоматично перенаправляються на домен країни, в якій вони перебувають. Через це, якщо в Україні хтось і користується google.ru, то це швидше усвідомлене, а не випадкове рішення. Тому я виключила цей чинник із подальшого аналізу."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Дерево рішень, схема якого наведена нижче, побудоване на основі всіх запитів, крім тих, які здійснювались через google.ru, і демонструє вплив різних факторів на взаємне положення посилань на українську і російську Вікіпедії у результатах пошуку."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"https://dl.dropboxusercontent.com/s/m06qoc327urwq5l/search_results_decision_tree.svg.png?dl=0\" style=\"width: 600px;\" alt=\"Дерево рішень\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Отже отримані дані свідчать про те, що при введенні запиту українською (явно чи неявно, як у випадку слів *«Мальта»*, *«Москва»* тощо) читачка має високу ймовірність отримати посилання на українську Вікіпедію вище, ніж на російську (74.0%). Якщо ж виключити запити зроблені із облікового запису із налаштованою російською мовою, то цифра зросте до 89.3%. Єдиний пошуковий термін, для якого навіть при \"максимально українських\" умовах, російська стаття мала вищий пріоритет, був *«Дональд Трамп»*."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Важливість чинників, що визначають пріоритет мови у результатах пошуку"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Розмір впливу досліджуваних чинників на ймовірність отримати посилання на українську Вікіпедію першим у результатах пошуку можна оцінити за допомогою логістичної регресії\\*\\*. Нижче наведена таблиця із коефіцієнтами, з якої видно, що зміна кожного з чинників в «більш українську» сторону має достовірно позитивний вплив на пріоритетність української Вікіпедії. При чому мова запиту і мова облікового запису є важливішими за мову браузера і додавання слова «Вікіпедія» чи «Википедия» у кінці. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\\*\\* Кожна незалежна змінна (чинник) була закодована значеннями: -1 (рос.), 1 (укр.) або 0 (інше), залежна змінна (мова Вікіпедії, посилання на яку з'являється першим) приймає значення 0 (рос.) або 1 (укр.). Псевдо-R<sup>2</sup> моделі становить 0.36."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "|              | coef   | std err | z      | P&gt;|z| | [0.025 | 0.975] |\n",
    "|--------------|--------|---------|--------|----------|--------|--------|\n",
    "| account_lang | 1.6204 | 0.065   | 24.862 | 0.000    | 1.493  | 1.748  |\n",
    "| browser_lang | 0.5639 | 0.055   | 10.297 | 0.000    | 0.457  | 0.671  |\n",
    "| query_lang   | 1.4586 | 0.054   | 27.227 | 0.000    | 1.354  | 1.564  |\n",
    "| wiki         | 0.4161 | 0.054   | 7.689  | 0.000    | 0.310  | 0.522  |\n",
    "| intercept    | 0.1297 | 0.044   | 2.974  | 0.003    | 0.044  | 0.215  |"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Автодоповнення українською і російською мовами"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "Хоч наведені вище результати показують, що на території України користувач, який шукає українською, найбільш ймовірно таки побачить статтю в українській Вікіпедії першою, у використаної методики отримання даних є така собі «сліпа пляма».  Пошукові запити вводились повністю, а не по буквах, відповідно, цілком знехтуваний вплив автодоповнення. Особливості роботи цієї широковикористовуваної функції можуть сильно змінити баланс між українським і російським розділами Вікіпедії. Якщо користувач не звертає особливої уваги на мову підказки, а лише на її значення, то саме підказка визначатиме мову пошукового запиту, і відповідно, матиме значний вплив на результат."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "Функція автодоповнення Google працює на основі поширених запитів, введених іншими користувачами, історії пошуків поточного користувача і ряді інших чинників. Наприклад, береться до уваги геолокація, недавні різкі зміни у популярності тем; із підказок вилучаються деякі терміни, зокрема образливі для окремих категорій людей, пов'язані із піратським чи «дорослим» вмістом тощо."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Я перевірила роботу функції автодоповнення на максимально українських налаштуваннях, попередньо очистивши пошукову історію використовуваного облікового запису. Вибірка тем формувалась так: серед статей, які були популярні у жовтні цього року в українській чи російській Вікіпедії, я відібрала ті, що двома мовами пишуться по-різному, але мають принаймні три перші однакові букви."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Всі запити вводились лише українською мовою і після кожної букви перевірялось, чи серед підказок з'явився очікуваний російський чи український термін. Збігом вважався результат, для якого точно можна визначити мову, і він не місить ніяких додаткових слів. Наприклад, для *«Стус Василь Семенович»* українською підказкою, крім самої назви статті, вважалось *«Стус Василь»*, російські включали *«Cтус Василий Семенович»*, *«Стус Василий Семёнович»* і *«Cтус Василий»*. *«Стус»* не зараховувався ні як збіг українською, ні російською, так само не враховувались такі доповнення як *«Стус вірші»*, *«Стус цитати»* тощо."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Майже в третині випадків російська підказка з'являлась раніше за українську (31.5% ± 4.9%). Така ситуація майже не траплялась серед запитів на українську тематику (таких як *«Луцьк»*, *«Леся Українка»*, *«Герб України»*), натомість була поширена для російських діячів культури чи політиків і для деяких загальних тем (*«фемінізм»*, *«шовінізм»*, *«Сербія»*, *«Мата Харі»*).\n",
    "\n",
    "Жоден російський термін не з'являвся після введення першої букви, а правильні українські доповнення пропонуються одразу ж для: *«знаки зодіаку»*, *«хелловін»*, *«музика»*, *«Україна»*, *«Чернівці»*, *«Однокласники»*."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"https://dl.dropboxusercontent.com/s/mshbe6giqa76eub/autosuggest_comb_3.svg.png?dl=0\" style=\"width: 600px;\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "На графіку не зображені ті запити, для яких правильна підказка жодною мовою так і не з'явилась. До цієї групи, наприклад, належать терміни на тему сексу (*«кунілінгус»*, *«анальний секс»*). З тої ж причини, можливо, не пропонувались автодоповнення для *«членів речення»* і *«членистоногих»* (наслідок так званої [Скантропської проблеми](https://en.wikipedia.org/wiki/Scunthorpe_problem))."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Висновок"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ми знаємо, що частина читачів Вікіпедії з України свідомо робить вибір на користь російського розділу, через його більшу наповненість або з інших причин. Метою цього дослідження було оцінити, як робота найпопулярнішого пошуковика Google впливає на користувацький досвід тих людей, які такого рішення не приймали і використовують у пошуку українську мову. Зібрані дані (на жаль, в досить скромному обсязі) дозволяють показати, що навіть не налаштовуючи свій браузер і обліковий запит Google спеціально, така людина досить рідко бачитиме посилання на російську Вікіпедію вище в результатах пошуку, ніж на українську. З іншого боку, робота функції автодоповнення трохи більш сприятлива для російської Вікіпедії, оскільки навіть при всіх українських налаштуваннях, майже в третині випадків вона підказує спершу російський термін."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Дані"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Дані використані у дослідженні: [1](https://www.dropbox.com/s/6huf0o2yoktwtgq/google_search_results.csv?dl=0), [2](https://www.dropbox.com/s/vi1loadv2u3gdtz/autosuggest_corrected.csv?dl=0). Через зміни у місці й часі результати спостережень можуть не відтворюватись точно, але якщо ви бачите явну помилку, будь ласка, повідомте мені."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Wiki Pageviews 2",
   "language": "python",
   "name": "envname"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}