Skip to content

Парсер для Вконтакте, позволяющий собирать различные данные сети и анализировать их. Может собирать информацию о пользователях, группах, друзьях, подписчиках, находить самые популярные посты по числу комментириев и лайков. Позволяет визуализировать и анализировать полученную сеть людей как социальный граф используя методы из теории графов.

Notifications You must be signed in to change notification settings

kdv13kd/JustParser-VK

Repository files navigation

JustParser-VK

Парсер для социальной сети Вконтакте, позволяющий собирать различные данные из сети и анализировать их. Программа позволяет собирать информацию о пользователях, группах, собирать друзей, подписчиков, находить самые комментируемые посты и посты с наибольшим количеством лайков. Позволяет визуализировать полученную сеть людей в виде социальных графов и анализировать по некоторым метрикам из теории графов.

Программа обладает следующими возможностями: – сбор персональной информации о пользователе, его друзьях и сообществах, в которых он состоит; – сбор информации о группе, ее участниках и активности, выраженной в виде количества лайков и комментариев; – анализ лайков и комментариев с целью выявления наиболее активных пользователей в группе и наиболее интересных для участников постов; – анализ участников группы и друзей пользователя при помощи методов анализа социальных сетей и методов из теории графов с целью выявления наиболее влиятельных и коммуникабельных пользователей; – визуализация результатов анализа при помощи социального графа; – наличие удобного и понятного графического интерфейса пользователя.

Добыча данных осуществляется в программе двумя способами: часть функционала работает с API VK, другая часть - с веб-скрапингом, то есть достает данные, работая с кодом html страницы.

Анализ социального графа в данной программе представляет собой вычисление определенных метрик, значения которых могли бы охарактеризовать граф в целом, а также сказать о наиболее влиятельных пользователях сети и наиболее сплоченных. Вычисляются следующие значения: общая информация, такая как тип графа, количество вершин и ребер, средняя степень, радиус, центр, диаметр, транзитивность, средний коэффициент кластеризации, количество клик, связность графа, количество связных компонентов; значения, которые могли бы сказать о влиятельных и сплоченных узлах, такие как PageRank, коэффициент кластеризации, триадическое закрытие, доминирующее множество.

Программа разрабатывалась и тестировалась весной-летом 2018 года и с тех пор не обновлялась, поэтому вероятно часть функционала требует обновления и доработки на данный момент в связи с обновлениями самого VK API и пакетов, используемых в программе.

About

Парсер для Вконтакте, позволяющий собирать различные данные сети и анализировать их. Может собирать информацию о пользователях, группах, друзьях, подписчиках, находить самые популярные посты по числу комментириев и лайков. Позволяет визуализировать и анализировать полученную сеть людей как социальный граф используя методы из теории графов.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages