Civil Society Research Lab

Aim

The CSRLab is a data-driven research project for the Russian civil society online communication practices.

Mission: evaluating of communicative capacity of the Russian-language third sector and establishing best communicative practices. The communicative capacity indicates the organization’s ability to undertake work aimed at conveying the most important information to beneficiaries, donors, and society at large (especially if the organization engages in advocacy work).

The CSRLab focuses on the online communications of the third-sector via their websites and social media. We investigate both officially established organizations (registered by Russian authorities as a non-commercial organization) and non-registered communities of activists and their organistaions. Examples of the later communities is anti-war and humanitarian movements that multiplied across Russia and abroad after Russia invaded Ukraine in Februrary 2022.

Data

Non-reactive data collected by means of web scrapping and through APIs. The use of non-reactive data is a principle demand for us, an effort to overcome the limitations of previous studies that used biased samples or self-survey data. By collecting and analyzing data in house, we try to avoid subjective assessments made by NGO representatives.

By August 2022 our sample contains 13k+ 🔥 organizations and communities (both legally registered in Russia and not-registered legally anywhere).

This repository contains data collected by the CSRLab, scripts for data mining and transformation, and infographics. Narrative reports (in Russian) on data gathering and processing are published on the Lab website - lab.te-st.ru. English short version of reports are present on github pages.

folder	content
data	data collected on websites and domain names, Russian including company register data, WCAG and speedtests, SEO tests, whois check
notebooks	research journaling
source-code	scripts for data mining and processing
plots	infographics
Skillfactory x Teplitsa Lab	datasets collected for Skillfactory hackathon

Methods used

• data scraping, processing and cleansing
• descriptive statistics
• inferential statistics
• social network analysis
• data visualization

Technologies

• python
• pandas, jupyter
• plotly, seaborn, gephi
• MongoDB
• OpenRefine

Civil Society Research Lab is the project of "Teplitsa. Technologies for Social Good" established in 2021.

---

Лаборатория исследований гражданского общества

Цель

Лаборатория - исследовательский проект, основанный на данных, созданный для изучения коммуникативной способности (потенциала) российского гражданского общества.

Миссия: оценка коммуникативной способности русскоязычных НКО и групп активистов, не имеющих государственной регистрации, и выявление лучших практик онлайн-коммуникации. Под коммуникативным потенциалом организации мы понимаем способность организации совершать работу, направленную на передачу благополучателям, донорам и обществу в целом (особенно если организация ведет адвокационную работу) наиболее важной и существенной информации.

Лаборатория сосредочила свое внимание на онлайн-коммуникациях НКО, которые они осуществляют через свои сайты и социальные сети. Мы исследуем как зарегистрированные российскими госорганами организации (формы некоммерческих организаций согласно ОКОПФ), так и сообщества активистов и их структуры, которые не имеют регистрации. Большое количество таких сообществ появилось в России и за рубежом (диаспоральные сообщества) после вооруженного вторжения России в Украину в феврале 2022 года, однако незарегистрированные сообщества существовали и ранее, так как регистрация НКО в России очень сложна, а некоторые не могли бы получить регистрацию и осуществлять свою деятельность из-за препон со стороны государства.

Данные

Нереактивные данные собранные методами веб-скрейпинга или полученные через API. Принципиально важным для нас является использование нереактивных данных. Таким образом мы надеемся избежать ограничений, существовавших в других российских и зарубежных исследованиях гражданского сектора, основанных на необъективных смещенных выборках и опросных данных. Собирая и анализируя данные самостоятельно, мы планируем уйти от субъективных оценок, сделанных представителями НКО, участвующими в соответствующих опросах.

На август 2022 года в нашей выборке представлены более 13 тысяч организаций и незарегистрированных объединений активистов 🔥

Данный репозиторий содержит данные, собранные Лабораторией, скрипты для сбора и обработки данных, диаграммы. Нарративные отчеты о работе (сборе, обработке данных) на русском языке представлены на сайте Лаборатории - lab.te-st.ru. Краткие описания на английском представлены на github pages.

папка	содержимое
data	собранные данные о вебсайтах, включая данные ЕГРЮЛ, тестов скорости загрузки и WCAG, speedtests, SEO tests, whois
notebooks	журналы исследований
source-code	скрипты для скачивания и преобразования данных
plots	графики
Skillfactory x Teplitsa Lab	данные собранные во время хакатона Skillfactory

Методы

• скрейпинг, предобработка и очстка данных
• описательная статистика
• статистический вывод
• анализ социальных сетей
• визуализация данных

Инструменты

• python
• pandas, jupyter
• plotly, seaborn, gephi
• MongoDB
• OpenRefine

Лаборатория исследований гражданского общества - проект «Теплицы социальных технологий», созданный в 2021 году.