RU

Airbnb парсер

Что делает:

Парсер данных сайта Airbnb на python библиотеках Beautiful Soup 4 и Selenium. Собранные данные размещает в реляционной базе данных PostgreSQL. Так же задумана аналитика данных.

Deploy и Запуск:

1. Клонировать репозиторий.

2. Создать в корневой папке и в корне папки app файл .env заполнить его по аналогии с файлом example-env, т. е. придумать имя пользователя и пароль базы данных, токен телеграм. Так же, нужно изменить имя файла "pg_hba.conf-ex" на имя - "pg_hba.conf". Этот файл запрещает доступ к базе акромя локали.

3. Собираем Docker-compose up --build. После того, как убедимся, что все собралось и запускаются все контейнеры исправно, можно все снова завершить Docker-compose down.

4. nohup bash ./cycle_docker.sh - Запускаем скрипт так, что бы он незавершался при выходе из удаленного ssh на сервере. Скрипт перезагружает контейнеры каждые 30 минут, для надежности. При перезагрузке сервера, процесс killed.

Примеры:

Пример окна бота:

Сайт Airbnb "кусается". При длительном парсинге страниц, блокируется доступ к сайту. Решилось автоматическим удалением и созданием новых профилей браузера.

Логика работы приложений

1. Контейнер PostgreSQL - асинхронная база.

2. Контейнер Телеграмм бота - бот, который обращаясь к базе, формирует отчеты в EXEL и выдает статистику.

3. Контейнер Парсер списков - приложение, которое парсит списки объектов (id, url) заносит в базу. Используя вилку цены от 10$ до 16 000$ с разбегом в 1$ (выдача поисковой страницы выдает только 15 вкладок). Причем, находя в списке объекты, которые уже были в базе, он оставляет в таблице базы пометку, для парсера объектов, которая означает, что нужно обновить данные объекта. Парсер объектов, обновив его отдельно, гасит пометку, которая сброситься, после прогона всего цикла парсера списков. Это коротко.

В качестве главного идентификатора в базе выбран id объекта, так же как и на сайте Airbnb и Airdna. Приложение независимо. Автоматически очищаеет профиля в целях защиты от блокировки сайтом. Приложение сохраняет вилку цен. Таким образом, при непредвиденной остановке, парсер продолжит свою работу с того же места, на котором и остановился.

4. Контейнер Парсер объектов - это тоже самостоятельное приложение. Оно обращается к базе данных. забирает установленное колличество записей (задается переменной, например 10 штук) id и url. При этом, оно забирает те, которые помечены как не пройденые, так же, помеченные как не занятые.

Забрав эти данные, парсер тут же раставляет этим id флаг - заняты. Сделанно это для того, что бы другие парсеры (можно добавлять много парсеров объектов для скорости работы) не брали их в свою работу.

Парсер обходит каждый объект, забирает необходимые данные и вносит их в отдельную таблицу базы данных Airbnb. При этом вносит в эту таблицу id и url которые только что забрал для парсинга, тем самым дублируя их в этой таблице, для последующего уменьшения запросов к таблицам.

Собрав данные с забраных id, парсер переписывает флаги айдишников - не заняты, так же устанавливает флаг - пройдены. И берет следующую партию id.

Парсер работает автоматически. Если вдруг в базе Id нет свободных записей для обхода, парсер берет простой в 5 минут и пробует снова и так по кругу.

Какие улучшения в перспективе парсера вижу я

• aiogram

• 2 парсера по спискам. Один оходит только ценновые вилки где почти нету недвиги - это долго, но все же нужно, пусть копает. Второй по вилке где основная недвига, где можно натыкаться на все новые объекты, ввиду алгоритма сайта.

• Отдельное логирование приложений, которые можно скачать и посмотреть с бота.

• Контроль входящих пользователей телеграмм бота, блокирования одних и предоставление админ доступа другим.

• Автоматический бекап базы и по запросу из меню бота с возможностью скачать на телефон, примерно 5 мгб. Можно так же попробовать сделать восстановление базы из файла в телеграмм (у меня в чат боте такое работает). А можно просто через скрипт .sh bash, что бы он делал бекап сам каждые пол часа, оставляя последние 3 файла, остальные удалять.

• Сделать более простое изменение html классов и тегов, которые возможно будут меняться со временем, для упрощения работы в долгосрок.

• Кнопки принудительного сброса флагов переобхода списков и обнуления вилки $.