Возможности:
- Скачивание данных объявлений с ОЛХ по поисковому запросу
- Сохранение данных объявлений в csv формате
- RSS лента для отслеживаия/мониторинга поискового запроса
Документация »
View Demo · Report Bug · Request Feature
Содержание
(в начало)
Верхнеуровнево проект состорит из двух частей:
- backend - состотит из веб приложения и процесса который загружает данные из ОЛХ объявлений
- frontend - предполагает 2 вараинта использования:
- любое приложение поддерживающие RSS протокол. Т.е. начиная RSS клиентами, заканчивая ботами в мессенжерах (пример)
- отправка данных в телеграм бот.
Для установки backend необходимо иметь следующее ПО:
- git
- docker
- docker-compose
- либо на уровне провайдера открыть порт номер 12345 либо с помощью ufw
Работу с frontend рассмотрим на примере RSS клиента QuiteRSS
- Клонирование репозитория
git clone https://github.com/lerdem/olx-parser.git
- Установка поисковых запросов для мониторинга в файле configuration.json (пример конфигурации)
cd olx-parser/ && nano configuration.json
- Сборка и запуск backend
docker-compose up -d --build
(в начало)
Необходимо добавить feed в выбраный вами вариант RSS клиента. Для этого на примере QuiteRSS добавьте feed (через Ctrl+N) ссылку вида http://<ip сервера где установлен backend>:12345/detail-rss
Опциональные параметры:
-
Get параметр tag позволяет создавить feed с объявлениями согластно настроеному tag configuration.json
-
Get параметр sw(сокращение от stop words) позволяет убирать из feed объявления с ненужными улицами(или любыми словами). Например мне не подходят объявления в которых указаны улицы Центральная и Вокзальная, для этого формируем запрос: http://<ip сервера где установлен backend>:12345/detail-rss?sw=Центральная&sw=Вокзальная
(в начало)
- Настройка телеграм бота. В файл environment.ini установить актуальные
TELEGRAM_BOT_TOKEN и CHAT_ID
nano environment.ini
- Запустить телеграм бот.
docker exec -it olx-server python -m ad.telegram_sender &
(в начало)
- Реклама в сообществах аренды жилья
- Сеть каналов по регионам
- Семантическое версионирование
- Добавить скрипт по генерации changelog на базе коммитов
- картинки в base64 (вопрос приватности т.к. загрузка идет с серверов олх)
- размер картинок
- Добавить альтернативу RSS
- Разное время парсинга для разных урлов
- Главная страница с:
- Конфигурацией настроек парсера. Объявлений (из url/form)
- Списком возможных фидов
- Списком вариантов деплоя проекта
- Трансформация введенной урл в rss?
- Сделать хранение csv опциональным
- Разделять base и detail для экономии трафика
- Поиск дубликатов фото объявлений и мошенников
- Бан база по телефону и отзыву пользователей
- Парсинг номеров телефонов
- Поддержка sentry
- Валидация тегов и 404
See the open issues for a full list of proposed features (and known issues).
(в начало)
Причина написания проекта родилась после осознания состояния рынка недвижимости. До развала СССР рынка недвижимости не было, т.к. в СССР жилье было правом и гарантировалось конституцией, получали его не за деньги, а по распределению. Сейчас, в 21 веке, капитализм распространен по большинству стран, следовательно, вместо самореализации в жизни человек вынужден выбирать максимально денежную работу для выплаты ипотеки/аренды недвижимости. И попытка строительства в СССР прогрессивного экономического уклада социализма была призвана решить положение экономического принуждения человека. Все аспекты прогрессивности социализма можно увидеть только сравнивая с капитализмом. Капитализму как экономическому укладу свойственен рынок, посредством него происходит обмен товаров частных собственников. Вопрос появления рынка недвижимости, был вопросом времени, но второстепенным в "лихие 90-е". Первостепенным вопросом был, получение контроля на крупнейшими активами советского времени, т.е. перевод собственности общественной на заводы/шахты/фабрики/земельные участки в собственность частную. После этого передела, вдруг бандиты стали бизнесменами и начались "честные" рыночные отношения(в истории такой процесс называется первичным накоплением капитала). После уже появляются разнообразные рынки товаров и интересующий нас рынок недвижимости.
Конкретно будет рассматриваться аренда жилья, но из дальнейшего изложения можно увидеть сходства с другими рынками. На этом рынке как и на любом другом есть продавец и покупатель у первого товар у второго деньги. У каждого участника свои требования, например продавец ищет кандидатов со "стабильной" работой и региональной пропиской, арендатор ищет вариант недалеко от метро и максимально дешево. Помимо требований бывает еще ряд проблем: мошенники, арестованное жилье, личностные черты характера участников сделки. И вот, чтобы упростить все эти моменты на рынке появляется посредник - риелтор, часть проблем по поиску жилья от берет на себя. Платит за его услуги зачастую покупатель. Продавец здесь имеет более выгодное положение по отношению к покупателю, т.к. он собственник недвижимости и без него сделки не будет. И вроде все логично, хочешь самостоятельно искать недвижимость - будет дешевле, дольше с поиском и согласованием, хочешь через риелтора - будет дороже, возможно быстрее с поиском и урегулирование берет на себя посредник.
Что упускается из этой логичной "картины"? Факторы монополизации рынка и интернет. С развитием рынка менее конкурентных поглощают более конкурентные участники. Т.е. на место множества малых(или одиночных) риелторов, со своими базами недвижимости, приходят меньшее множество фирм предоставляющими риелторские услуги. И здесь риелтор уже просто наемный работник. Базы недвижимости становятся больше и в меньшем количестве рук. И это явление монополизации происходит постоянно, т.к. это свойство рынка. Теперь о другом факторе - интернет. Интернет стал условием для появления новой формы отношений между продавцом и покупателем. Стали появляться интернет магазины, доски объявлений(и ОЛХ который парсим в этом проекте). Теперь проблема поиска недвижимости была сведена к обустройству системы(сайта) с возможностью публикации информации со стороны собственника и инструментами поиска и фильтрации со стороны соискателя. И по началу появление таких сайтов упрощало взаимодействие людей при поиске недвижимости. Но не забываем это рынок и монополисты свой денежный интерес не упустят. Спустя время, доски объявлений станут платными, а объявления о недвижимости преимущественно будут от риелторских фирм. Даже в ситуации когда человек не из их базы решит сдать недвижимость, для этого он разместит объявление на сайтах объявлений, после чего фирмы убеждают человека о необходимости сделки через них.
Итог, процесс монополизации рынка недвижимости в пользу риелторских фирм ставит в безвыходное положение соискателя. Он практически не может отказаться от услуг риелторов. Доски объявлений/сайты в своем рассвете приносящие пользу со временем стали орудием в руках монополистов. С течением развития рынка недвижимости суть риелторской услуги это монопольное владение информацией о продавцах и продажа ее покупателю. И не вся информация продается, а лишь информация про нужный объект недвижимости. Т.е. оплата идет за нечто (информацию) производство которого равно публикации поста в социальной сети. Интернет дает возможность обмениваться информацией бесплатно, но бизнесмены умудряются влезть в обмен и брать плату. Описанный пример показывает паразитическую сущность капитализма в 21 веке.
Этот проект как авада-кедавра бессмертному, монопольное положение собственников риелторских фирм победить он не может. Проект может лишь увеличишь шанс сделать звонок собственнику недвижимости до звонка риелтора.
Что нужно для победы над монополистами вообще? Нужна смена экономического уклада, смена капитализма социализмом. Любые попытки сопротивления антимонопольными законами или написания open source альтернатив, равно борьбе со следствиями. Учитесь, анализируйте, действуйте!
(в начало)
Распространяется под лицензией GPL-3. Детали.
(в начало)
(в начало)
