В общем прежде чем мы перейдем непосредственно к мануалу сделаю не большое разъяснение об актуальности текущих дел на фронте черного SEO и Xrumerа. Данное чтиво как и мануал подойдет и новичкам и олдфагам.
На текущий момент какую бы вы базу не собрали она будет жить не более 6 месяцев, причем этот срок нереально оптимистичный, из моего опыта 2-3 месяца и 50% базы нет. Не говоря уже о многих важных параметрах, а на сбор нормальной базы уходит неадекватное количество времени, причем из текущих инструментов для анализа баз с натяжкой их можно назвать нормальной. Просто из кучи хлама мы стараемся собирать тот хлам который пробивается. На мой взгляд собрать базу по одной тематике уже на грани невозможного, за годы форумы задолбили так что все лавки перекрыты и процедура постинга стала настолько сложная что теперь не целесообразна впринципе исходя из формулы [u]время=профит[/u].
Приведу пример, ровно год назад я делал обновления мода под Bitrix у меня было около ~2к актив линков с него, на днях я думал его обновить но открыв свои базы я понял что нет у нас больше Битрикса и заморачиватся под обновление уже бессмысленно. Часть сайтов тупо истекло, часть убита спамерами у остальных реги закрыты. Ради 300 ссылок не хотелось бы тратить пару недель жизни на отлов багов и поиска баз, очевидно что новых сайтов на битриксе много за это время явно не стало.
В общем возник вопрос, как получать профит от ссылочного когда тут такая анархия. Хрумер просто постит куда видит, что ему дашь то и скушает. А будут ли там корейские сайты или пост где 60 000 комментов уже не важно.
В итоге возникла идея сделать автоматический чекер ресурсов которые уже пробил хрумер.
Какая информация нам нужна чтоб отфильтровать хлам:
- Уровень домена (.com - 1, domain.com - 2, login.domain.com - 3)
- Язык сайта из html[lang=name_lang]
- Параметры robots внутри страницы из meta[name=robots]
- Title и Description сайта (посмотреть можно ли постить свой)
- h1 проверка возможности генерации своего h1 на странице
- проверка ссылок на nofollow / dofollow
- Яндекс Икс
- С рекапчей сайт или нет (все что без рекапчи можно считать мусором)
- Возможность вытащить имя пользователя и пароль под которыми мы зарегались на ресурсе (чтоб потом не регать дважды)
А также:
- Фильтрация по размеру страницы, голый html код у здорового сайта не может весить больше 100кб (100кб это даже дофига), если отметка выше 100кб страница скриптом не обрабатывается ибо логично что это заспамленный хлам который нам не нужен.
- Фильтрация по уровню доменов, ибо доменов privet.domain.com и.т.д можно сделать сотни тысяч и они откровенный шлак. Также Яндекс Икс и прочи параметры мы никогда не узнаем т.к как они берутся с 2-го уровня.
- Поддержка базы данных для быстрой выборки нужных данных, никаких csv и txt фаилов. Если вы работайте с данными, а тут все с ними работают вы обязаны базово владеть любой СуБД. В моем случае это просто mysql.
- Возможность чекать базы на лету во время работы хрумера. Ибо вначале прогоняем потом ещё чекаем БД пол дня. Зачем? Если можно сразу.
Побочные эффекты при разработке: Кто решил парсить Яндекс.Икс знают что с данными напряжно но данные ИКСа можно вытащить с картинки непосредственно через Xevil. Ассинхронных библиотек на PHP я ненашел так-что почти сам сделал собственную, теперь можно массово решать капчи или как в нашем случае цифорки с Яндекс Икс через Xevil, решает довольно шустро.
Вроде не словах все просто, а не деле не очень. Более 100 часов я на это точно угрохал, код не особо сложный а вот нюансов масса и все нужно учитывать и тестировать.
А зачем это все? Сейчас объясню. Самое главное это время, тут большая часть форума в тупую гоняют хрумер по заоблачным базам в десятки миллионов а выхлопа не получают вообще. О фильтрах ПС за ссылочный уже давно ничего не слышал, но и толку от такого ссылочного нет. В актуале у многих как, прогнал большую базу -> получил успешные -> чутка побаловался анализатором по мелочи -> гоняем опять базу после анализатора пока все ссылки там в тыкву не превратятся. Смотрим в вебмастере пару тысяч ссылок а сайт в одном забытом богом месте. Думаю почему мне уже объяснять не придется.
На текущий момент собрать 500 нормальных актив линков с dofollow то ещё дело причем из этих ссылок без сервисов ahrefs узнать принесут ли они вообще профит мы явно не узнаем, но т.к сказать в любом случае он будет.
Итак суть такая, с каждым годом ситуация с этим делом хуже и всем кто серьезно подходит к делу и хочет зарабатывать монетки прошу приступать к строительству PBN сетки. Дропов искать сложно, муторно, дорого. А причем тут хрумер?
- Регаем домен
- Делаем сайт (без доргенчегов), какойнить WP или купите на форуме уникальный сайт за 1-2к рублей. В котором будет уникальный текст и страниц 20 контента. (Это так сказать сайт на минималках)
- Заводим хрумер и гоняем этот сайт по нормальным базам.
- Ждем. И получаем нормальный такой саттелит с ссылочным весом.
- На этот саттелит пилим ссылки на ваш сайт который вы будете двигать, или же продаем этот саттелит (а его заберут сразу за более менее норм сумму денег).
Если ставить процесс на поток, можно не плохо так сделать сеть своих сайтов для движения чего угодно, либо конвеер по созданию уже продвинутых сайтов. Если грамотно уметь то за 100$ на том-же telderi их будут забирать. Схема не простая, а кому нынче легко...
Либо вы можете продавать ссылки со своих саттелитов на биржах, но тут уже по деньгам я ничего не скажу.
Почему не стоит двигать свои белые проекты Хрумером. Вот вы собрали хорошую базу на 500 линков, прогнали и получили профит. Ваш сайт вышел в топ, прошло пол года половина сайтов крякнулась как и ваш сайт в топе. А потом выковыривать его по той-же схеме может и не получится. (плавали знаем).
Настойка скрипта: Нам нужно: php 5.6, возможно на версиях 7.x будут не критичные ошибки но работать должно. Mysql 5.x версий.
Все это можно скачать в одном флаконе https://ospanel.io/download/ качаем версию Basic Бонусом получим вебсервер и удобную консоль под win.
Если у вас уже есть вебсервер на сервере с хрумером, то устанавливать это не обязательно. Также скрипт можно запускать на другом железе, но нужно дать доступ к фаилам отчета хрумера в открытую сеть чтоб скрипт их мог загружать.
Сам скрипт: https://github.com/Desed/XrumerCombine
На гите он будет периодически обновляться если будут обнаружены новые баги. Так-что следим.
Запускать нам нужно фаил main_config.php через консоль а не браузер. Перед запуском, открываем и редактируем конфиг, все параметры подписаны так-что дублировать сюда бессмысленно.
Собственно видео настройки:https://www.youtube.com/watch?v=4z70yJluAkQ