Геоматрица для новичков

[iprst]

Здесь можно запросить доступ к приложению.

Текущая версия приложения геоматрицы — 0.1.3, проектируется версия 0.1.4

Репозиторий пока приватный, для получения доступа нужно написать комментарий ниже.
Краткая памятка по запуску приложения:

ЗАПУСК ГЕОМАТРИЦЫ

[iprst]

Обновили приложение до версии 0.0.3 (пре-релиз) — теперь с возможностью расчёта резонансов.

[BormoZa]

Здравствуйте! Прочитал в телеграмме, что здесь можно скачать приложение, подскажите как?

[iprst]

@BormoZa Должно было прийти уведомление от репозитория.

[BormoZa]

...я конечно "из-за Урала"... А можно для чайника инструкцию по установке приложения...

[iprst]

А вот тут в памятке начальные сведения:
https://github.com/terratensor/geomatrix/discussions/6

Там же можно задавать вопросы по установке и использованию.

[BormoZa]

Спасибо

[terekon1]

А.П. LLM

[iprst]

Должно было прийти уведомление от репозитория.

[iprst]

Не обновляли новости сюда, но:
— текущая версия приложения 0.1.3
— в процессе разработки версия 0.1.4

Сейчас программа умеет:
— принять данные в формате файла гуглобуса kml с точками;
— строить азимут между поданными точками;
— строить шесть маркеров вероятностей для любой пары точек;
— строить резонансы для любой точки;
— имеет два режима построения геометрии:
[а] рассчитываются все пары из поданных на вход точек (новости известны, ищем вероятности события);
[б] рассчитываются пары каждой точки только с одной специальной точкой (событие известно, ищем маркерные новости).

[Heconsia]

+1

[iprst]

Должно было прийти уведомление от репозитория.

[cccp-1922]

Товарищи, доброго времени суток!
Очень обрадовался когда наткнулся на ваш проект. Пробежался по темам - то, что вы делаете здорово!
Перейду сразу к делу. ФКТ требуется сервис для сборки новостей с определённых новостных сайтов, их фильтрации и отправки в текстовом формате в виде списка (сайт-заголовок-дата-текст) на электронку. Я, как немного разбирающийся в программировании взялся за реализацию. Начал писать на Яве, поскольку имею достаточный опыт работы с этой платформой. Нашёл соответсвующие парзеры, кое что дописал и подправил, чтобы получать и интерпретировать информацию с RSS каналов и из содержания каналов в формате HTML. Но столкнулся с проблемой, что некоторые сайты не отдают содержание, а посылают лесом, на 403 или куда подальше. В частности это относится к сайту МИДа. У вас наверняка тоже возникали подобные сложности. Если можете, то поделитесь пожалуйста информацией. Должен сказать, что я физически нахожусь в Германии, может быть это как-то влияет на ответы сайта. Пробовал и через VPN - ничего не меняется. Хотя в обычном браузере страницы загружаются без проблем. Подумал воспользоваться вашим сервисом, но прежде чем что-то кодировать решил спросить, не сможете ли вы в своём сервисе реализовать дополнительно RSS-каналы. Это один вариант. Наверняка возможны и другие. Я в своей практике мало занимался сервисами на базе HTTP, как раз тем, где вы, похоже, хорошо разбираетесь.
Буду рад любой помощи и поддержке.

[audetv]

На сайты МИД, Кремля и МО нельзя отправлять много запросов в секунду. Нельзя парсить в несколько потоков. Про местоположению по IP не знаю, но такая блокировка возможна, в этом нет ничего сложного. Надо ставить правильное, нейтральное имя User-Agent, множество готовых парсеров из разных библиотек, наверняка в черном списке и блокируются. Потестировать можно, например, через Postaman, установить и отправить тестовые запросы на интересующий сайт. По опыту, нельзя часто ходить за изменениями на сайты, делать это надо редко, например, один раз в несколько часов. Между запросами к страницам новостей делать большие паузы, до минуты. RSS ленты почти никогда не отдают тело новости, за текстом новости надо ходить отдельно, исключение — сайт Кремля. В запросах за текстом новости надо соблюдать те же правила. Не нагружать запросами сервера. Не делать параллельные запросы, за это 100% будет бан, сработает автоматика, и если пользователь настойчиво продолжает, выписывают бан по ip. Периодически сайты включают повышенный режим защиты, это связано с различными событиями и ДДОС атаками, в такие дни, имеет смысл, не беспокоить лишними запросами сайты и не отправлять запросы. Мне не удалось найти правил в свободном доступе, как парсить новости с этих сайтов, поэтому все что выше изложено является предположением. Вообще в деле сбора новостей самая затратная часть это установление правильной периодичности обращения к сайту, на это уходит много времени, надо мониторить и реагировать, если пошли обрывы соединения.

У нас есть сайт https://feed.svodd.ru/ но у него, нет задачи быстрой доставки контента пользователю, он не является новостным сайтом, это сайт для поиска публикаций. На нем собраны текущие публикации и архивы прошлых лет и по этим архивам можно производить поиск. Работаем в режиме редкого опроса сайтов. Но у нас есть RSS лента, которая отдает новости за последние 7 дней с заголовками и с полным текстом новости. Можно подключить к любому RRS ридеру или настроить прямо в почте. Но сейчас есть особенность, ссылкой на источник указан сайт feed.svodd.ru. 
https://rss.feed.svodd.ru/rss.xml
Контент в ленте обновляется примерно один раз в два часа. Файл ленты обновляется каждые 5 минут. По поводу сайта источника новости: при необходимости можно добавить ссылку и на сайт источник новости в ленту, это не является какой-то неразрешимой задачей, нужен сигнал, запрос, issue.

[cccp-1922]

Ребят, спасибо за разъяснения и советы, буду по мере необходимости пользоваться. Да, я походил по вашему сайту (https://feed.svodd.ru) и видел ленты новостей. В общем-то могу этим содержанием пользоваться.
Попробую распарзить ленты. Здорово, что есть RSS канал, жаль только, что он общий для всех сайтов.

Думаю поставить ваш движок у себя, поиграться с ним и попробовать расширить конфигурацию.
Подскажите, пожалуйста как его установить на линукс. Там он в контейнер устанавливается, но я пока не разобрался как - с docker-ом ешё не работал. Может у вас есть коротенькая инструкция?

[audetv]

@cccp-1922 добавлены RSS каналы для каждого источника.
terratensor/feed-parser#58

[cccp-1922]

@cccp-1922 добавлены RSS каналы для каждого источника. terratensor/feed-parser#58

Отлично! Проверил, работает. Спасибо!