Skip to content

ViyChel/job4j_grabber

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

16 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Проект - Grabber

Build Status

Описание

Проект представляет собой парсер вакансий. Парсинг вакансий осуществляется с сайта: https://www.sql.ru/. Распарсенные вакансии сохраняются в БД PostgreSQL.

Система запускается по расписанию, (данная функция реализована с помощью планировщика заданий Quartz), т. е. по истечению каждого периода запуска парсятся 5 страницы сайта вакансий и с помощью JDBC складируются в БД.
Период запуска указывается в настройках - в файле app.properties (параметр time). Доступ к интерфейсу сайта осуществляется через REST API с помощью библиотеки Jsoup (парсинг HTML).

Технологии

  • Java 13
  • JDBC
  • PostgreSQL
  • Jsoup
  • Планировщик заданий Quartz
  • Sockets
  • Maven
  • JaCoCo
  • Travis CI
  • SLF4J

Результат парсинга в БД
img

Структура таблицы БД
img

Контакты

Telegram  Email 

About

This is the vacancy parser for sql.ru

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages