Skip to content

nikolaevv/web-parser

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Парсер вебсайтов на Go

Скрипт проходит по слайсу ссылок, затем получает тело ответа в GET запросе и ищет в нём количество вхождений подстроки "Go". Это происходит параллельно сразу для нескольких запросов, но не более, чем для k запросов.

  • Для синхронизации горутин используется Waitgroup
  • Для ограничения максимального количества параллельных запросов используется буфферезированный канал (блокируется при достижении максимального кол-ва горутин)
  • Результат сохраняется в потокобезопасную Map (реализована с Mutex)

About

🕸 Simple multithread web parser

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages