Skip to content
Branch: development
Go to file
Code

Latest commit

Files

Permalink
Failed to load latest commit information.
Type
Name
Latest commit message
Commit time
 
 
 
 
 
 
 
 
 
 

README.md

UPOL-Search-Engine

UPOL Search engine is search engine for upol.cz domain, topic of Master thesis on Department of Computer Science UPOL

Are you about to block my crawler?

Contact me before you do that please.

What's the goal of the UPOL-Crawler?

Goal of the UPOL-Crawler is crawl http://upol.cz domain for gathering all avalible links on this domain. UPOL Crawler respect robots.txt so you can use it if you need to limit my crawler.

  User-Agent: UPOL-Crawler
  Disallow: *

Full user-agent string

Mozilla/5.0 (compatible; UPOL-Crawler/[version]; +https://github.com/UPOLSearch/UPOL-Search-Engine)

UPOL-Search-Engine (Czech)

UPOL Search engine je search engine pro upol.cz doménu. Projekt je součástí diplomové práce na Katedře Informatiky UPOL.

Chystáte se zablokovat tento crawler?

Pokud je to možné kontaktujte mě.

Co je cílem UPOL Crawler?

Cílem crawleru je procházet doménu http://upol.cz za účelem získání všech dstupných odkazů na této doméně. UPOL Crawler respektuje soubor robots.txt, tudiž je možné využít tento soubor pro zablokování crawleru.

  User-Agent: UPOL-Crawler
  Disallow: *

Celkový user-agent

Mozilla/5.0 (compatible; UPOL-Crawler/[version]; +https://github.com/UPOLSearch/UPOL-Search-Engine)

About

Search engine for upol.cz domain, topic of Master thesis on Department of Computer Science UPOL

Topics

Resources

License

You can’t perform that action at this time.