parserizzazione Robots.txt
Switch branches/tags
Nothing to show
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Failed to load latest commit information.
robots
uml
LICENSE
README.md

README.md

Robots.txt-java

Robots è un progetto java open source che permette a un crawler web di sapere se una URL è scansionabile

Start

Per usare il robots bisogna creare un istanza di RobotClient e come parametri bisogna inserire lo userAgent di cui si vuole controllare le regole es "Googlebot" e la url in cui si trova il file Robots.txt

    /*
    * esempio:
    * user-agent = Googlebot
    * url = http://www.example.com/robots.txt
    */
    RobotClient Robots = new RobotClient(user-agent, url);
    

Usare il metodo isUrlAllowed, prende come parametro una Url in formato stringa oppure URL e ritorna un Boolean ( true se la url puo essere scansionata / false se la url non puo essere scansionata)

    /*
    * esempio:
    * String url = url da controllare se puo essere scansionata
    * 
    */
    String url = "http://www.example.com/example
    Boolean isAllowed = isUrlAllowed(url);
    

Uml