Este es un prototipo beta de un crawler de paginas web dentro del archivo index.js se encuentran las variables para poder utilizar
detph es el numero de profundidad de que crawler extraera y visitara los links initialUrl es donde colocamos la pagina a extraer los links
este proyecto hace uso de algunas librerias de node_modules antes de poder utilizarlo
git clone https://github.com/3p1c0s3nd/CrawlerUrls.git
cd CrawlerUrls
npm install
node index.js