Web crawler / Rastreador web

Resumo

Função que simula um web crawler e pega palavras (especificas ou não) de um site e de suas paginas, tambem pode ser especificado a quantidade de paginas que serão analisadas do site. No final, cria um arquivo JSON contendo todos os dados que foram analisados.

Funcionalidades e demonstração

| Como funciona?

Este código foi feito para procurar palavras em um site e suas páginas. Com o uso dele, você poderá rastrear uma palavra específica ou exibir todas as palavras do site, ver quantas vezes cada uma foi exibida e o endereço onde elas se encontram.

| Como usar?

Para usar este programa, basta você baixar o codigo e chamar a função no seu projeto ou direto do codigo.

            [ Chamando função ]

            

            A função ira procurar em 100 paginas do site "https://g1.globo.com/" a palavra "tecnologia". Apos feito esta analise, ela ira criar um arquivo JSON com o endereço onde cada palavra foi encontrada e quantas vezes a palavra foi mostrada.

            [ Parametros da função ]

            

            • Se você não informar uma palavra especifica, o programa ira pegar todas as palavras encontradas e colocar quantas vezes estas palavras foram mostradas em cada site
            • Se você não informar quantas paginas o programa deve analisar, o programa so ira analisar 10 paginas do site informado.

            [ Arquivo JSON criado ]

            

            Mostrando o endereço onde foi encontrado a palavra e quantas vezes a palavra foi mostrada.

Tecnologias usadas