Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

a funcao trava no captcha #9

Closed
lucas-jardim opened this issue Sep 18, 2018 · 14 comments
Closed

a funcao trava no captcha #9

lucas-jardim opened this issue Sep 18, 2018 · 14 comments

Comments

@lucas-jardim
Copy link

@lucas-jardim lucas-jardim commented Sep 18, 2018

Oi Perlin,
Tentei rodar o seu tutorial, mas a função "gld_download_lattes_files" não consegue baixar os arquivos, ela abre, em "readLines", a página do captcha. Na descrição do pacote diz que não há necessidade de manualmente preencher o captcha, como você resolve isso ?

Abraços,

@msperlin
Copy link
Owner

@msperlin msperlin commented Sep 18, 2018

Oi Lucas,

O pacote não funciona mais pois o captcha retornou ao lattes.

At,

@msperlin msperlin closed this Sep 18, 2018
@HemingNM
Copy link

@HemingNM HemingNM commented Sep 29, 2018

Olá Marcelo,

pra manter a funcionalidade do pacote daria pra separar a função "gld_get_lattes_data" em duas funções, uma para "download" (até linha 67) e outra para "leitura" (a partir da linha 69). Assim o usuário pode baixar os XMLs manualmente para carregar os dados no R.
Outra sugestão é adicionar o nome e sobrenome do pesquisador no nome do arquivo baixado, o que facilitaria a identificação/substituição do .ZIP vazio criado em função do captcha.

Abraço,
Neander

@msperlin
Copy link
Owner

@msperlin msperlin commented Oct 1, 2018

Oi Neander,

Podes ler o arquivo zip diretamente com a função GetLattesData::gld_read_zip().

Sobre a sugestão do nome, vou verificar se é possível implementar. Suspeito que o nome só é descoberto com a abertura do xml.

@lucas-jardim
Copy link
Author

@lucas-jardim lucas-jardim commented Oct 2, 2018

Oi gente,

É possível encontrar o nome do pesquisador no html. Escrevi uma função para baixar o html do pesquisador e está funcionando. O lattes atualizou e agora só cobra o captcha para baixar o xml ou quando há entradas constantes no site. A função que escrevi ao contrário do pacote permite a busca do currículo pelo nome, ao invés do código do pesquisador. Marcelo, caso tenha interesse, esse código de busca pelo nome pode ser implementado no seu pacote.

@msperlin
Copy link
Owner

@msperlin msperlin commented Oct 2, 2018

Lucas, sim, é possível pegar o nome no html.

Sobre as mudanças no lattes, estou ciente. Vou esperar para ver se elas vieram para ficar. Na ultima eles trocaram de um dia para o outro.

Sobre buscar o lattes pelo nome, estou curioso. Entendo que isso necessita de uma tabela de referência com todos os nomes e códigos ou então um api ao sistema de busca do lattes. Como fizeste?

@lucas-jardim
Copy link
Author

@lucas-jardim lucas-jardim commented Oct 2, 2018

@msperlin
Copy link
Owner

@msperlin msperlin commented Oct 2, 2018

Sim, mas isso não pode ser empacotado para o CRAN.

@lucas-jardim
Copy link
Author

@lucas-jardim lucas-jardim commented Oct 2, 2018

@HemingNM
Copy link

@HemingNM HemingNM commented Oct 2, 2018

Olá Marcelo,

ler não é o problema, a idéia seria separar a funcionalidade da função "gld_get_lattes_data" (Downloads and reads Lattes data based on a vector of Lattes ids) em uma função para fazer todo o trabalho da linha 69 em diante (read files, save tpesq, do Qualis, do sjr, etc).

@msperlin
Copy link
Owner

@msperlin msperlin commented Oct 2, 2018

Sim. Espera pelo novo update que pode solucionar teu problema. Estou só dando um período para ver se as mudanças no lattes são permanentes. A nova versão deve funcionar como a anterior, sem necessidade de baixar arquivos manualmente.

@msperlin
Copy link
Owner

@msperlin msperlin commented Oct 2, 2018

No meio tempo, um lapply nos arquivos já deve ajudar.

@msperlin
Copy link
Owner

@msperlin msperlin commented Oct 11, 2018

Oi, acabei de postar a nova versão do pacote. Nesta é possível usar os arquivos .zip diretamente.

Também podes utilizar o github para instalar a nova versão. Acredito que em algumas horas estará no CRAN.

@HemingNM
Copy link

@HemingNM HemingNM commented Oct 15, 2018

Show! Se me permite mais uma sugestão...
Nos argumentos, substituir "zip.files" por "folder.dl"
Na função, pode buscar diretamente os arquivos ".zip", substituindo da L36 a L44 por:

zip.files <- list.files(folder.dl, pattern=".zip", full.names = T)

Abraços, valeu!

@msperlin
Copy link
Owner

@msperlin msperlin commented Oct 16, 2018

Entendi. Agradeço a sugestão, mas acho o modo atual mais intuitivo. No final das contas, não faz muita diferença a forma do input.

Abc.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Linked pull requests

Successfully merging a pull request may close this issue.

None yet
3 participants
You can’t perform that action at this time.