refactor(issue_folder): otimiza leitura de arquivos e melhora tratame…

[robertatakenaka]

Pull Request: Otimização do processamento de arquivos em issue_folder

Descrição

Este PR refatora o módulo issue_folder.py para melhorar performance e separação de responsabilidades no processamento de arquivos de issues do SciELO.

Mudanças Principais

🚀 Otimização de Performance

• Separação de responsabilidades: fixed_glob() agora apenas localiza arquivos, get_files() faz a leitura
  • Evita leitura desnecessária de arquivos grandes
  • Permite melhor controle de memória

📁 Melhorias no Processamento de Arquivos

• Busca recursiva aprimorada: Pattern '**/*.*' para arquivos de tradução
  • Encontra traduções em subdiretórios corretamente
  • Maior flexibilidade na organização de arquivos

🔧 Tratamento de Erros Mais Robusto

• HTMLs vazios: Tratados graciosamente sem lançar exceções
  • Arquivo continua sendo processado mesmo sem conteúdo
  • Melhora tolerância a falhas

🧹 Limpeza de Código

• Logs simplificados:
  • Decodificação HTML reporta apenas encoding usado (utf-8 vs iso-8859-1)
  • Removidos logs verbosos que não agregavam valor
• Código mais limpo:
  • Lógica de detecção de traduções em PDFs simplificada
  • Remoção de continue redundante após IndexError

Benefícios

• ✅ Performance: Leitura sob demanda reduz uso de memória
• ✅ Manutenibilidade: Separação clara de responsabilidades
• ✅ Confiabilidade: Melhor tratamento de casos extremos
• ✅ Logs mais úteis: Apenas informações relevantes são logadas

Impacto

Nenhuma mudança na API pública. Código cliente continua funcionando sem alterações.

Exemplo de Melhoria

Antes:

# Lê todos os arquivos imediatamente
for path in glob.glob(pattern):
    with open(path, "rb") as f:
        content = f.read()  # Memória alocada mesmo se não usar

Depois:

# Localiza arquivos primeiro
paths = fixed_glob(patterns)
# Lê apenas quando necessário
for path in paths:
    content = read_when_needed(path)

[Copilot]

Pull request overview

This PR refactors the issue_folder.py module to optimize file processing for SciELO issues. The changes separate file discovery from file reading, update translation file search patterns, and modify error handling and logging approaches.

Key Changes:

• Refactored fixed_glob() to only return file paths instead of reading file contents immediately
• Changed translation file pattern from *.ht* to **/*.* for recursive subdirectory search
• Simplified error handling and reduced logging verbosity

---

💡 Add Copilot custom instructions for smarter, more guided reviews. Learn how to get started.

[Copilot]

Logging at INFO level for every file's encoding detection will create excessive log noise in production. Consider using DEBUG level for these routine operations, or removing the logs entirely since encoding detection is expected behavior.

[Copilot]

The pattern change from ".ht" to "" + "." enables recursive searching, but will now match all file types in subdirectories, not just HTML files (.htm, .html). This could lead to processing non-HTML files as HTML content, which may cause errors. Consider using a more specific pattern like "/.ht" to maintain the original file type filtering while enabling recursive search.

Suggested change

	"*.*",
	"*.ht*",

[Copilot]

When fix_html_content() returns None (for empty content), the original item["content"] remains as raw bytes. This creates inconsistent content types in the output - some items will have processed string content while others have unprocessed bytes. This inconsistency could cause issues for consumers of this data. Consider always setting item["content"] to an appropriate value (e.g., empty string or None) to maintain type consistency.

Suggested change

	if content:
	if content is None:
	# Ensure item["content"] is always a text value, not raw bytes
	item["content"] = ""
	else:

[Copilot]

The removal of the IndexError handler without replacing it with proper bounds checking creates a potential bug. The code assumes key[2] exists when checking key[2] == "_" on line 184, but if key has fewer than 3 characters, this will raise an IndexError that is no longer caught. This will cause the entire generator to fail instead of gracefully handling the invalid filename.

Suggested change

	if "_" in key and key[2] == "_":
	if len(key) >= 3 and key[2] == "_":

[Copilot]

The variable item may not be defined if an exception occurs before line 54. If an exception happens during the modified_date(), os.path.basename(), or _get_classic_website_rel_path() calls (lines 57-59), the variable item will not exist when trying to set error attributes on lines 66-67, causing a NameError.

[Copilot]

The parameter file_type is passed to fixed_glob() but never used within that function. This parameter should either be removed from the function signature or utilized if it serves a purpose.