Error ao submeter .zip

[samuelveigarangel]

Descrição do problema

Ao submeter um arquivo .zipe validar, é obtido o seguinte error:
Object of types bytes is not JSON serializer.

Passos para reproduzir o problema

1. Executar o programa
2. Submeter o arquivo: 1676-0611-bn-rpass-11-26-1.zip
3. Clicar em validar
4. Observe o erro apresentado

Screenshots ou vídeos

[Rossi-Luciano]

Causa raiz

O erro Object of type bytes is not JSON serializable não é um bug do spsvalidator — é causado por um bug no packtools (dependência fixada em pyproject.toml como packtools @ git+https://github.com/scieloorg/packtools@4.16.6, uma ref de branch móvel).

Ao validar um pacote, domain/validation.py chama packtools.sps.validation.xml_validator.get_validation_results(xmltree, rules). Um dos resultados retornados contém um valor bytes (em vez de str) no campo got_value. Esse resultado é persistido em db/repository.py via json.dumps(rows, ...), e o TypeError interrompe a validação inteira antes mesmo de salvar o histórico.

Investigando mais a fundo (rodando um lote de 30 pacotes SPS reais), identificamos 3 bugs distintos no packtools, todos reportados em scieloorg/packtools#1231:

1. etree.tostring() sem encoding=str em supplementary_material.py — a checagem "Prohibition of inline-supplementary-material" retorna bytes em obtained/got_value. É o bug original relatado nesta issue (ocorre sempre que o XML tem <inline-supplementary-material>).
2. publisher_name_list_error_level — mismatch de nome entre o JSON de config (journal_rules.json define publisher_name_error_level) e o código (xml_validations.py busca publisher_name_list_error_level). Esse KeyError ocorreu em 100% dos 30 pacotes testados, pois a checagem de journal-meta roda sempre.
3. valid_extension ausente em supplementary_material_rules.json — ao validar <supplementary-material> real (não-inline), o código repassa o dicionário de regras errado para MediaValidation/GraphicValidation, que esperam chaves de visual_resource_base_rules/graphic_rules. Ocorreu em 2 dos 30 pacotes (os que tinham <supplementary-material> não-inline).

Estratégia de correção testada localmente

Como ainda não há merge da correção no packtools upstream, validei as correções aplicando patches diretamente no pacote instalado (.venv/lib/python3.12/site-packages/packtools/), sem alterar o código do spsvalidator:

Patch 1 — supplementary_material.py, função validate_prohibited_inline:

# antes
obtained = etree.tostring(nodes[0]) if nodes else "None"
# depois
obtained = etree.tostring(nodes[0], encoding=str) if nodes else "None"

Garante que o nó XML serializado seja str, não bytes.

Patch 2 — xml_validations.py, função validate_journal_meta:

# antes
error_level=journal_rules["publisher_name_list_error_level"],
# depois
error_level=journal_rules["publisher_name_error_level"],

Alinha a busca da chave de error_level com o nome real definido em journal_rules.json.

Patch 3 — xml_validations.py, função validate_supplementary_materials:

# antes
rules = {}
rules.update(params["supplementary_materials_rules"])

# depois
rules = {}
rules.update(params["visual_resource_base_rules"])
rules.update(params["graphic_rules"])
rules["valid_extension"] = list(
    set(params["visual_resource_base_rules"]["valid_extension"])
    | set(params["graphic_rules"]["valid_extension"])
)
rules.update(params["supplementary_materials_rules"])

Faz o merge das regras de visual_resource_base_rules e graphic_rules (com união das extensões válidas) antes de aplicar as regras específicas de supplementary_materials_rules, garantindo que MediaValidation/GraphicValidation tenham todas as chaves de que precisam.

Testes realizados

Com os 3 patches aplicados, revalidei um lote de 30 pacotes SPS reais (material de gestão editorial, 1 XML por pacote, variando entre ~325KB e ~15.5MB), incluindo o pacote original desta issue.

Antes dos patches 2 e 3 (só com o patch 1 aplicado): os 30 pacotes processavam sem crash, mas todos os 30 geravam a exception KeyError: 'publisher_name_list_error_level', e 2 deles também geravam KeyError: 'valid_extension'.

Depois dos 3 patches: os 30 pacotes processaram com sucesso (HTTP 302, fluxo normal), zero exceptions remanescentes em todos eles. As contagens de issues (CRITICAL/ERROR/WARNING) por pacote permaneceram idênticas às de antes — confirmando que as checagens que antes quebravam agora rodam normalmente e simplesmente retornam "OK" quando não há problema, sem alterar o comportamento esperado da validação.

Próximos passos

• Acompanhar etree.tostring() sem encoding=str retorna bytes em validate_prohibited_inline, quebra serialização JSON packtools#1231 até a correção ser mesclada upstream
• Quando o packtools publicar uma versão/commit com o fix, atualizar a dependência no pyproject.toml do spsvalidator (idealmente fixando em uma tag/commit imutável em vez da ref de branch móvel @4.16.6, para evitar regressões silenciosas como esta)

[Rossi-Luciano]

Atualização: abrimos um PR no packtools com a correção dos 3 bugs descritos no comentário acima: scieloorg/packtools#1232 (vinculado a scieloorg/packtools#1231).

Assim que for mesclado e publicado, atualizamos a dependência no pyproject.toml do spsvalidator.

[robertatakenaka]

@Rossi-Luciano Release 4.16.7 do packtools está disponível para dar continuidade a este issue