Skip to content

Releases: agaqueiroz/brinss-public-datasets

Release list

v0.1.0rc3

v0.1.0rc3 Pre-release
Pre-release

Choose a tag to compare

View all tags
@github-actions github-actions released this 13 Sep 19:23
v0.1.0rc3
b3786eb

What's Changed

  • Corrigir delimitadores divergentes e acrescentar cinco famílias by @agaqueiroz in #17
  • Hash em blocos, planilha aberta uma vez e período fora da leitura do Parquet by @agaqueiroz in #18
  • Ler datasets em pedaços com chunksize, inclusive o Parquet do espelho by @agaqueiroz in #19

Full Changelog: v0.1.0rc2...v0.1.0rc3

Contributors

agaqueiroz
Loading

v0.1.0rc2

v0.1.0rc2 Pre-release
Pre-release

Choose a tag to compare

View all tags
@github-actions github-actions released this 30 Aug 16:44
v0.1.0rc2
f857e88

Segundo ensaio do pipeline de publicação, agora com o repositório enxuto.

Nada muda para quem usa a biblioteca. A API pública, os dados e o espelho no
Hugging Face são os mesmos da v0.1.0rc1.

O que mudou

O script de publicação (scripts/publish_to_hf.py) saiu daqui e virou um aplicativo
CLI em br_public_datasets_publisher.
Com ele saíram os 55 testes, o grupo de dependências publish (huggingface-hub e
mais 10 pacotes transitivos) e o pythonpath de pytest que só existia para importá-lo.

O pacote distribuído não muda por isso — scripts/ nunca fez parte do wheel. O que
muda é o repositório: este passa a ser só o lado que lê o espelho. O contrato de
layout (data/<família>/<AAAA-MM>.parquet, manifest.json) continua aqui, em
_hf.py, importado tanto por quem escreve quanto por quem lê.

Instalação

O pip não instala pré-releases por padrão; é preciso pedir pelo número exato:

pip install brinss-public-datasets==0.1.0rc2

What's Changed

  • Remover o script de publicação, agora em repositório próprio by @agaqueiroz in #16

Full Changelog: v0.1.0rc1...v0.1.0rc2

Contributors

agaqueiroz
Loading

v0.1.0rc1

v0.1.0rc1 Pre-release
Pre-release

Choose a tag to compare

View all tags
@github-actions github-actions released this 26 Aug 14:25
v0.1.0rc1
229e22d

What's Changed

  • Trocar huggingface-cli login por hf auth login by @agaqueiroz in #9
  • Publicar manifesto e dados no mesmo commit, com cache e log by @agaqueiroz in #10
  • Converter recursos grandes em chunks, sem carregar o arquivo inteiro by @agaqueiroz in #11
  • Escolher a fonte dos dados com o parâmetro source by @agaqueiroz in #12
  • Registrar no To-do as pendências conhecidas do projeto by @agaqueiroz in #13
  • CI/CD: tag gera release no GitHub, publicar a release envia ao PyPI by @agaqueiroz in #14
  • Marcar como pré-release a tag que não for uma versão estável by @agaqueiroz in #15

Full Changelog: https://github.com/agaqueiroz/brinss-public-datasets/commits/v0.1.0rc1

Contributors

agaqueiroz
Loading