feat: update backend and metadata modules (#1712)

* chore: move config templates to templates folder * feat: update backend and metadata modules
basedosdados · Jun 13, 2024 · 59a7816 · 59a7816
1 parent e4d5452
commit 59a7816
Show file tree

Hide file tree

Showing 22 changed files with 691 additions and 1,020 deletions.
diff --git a/.mergify.yml b/.mergify.yml
diff --git a/.pre-commit-config.yaml b/.pre-commit-config.yaml
@@ -21,20 +21,5 @@ repos:
     rev: v0.2.0
     hooks:
       - id: ruff
-        args: [--fix]
+        args: [--fix, --select, I]
       - id: ruff-format
-
-  - repo: https://github.com/returntocorp/semgrep
-    rev: v1.30.0
-    hooks:
-    - id: semgrep
-      language: python
-      args: [
-        "--error",
-        "--config",
-        "auto",
-        "--exclude-rule",
-        "python.lang.security.audit.subprocess-shell-true.subprocess-shell-true",
-        "--exclude-rule",
-        "yaml.github-actions.security.third-party-action-not-pinned-to-commit-sha.third-party-action-not-pinned-to-commit-sha",
-      ]
diff --git a/docs/docs/api_reference_python.md b/docs/docs/api_reference_python.md
@@ -4,8 +4,7 @@
 Esta API é composta por funções com 2 tipos de funcionalidade:
 
 - Módulos para **requisição de dados**: para aquele(as) que desejam
-  somente consultar os dados e metadados do nosso projeto (ou qualquer outro
-  projeto no Google Cloud).
+  somente consultar os dados e metadados do nosso projeto.
 
 - Classes para **gerenciamento de dados** no Google Cloud: para
   aqueles(as) que desejam subir dados no nosso projeto (ou qualquer outro
@@ -15,7 +14,7 @@ Esta API é composta por funções com 2 tipos de funcionalidade:
 
 ## Módulos (Requisição de dados)
 
-::: basedosdados.download.download
+::: basedosdados.download.metadata
     handler: python
     rendering:
             show_root_heading: no
@@ -25,7 +24,7 @@ Esta API é composta por funções com 2 tipos de funcionalidade:
       docstring_options:
         replace_admonitions: no
 
-::: basedosdados.download.metadata
+::: basedosdados.download.download
     handler: python
     rendering:
             show_root_heading: no

diff --git a/python-package/basedosdados/__init__.py b/python-package/basedosdados/__init__.py
@@ -1,7 +1,6 @@
 """
 Importing the module will automatically import the submodules.
 """
-# flake8: noqa
 import os
 import sys
 
@@ -14,15 +13,11 @@
 
 from basedosdados.backend import Backend
 from basedosdados.constants import config, constants
-from basedosdados.download.base import reauth
 from basedosdados.download.download import download, read_sql, read_table
 from basedosdados.download.metadata import (
-    get_dataset_description,
-    get_table_columns,
-    get_table_description,
-    get_table_size,
-    list_dataset_tables,
-    list_datasets,
+    get_columns,
+    get_datasets,
+    get_tables,
     search,
 )
 from basedosdados.upload.connection import Connection