Error Line 196

[fredroo]

[rictom]

Eu alterei o código recentemente para usar apenas o sqlite3. Eu testei usando python 3.11, mas suponho que deva funcionar ao menos em python 3.10. Talvez se a versão do python for muito antiga, a biblioteca sqlite3 não suporte o Drop. Então sugiro vc criar um ambiente virtual com python 3.11.

[fredroo]

Ok vou testar @rictom obrigado

[fredroo]

@rictom consegui e já importei no mariaDB, mas tem um novo arquivo de cnae python, me explica como funciona ou atualizar o readme.md, tem como fazendo favor?

[rictom]

Olá @fredroo
O script dados_cnpj_cnae_secundaria.py foi atualizado.

[fredroo]

@rictom será que está usado muita memória, pois meu computador tem 32GB de ram

[rictom]

O meu computador em Windows tem 16GB e funcionou. O pandas está atualizado?
Por curiosidade, qual ambiente que vc está usando?? Por que tem esse MINGW64 na linha?

[fredroo]

@rictom dá um olhada, erro diferente agora
\pandas\io\sql.py", line 2554, in _execute
_insert_multi
conn.execute(self.insert_statement(num_rows=len(data_list)), flattened_data)
sqlite3.OperationalError: too many SQL variables

git bash for windows

aqui tá usando mais de 16gb

[rictom]

Eu não sei se é o caso. Acho que biblioteca sqlite3 usa o disco principal C: para criar arquivos temporários. Então se vc não tive muito espaço no C:, mesmo que você esteja usando um disco externo com espaço sobrando (a imagem anterior tem alguma coisa em T:), pode acontecer algum erro. Veja se vc tem ao menos uns 30GB no C:

[fredroo]

@rictom tenho 62gb no c: é mais de 2tb no disco t:

[rictom]

Como funciona esse negócio do git bash? Vc tem um environment chamado "main" em python 3.11?

[fredroo]

Ele emula um terminal Linux eu rodo os comandos ele entende pelo system enviroment @rictom

[rictom]

Eu sugiro vc trocar uma linha 26 para bUsaPandas = False, que a rotina vai usar a biblioteca dask ao invés do pandas, e o dask gerencia para não ocupar toda a memória (pelo menos essa é a teoria). O problema é que demora bem mais.
Acho que alguém tinha postado uma forma de fazer esse "split" dos cnaes secundários só usando sql, teria que pesquisar nas issues.

[fredroo]

@rictom tá pedindo pandas 3.0, estou usando 2.2.0, sabe como forçar o uso da versão 3?

[rictom]

Cria um ambiente virtual e faz um pip install -r requirements.txt com esse conteúdo:

beautifulsoup4==4.8.2
dask==2024.1.1
easygui==0.98.3
nest_asyncio==1.6.0
pandas==2.2.0
psutil==5.9.8
py7zr==0.20.8
pywebio==1.8.3
Requests==2.31.0
SQLAlchemy==1.4.47
wget==3.2

[fredroo]

PS C:\xampp\htdocs\cnpj-sqlite> python .\dados_cnpj_cnae_secundaria.py
C:\xampp\htdocs\cnpj-sqlite\dados_cnpj_cnae_secundaria.py:21: DeprecationWarning:
Pyarrow will become a required dependency of pandas in the next major release of pandas (pandas 3.0),
(to allow more performant data types, such as the Arrow string type, and better interoperability with other libraries)
but was not found to be installed on your system.
If this would cause problems for you,
please provide us feedback at pandas-dev/pandas#54466

import pandas as pd, os, sqlalchemy
inicio... Wed Feb 14 18:33:45 2024

@rictom fiz como pediu começou, vamos ver a resposta final, mas já mostrou o alerta da versão 3

[fredroo]

@rictom

PS C:\xampp\htdocs\cnpj-sqlite> python .\dados_cnpj_cnae_secundaria.py
C:\xampp\htdocs\cnpj-sqlite\dados_cnpj_cnae_secundaria.py:21: DeprecationWarning:
Pyarrow will become a required dependency of pandas in the next major release of pandas (pandas 3.0),
(to allow more performant data types, such as the Arrow string type, and better interoperability with other libraries)
but was not found to be installed on your system.
If this would cause problems for you,
please provide us feedback at https://github.com/pandas-dev/pandas/issues/54466

  import pandas as pd, os, sqlalchemy
inicio... Wed Feb 14 18:36:53 2024
T:\Python311\Lib\site-packages\dask\dataframe\io\sql.py:122: UserWarning: pandas only supports SQLAlchemy connectable (engine/connection) or database string URI or sqlite3 DBAPI2 connection. Other DBAPI2 objects are not tested. Please consider using SQLAlchemy.
  head = pd.read_sql(q, engine, **kwargs)
Traceback (most recent call last):
  File "C:\xampp\htdocs\cnpj-sqlite\dados_cnpj_cnae_secundaria.py", line 81, in <module>
    ddf = dd.read_sql_table('tmp_cnae', f'sqlite:///{cam}', index_col='cnpj_int')
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "T:\Python311\Lib\site-packages\dask\dataframe\io\sql.py", line 344, in read_sql_table
    return read_sql_query(
           ^^^^^^^^^^^^^^^
  File "T:\Python311\Lib\site-packages\dask\dataframe\io\sql.py", line 122, in read_sql_query
    head = pd.read_sql(q, engine, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "T:\Python311\Lib\site-packages\pandas\io\sql.py", line 706, in read_sql
    return pandas_sql.read_query(
           ^^^^^^^^^^^^^^^^^^^^^^
  File "T:\Python311\Lib\site-packages\pandas\io\sql.py", line 2739, in read_query
    cursor = self.execute(sql, params)
             ^^^^^^^^^^^^^^^^^^^^^^^^^
  File "T:\Python311\Lib\site-packages\pandas\io\sql.py", line 2671, in execute
    raise TypeError("Query must be a string unless using sqlalchemy.")
TypeError: Query must be a string unless using sqlalchemy.

veja como o erro mudou agora como False onde pediu

[fredroo]

@rictom lembrando que estou usando PowerShell agora, só para testar se era o git bash

[rictom]

No powershell vc está usando anaconda? Vc está ativando o ambiente virtual? Só pra entender, qual o procedimento que vc está fazendo pra ativar o ambiente?

[rictom]

Aqui tem um código para quebrar a coluna só usando sql:
#24

[fredroo]

@rictom obrigado, vou usar

[fredroo]

@rictom pior que também deu erro, pensei que era só para o cnae secundário, mas era para o banco todo, até fiz backup

[fredroo]

acho que o banco que eu tenho já tem os cnae secundário, isso no mysql, pois importei o banco do sqlite

na tabela estabelecimentos tem um campo cnae_fiscal_secundaria

essa rotina do .py faz é separar em outra tabela?

[fredroo]

@rictom se você me dizer que é isso, eu faço em php para resolver meu problema, até você atualizar, pois como a base sempre atualiza, acredito que seu projeto ainda vai ser muito útil, desde já agradeço a atenção e o seu tempo.

[fredroo]

@rictom resolvi, era o arquivo de paginação do Windows que estava desativado, ai coloquei 50gb no C: e 100gb no T:

depois deu erro de too many sql, ai resolvi mudando o chunksize=10000