Merge pull request #94 from UnB-KnEDLe/dev

Dev

dodfminer/extract/polished/acts/aposentadoria.py

@@ -1,6 +1,8 @@
 """Regras regex para ato de Aposentadoria."""
 
 import re
+import os
+import joblib
 from dodfminer.extract.polished.acts.base import Atos
 
 
@@ -12,10 +14,10 @@ def __init__(self, file, backend):
     def _regex_flags(self):
         return re.IGNORECASE
 
-    # def _load_model(self):
-    #     f_path = os.path.dirname(__file__)
-    #     f_path += '/models/aposentadoria_ner.pkl'
-    #     return joblib.load(f_path)
+    def _load_model(self):
+        f_path = os.path.dirname(__file__)
+        f_path += '/models/aposentadoria.pkl'
+        return joblib.load(f_path)
 
     def _act_name(self):
         return "Aposentadoria"

dodfminer/extract/polished/backend/ner.py

@@ -22,7 +22,7 @@ class ActNER:
     """
 
     def __init__(self):
-        self._backend = 'regex'
+        # self._backend = 'regex'
         super(ActNER, self).__init__()
         self._model = self._load_model()
 
@@ -78,6 +78,7 @@ def _prediction(self, act):
             A dictionary with the proprieties and its
             predicted value.
         """
+        print("Predicting")
         act = self._preprocess(act)
         feats = self._get_features(act)
         predictions = self._model.predict_single(feats)

dodfminer/extract/polished/helper.py

@@ -92,6 +92,7 @@ def extract_multiple(files, type, backend, txt_out=False, txt_path="./results"):
     res = []
     for file in files:
         res_obj = ActsExtractor.get_act_obj(type, file, backend)
+        print(res_obj._backend)
         res_df = res_obj.data_frame
         res_txt = res_obj.acts_str
         if not res_df.empty:

dodfminer/run.py

@@ -73,6 +73,7 @@ def extract_content(self):
                 xml_multiple(self.args.single_file, self.args.backend)
             else:
                 self.cli.extract_content_parser.print_help()
+
     def _log(self, msg):
         print(f"[DODFMiner] {msg}")
 

tests/support/dodf_pdfs/results 2/json/2020/01_Janeiro/DODF 001 10-01-2020 EDICAO EXTRA 2.json

@@ -0,0 +1 @@
+{"PODER EXECUTIVO": [[139.1755828857422, 336.5931091308594, 321.51153564453125, 345.41937255859375, "DECRETO No 40.382, DE 10 DE JANEIRO DE 2020"], [56.691890716552734, 349.3283386230469, 402.94476318359375, 358.15460205078125, "Dispoe sobre limitacao da despesa publica para o inicio do exercicio de 2020, e da outras providencias."], [56.69190216064453, 362.0635681152344, 403.9447937011719, 370.88983154296875, "O VICE-GOVERNADOR NO EXERCICIO DO CARGO DE GOVERNADOR DO DISTRITO"], [56.69190216064453, 374.7998352050781, 404.0086669921875, 383.62615966796875, "FEDERAL, no uso das atribuicoes que lhe confere o artigo 92, e nos termos do artigo 100, da Lei"], [56.6919059753418, 387.53515625, 194.61117553710938, 396.3614196777344, "Organica do Distrito Federal, DECRETA:"], [56.6919059753418, 400.2703857421875, 404.0606994628906, 409.0966491699219, "Art.1o Fica autorizada a emissao de empenhos, no ambito dos orcamentos fiscal e da seguridade social, no"], [56.69189453125, 413.0055847167969, 403.9714660644531, 421.8318786621094, "limite de 10% (dez por cento) das dotacoes aprovadas na Lei Orcamentaria de 2020, ate que sejam"], [56.69187545776367, 425.7418212890625, 404.0176086425781, 434.5680847167969, "publicados a Programacao Orcamentaria e o Cronograma de Execucao Mensal de Desembolso para o"], [56.69187545776367, 438.4770812988281, 117.51071166992188, 447.3033447265625, "exercicio de 2020."], [56.69187545776367, 451.2123107910156, 226.2976531982422, 460.03857421875, "1o O disposto no caput nao se aplica as despesas:"], [56.69187545776367, 463.94757080078125, 404.0782775878906, 472.7738342285156, "I - relativas a Defensoria Publica do Distrito Federal e aos orgaos do Poder Legislativo e do Tribunal de"], [56.69187545776367, 476.6838073730469, 146.5041046142578, 485.51007080078125, "Contas do Distrito Federal;"], [56.69187545776367, 489.4190673828125, 404.0516052246094, 498.2453308105469, "II - referentes aos subtitulos incluidos na Lei Orcamentaria Anual por meio de emendas parlamentares, nos"], [56.69187545776367, 502.1543273925781, 292.8778991699219, 510.9805908203125, "termos dos 15 e 16 do art. 150 da Lei Organica do Distrito Federal;"], [56.69187545776367, 514.8895263671875, 369.764892578125, 523.7158203125, "III - com programas de trabalho custeados com recursos de convenios e operacoes de credito;"], [56.69187545776367, 527.6257934570312, 244.6927032470703, 536.4520874023438, "IV - de amortizacao, juros e encargos da divida publica;"], [56.69187545776367, 540.361083984375, 184.50454711914062, 549.1873779296875, "V - decorrentes de sentencas judiciais;"], [56.69187545776367, 553.0963134765625, 341.32806396484375, 561.922607421875, "VI - de pessoal e encargos sociais e demais custeios relacionados a folha pagamento;"], [56.69187545776367, 565.83154296875, 316.0077819824219, 574.6578369140625, "VII - do Programa de Formacao de Patrimonio de Servidor Publico - PASEP;"], [56.69187545776367, 578.5678100585938, 397.2059631347656, 587.3941040039062, "VIII - referentes a recursos proprios, diretamente arrecadados, das unidades e os dos fundos especiais;"], [56.69187545776367, 591.3030395507812, 246.80426025390625, 600.1293334960938, "IX - do Orcamento da Crianca e do Adolescente - OCA;"], [56.69187545776367, 604.0382690429688, 237.54302978515625, 612.8645629882812, "X - do Fundo de Apoio a Cultura do Distrito Federal;"], [56.69187545776367, 616.7734985351562, 254.35198974609375, 625.5997924804688, "XI - da Fundacao de Apoio a Pesquisa do Distrito Federal;"], [56.69187545776367, 629.509765625, 368.5227355957031, 638.3360595703125, "XII - das Unidades Administrativas integrantes do Orcamento de Investimento e Dispendio; e"], [56.691890716552734, 642.2449340820312, 401.6126403808594, 651.0712280273438, "XIII - demais despesas obrigatorias constantes do Anexo VI da Lei no 6.352, de 07 de agosto de 2019."], [56.691890716552734, 654.9801635742188, 404.0333251953125, 663.8064575195312, "2o A liberacao das dotacoes referentes aos grupos investimentos e inversoes financeiras fica integralmente"], [56.691890716552734, 667.7154541015625, 253.98719787597656, 676.541748046875, "postergada ate publicacao de que trata o caput deste artigo."], [56.691890716552734, 680.45166015625, 403.9866943359375, 689.2779541015625, "Art. 2o Os secretarios de Estado e os ordenadores de despesas sao responsaveis pela observancia da"], [56.691890716552734, 693.1868896484375, 403.96649169921875, 702.01318359375, "priorizacao das despesas administrativas do orgao e as voltadas a continuidade da prestacao de servicos"], [56.69187545776367, 705.922119140625, 357.9078063964844, 714.7484130859375, "publicos, bem como pelo cumprimento de todas as disposicoes legais aplicaveis a materia."], [565.0665283203125, 384.4197692871094, 618.39599609375, 393.24603271484375, "RETIFICACAO"], [418.10858154296875, 397.8155517578125, 765.5099487304688, 406.641845703125, "No Decreto de 9 de janeiro de 2020, publicado no DODF n 7, de 10 de janeiro de 2020, pagina"], [418.1086120605469, 411.21136474609375, 765.3668823242188, 420.0376281738281, "2, o ato que nomeou LARA CRISTINA MOREIRA SALDANHA RODRIGUES da Secretaria de"], [418.1086120605469, 424.6081237792969, 765.4759521484375, 433.43438720703125, "Estado de Justica e Cidadania do Distrito Federal, ONDE SE LE: \"...do Conselho Tutelar de Ceilandia"], [418.1086120605469, 438.0038757324219, 626.9934692382812, 446.83013916015625, "III...\", LEIA-SE: \"... do Conselho Tutelar de Ceilandia I...\"."], [418.1086120605469, 451.399658203125, 765.5059814453125, 460.2259216308594, "No Decreto de 09 de janeiro de 2020, publicado no DODF n 07, de 10 de janeiro de 2020, pagina"], [418.1086120605469, 464.7954406738281, 765.4600219726562, 473.6217041015625, "02, o ato que nomeou JACIARA SENA DO SACRAMENTO OLIVEIRA da Secretaria de Estado de"], [418.1086120605469, 478.19122314453125, 765.412841796875, 487.0174865722656, "Justica e Cidadania do Distrito Federal, ONDE SE LE: \"...do Conselho Tutelar de Ceilandia I...\","], [418.1086120605469, 491.58697509765625, 608.7344970703125, 500.4132385253906, "LEIA-SE: \"... do Conselho Tutelar de Ceilandia III...\"."], [418.1086120605469, 504.9837341308594, 765.5059814453125, 513.8099975585938, "No Decreto de 09 de janeiro de 2020, publicado no DODF n 07, de 10 de janeiro de 2020, pagina"], [418.1086120605469, 518.3795166015625, 765.4646606445312, 527.205810546875, "02, o ato que nomeou ANDERSON DE CASTRO FERREIRA da Secretaria de Estado de Justica e"], [418.1086120605469, 531.7752685546875, 765.4634399414062, 540.6015625, "Cidadania do Distrito Federal, ONDE SE LE: \"...do Conselho Tutelar de Planaltina I...\", LEIA-SE: \"..."], [418.1086120605469, 545.1710205078125, 557.0971069335938, 553.997314453125, "do Conselho Tutelar de Planaltina II...\"."], [418.1086120605469, 558.5667724609375, 765.5061645507812, 567.3931274414062, "No Decreto de 09 de janeiro de 2020, publicado no DODF n 07, de 10 de janeiro de 2020, pagina"], [418.1086120605469, 571.9625244140625, 765.4039916992188, 580.788818359375, "02, o ato que nomeou BRUNNER CAVALCANTE LINO da Secretaria de Estado de Justica e"], [418.1086120605469, 585.3593139648438, 765.4495849609375, 594.1856079101562, "Cidadania do Distrito Federal, ONDE SE LE: \"...do Conselho Tutelar de Planaltina II...\", LEIA-SE:"], [418.1086120605469, 598.755126953125, 567.8643188476562, 607.5814208984375, "\"... do Conselho Tutelar de Planaltina I...\"."], [418.1086120605469, 612.15087890625, 765.5061645507812, 620.9771728515625, "No Decreto de 09 de janeiro de 2020, publicado no DODF n 07, de 10 de janeiro de 2020, pagina"], [418.1086120605469, 625.546630859375, 765.470458984375, 634.3729248046875, "02, o ato que nomeou ADJANIO FRANCISCO DOS SANTOS da Secretaria de Estado de Justica e"], [418.1086120605469, 638.9423828125, 765.450439453125, 647.7686767578125, "Cidadania do Distrito Federal, ONDE SE LE: \"...do Conselho Tutelar de Samambaia I...\", LEIA-SE:"], [418.1086120605469, 652.338134765625, 575.826416015625, 661.1644287109375, "\"... do Conselho Tutelar de Samambaia II...\"."], [418.1086120605469, 665.7349243164062, 765.5061645507812, 674.5612182617188, "No Decreto de 09 de janeiro de 2020, publicado no DODF n 07, de 10 de janeiro de 2020, pagina"], [418.1086120605469, 679.1306762695312, 765.48486328125, 687.9569702148438, "02, o ato que nomeou AGENILDO NERI DA SILVA da Secretaria de Estado de Justica e Cidadania"], [418.1086120605469, 692.5264282226562, 765.39794921875, 701.3527221679688, "do Distrito Federal, ONDE SE LE: \"...do Conselho Tutelar de Samambaia II...\", LEIA-SE: \"... do"], [418.1086120605469, 705.9221801757812, 547.525390625, 714.7484741210938, "Conselho Tutelar de Samambaia I...\"."], [562.6087646484375, 327.3202819824219, 620.8627319335938, 341.7894592285156, "SECAO II"], [418.1086120605469, 220.48458862304688, 765.4971923828125, 316.19305419921875, "Art. 3o Os creditos suplementares e especiais que vierem a ser abertos ate a publicacao do Decreto de que\ntrata o caput do art. 1o, relativos ao grupo de natureza de despesa \"Outras Despesas Correntes\", estarao\nsujeitos ao limite de que trata o caput do art. 1o.\nArt. 4o Excepcionalmente, a Secretaria de Estado de Economia do Distrito Federal, mediante solicitacao\nformal do titular da unidade orcamentaria, podera autorizar a emissao de empenho em valor superior ao\nlimite de que trata o art. 1o.\nArt. 5o Este Decreto entra em vigor na data de sua publicacao.\nBrasilia, 10 de janeiro de 2020\n132o da Republica e 60o de Brasilia\nMARCUS VINICIUS BRITO\nGovernador em exercicio"]]}