Parsing codexes #26
Merged
Parsing codexes #26
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
…ltaneously divide into punkts and abzats.
…ort the division of articles into smaller parts than the article parts themselves.
Vasar007
added
type/feature
2 tasks
Rexarrior
previously approved these changes
Nov 23, 2018
Vasar007
reviewed
Nov 23, 2018
web_crawler/law_codes.py
Outdated
| encoding='utf-8') as file: | ||
| file.write(doc_id + '\n') | ||
| # print('ok') | ||
| # pathToFile = f'{cls.CODE_PART_KEY}.json' |
There was a problem hiding this comment.
Опять много комментариев с кодом)
There was a problem hiding this comment.
Удалил неиспользуемое. Остальные нужны, в тех местах непосредственно будет продолжена разработка.
| codes = {'КОАПРФ', 'НКРФ', 'ГКРФ', 'УКРФ'} | ||
| get_content(codes) | ||
| print(f"\nCodes processing spent {time.time()-start_time} seconds.\n") | ||
| input("press any key...") |
There was a problem hiding this comment.
Так норм, но если дальше потребуется расширение, нужно применять паттерны. Куча if-выражений всегда является признаком "кода с запахом", думаю, тут КА может хорошо зайти. Ну, а пока так оставим.
| @@ -135,7 +135,7 @@ def get_decision_headers(pagesNumber=None, sourcePrefix='КСРФ'): | |||
| page = html.document_fromstring(get_page_html_by_num( | |||
| driver, template, i)) | |||
| if True: # debug print: | |||
| print(f"Pages downloaded: {i-1}/{pagesNumber}") | |||
| print(f"Pages downloaded: {i-1}/{pagesNumber}", end='\r') | |||
There was a problem hiding this comment.
Возврат каретки. Чтобы при обновлении строки менялся номер, а не выводилась новая строка.
Vasar007
approved these changes
Nov 23, 2018
Vasar007
requested changes
Nov 23, 2018
Vasar007
approved these changes
Nov 23, 2018
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Pull Request
Описание
Парсинг кодексов (ГК, НК, КоАП, УК), ниже частей пока не делит. Так же сохраняет редакции в файл в виде json-строк. Использование обычного json невозможно из-за объема данных.
Закрытые issues
closes #21
closes #22
closes #23
Дополнительная информация
Под кодексы нужно обновить модели в базе, так как добавились новые поля. Описаны будут на скриншотах ниже.
Также из-за объема кодексов они хранятся не в json-файле, а в файле, где каждая строка — корректный json, если эти строки объединить, то получился бы исходный json-файл.
Ссылка на ГК, НК, КоАП, УК https://yadi.sk/d/tLWbHXdSAIzxMw
Скриншот 1. Как это выглядит в файле
Скриншот 2. Кодекс, редакция
Скриншот 3. Подробнее про cons_selected_info
Скриншот 4. Некоторая дополнительная информация
