Skip to content

Documentation — law_codes.py

revoltMoon edited this page Nov 27, 2018 · 18 revisions

_get_cookie

  • Получение куки из ответа с сервера.

Объявление

  • def _get_cookie(response: )

Параметры

  1. response — ответ с сервера.

Возвращает

  1. str — куки

_get_page

  • Получение данных со страницы.

Объявление

  • def _get_page(url: str, reqHeaders: , prevResponse: , referer: , raw: bool)

Параметры

  1. url — url страницы, которую надо получить;
  2. reqHeaders — ;
  3. prevResponse — , по умолчанию = None;
  4. referer — , по умолчанию = None;
  5. raw — , по умолчанию = false.

Возвращает

  1. tuple(response.read(), response) данные со страницы.

_decode_json_from_str

  • Парсим JSON.

Объявление

  • _decode_json_from_str(content: str)

Параметры

  1. content — строка в формате JSON.

Возвращает

  1. Распарсенные данные из JSON'а.

class _BaseCode

  • Класс, описывающий .

class _Ukrf(_BaseCode)

  • Класс, описывающий .

class _Koaprf(_BaseCode)

  • Класс, описывающий .

class _Nkrf(_BaseCode)

  • Класс, описывающий .

class _Gkrf(_BaseCode)

  • Класс, описывающий .

get_content

  • Получение контента из распарсенных данных.

Объявление

  • def get_content( codes: set, pathToResultJsonLinesFile: str, pathToFileForKeysThathWereDownloadedYet: str)

Параметры

  1. codes — по умолчанию = _ALL_CODES=frozenset(_codesParsers.keys());
  2. pathToResultJsonLinesFile — путь к файлу с JSON строками из результата, по умолчанию = codeHeaders.jsonlines;
  3. pathToFileForKeysThathWereDownloadedYet — путь к файлу для ключей, который мы только что скачали, по умолчанию = processedYet.keys.

Возвращает

  1. None, но вызывает _codesParsers[code].get_code_content(pathToResultJsonLinesFile, pathToFileForKeysThathWereDownloadedYet), передавая тем самым данные туда.

judyst-web-crawler wiki

Clone this wiki locally