data_utils.rst

data_utils

The :py:mod:`data_utils` module provides needed functions for data loading and parsing

Functions

• :py:func:`wikirec.data_utils.input_conversion_dict`
• :py:func:`wikirec.data_utils.download_wiki`
• :py:func:`wikirec.data_utils._process_article`
• :py:func:`wikirec.data_utils._iterate_and_parse_file`
• :py:func:`wikirec.data_utils.parse_to_ndjson`
• :py:func:`wikirec.data_utils._combine_tokens_to_str`
• :py:func:`wikirec.data_utils._clean_text_strings`
• :py:func:`wikirec.data_utils._lower_remove_unwanted`
• :py:func:`wikirec.data_utils._lemmatize`
• :py:func:`wikirec.data_utils._subset_and_combine_tokens`
• :py:func:`wikirec.data_utils.clean`

Classes

• :py:class:`wikirec.data_utils.WikiXmlHandler`

.. autofunction:: wikirec.data_utils.input_conversion_dict

.. autofunction:: wikirec.data_utils.download_wiki

.. autofunction:: wikirec.data_utils._process_article

.. autofunction:: wikirec.data_utils._iterate_and_parse_file

.. autofunction:: wikirec.data_utils.parse_to_ndjson

.. autofunction:: wikirec.data_utils._combine_tokens_to_str

.. autofunction:: wikirec.data_utils._clean_text_strings

.. autofunction:: wikirec.data_utils._lower_remove_unwanted

.. autofunction:: wikirec.data_utils._lemmatize

.. autofunction:: wikirec.data_utils._subset_and_combine_tokens

.. autofunction:: wikirec.data_utils.clean

.. autoclass:: wikirec.data_utils.WikiXmlHandler
   :members:
   :private-members: