Test PIM-PDF.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from src.pimpdf import PDFDecoder\n",
    "import os\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "91086f67-844f-40df-8e14-521ddf0ccde1    .\\dumps\\rec\\91086f67-844f-40df-8e14-521ddf0ccd...\n",
       "1855c4fa-3402-4383-9127-3af8bafb6735    .\\dumps\\rec\\1855c4fa-3402-4383-9127-3af8bafb67...\n",
       "7dacc697-1f15-4a38-9427-4b82f901a4f5    .\\dumps\\rec\\7dacc697-1f15-4a38-9427-4b82f901a4...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    .\\dumps\\rec\\9f9fc2fa-c3e2-4cb1-9f09-6d031d3382...\n",
       "dtype: object"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "uid_list = ['91086f67-844f-40df-8e14-521ddf0ccde1',\n",
    "            '1855c4fa-3402-4383-9127-3af8bafb6735',\n",
    "            '7dacc697-1f15-4a38-9427-4b82f901a4f5',\n",
    "            '9f9fc2fa-c3e2-4cb1-9f09-6d031d338282']\n",
    "\n",
    "path_list = [os.path.join('.', 'dumps', 'rec', uid, 'FTF.pdf') for uid in uid_list]\n",
    "\n",
    "path_series = pd.Series(path_list, index=uid_list)\n",
    "path_series\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "The `path_to_text` method enables one to extract all the textual content of a document as a single long string:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "\"Sauce Hollandaise                     \\n\\nKnorr \\n\\nLES PLUS PRODUIT \\n \\n- Texture légère \\n- Sauce préparée avec du beurre \\n- Sans exhausteur de goût ajouté \\n- Sans conservateur \\n \\n\\nINFORMATIONS PRODUIT \\n \\nDénomination légale du produit: préparation déshydratée pour sauce hollandaise. \\n \\nMode d’emploi: Disperser la quantité nécessaire de préparation pour Sauce Hollandaise, dans l’eau froide, à \\nl’aide d’un fouet. Porter à ébullition. Hors du feu, ajouter le beurre coupé en morceaux.  \\n \\nDosage: dosage recommandé: 165g/1L d’ eau+ 500g de beurre \\n               dosage économique: 165g/ 1,2L d’eau+ 300g de beurre \\n \\nListe d’ingrédients: LAIT écrémé, amidon modifié de maïs, sel, jaune d'OEUF : 4,2%, maltodextrine, huile de \\nmaïs, oignon, acidifiant : acide citrique, jus de citron : 0,7%, arômes (dont CÉLERI), épaississant :gomme guar, \\nextrait de levure, poivre, colorant : caroténoïdes. \\nPeut contenir: gluten. \\n \\nAllergènes, selon la Directive Européenne (2007/68/CE): \\n \\n- présents dans la recette: LAIT-LACTOSE , ŒUF , CELERI . \\n- Peut contenir: gluten. \\n\\nRendement: 8.5L \\n\\nPour 100ml de produit \\n\\n1180 kJ /  282 kcal \\n\\npréparé \\n\\nEnergie \\n\\nGraisses \\n\\n Glucides \\n\\ntel que vendu \\n\\n               1,4 g \\n\\n               5,5 g \\n\\n                28 g \\n\\n1483 kJ / 354 kcal \\n\\nPour 100 g de produit \\n\\n- Dont acides gras saturés \\n\\n \\n- Dont sucres \\n\\nValeurs nutritionnelles moyennes \\n\\nINFORMATIONS NUTRITIONNELLES \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n** % d’Apport de Référence pour un adulte type (8400KJ/2000 kcal).  \\n \\n \\n \\nConvient aux végétariens (pas de viande ou poisson): non \\nConvient aux végétaliens (pas de produits provenant des animaux, poissons): non \\n\\n Fibres alimentaires \\n\\n             <0,5 g \\n\\n                17 g \\n\\n               6,5 g \\n\\n               2,8 g \\n\\n               2,0 g \\n\\n             0,85 g \\n\\n                58 g \\n\\n                24 g \\n\\n               0,9 g \\n\\n                16 g \\n\\n               7,9 g \\n\\n Protéines \\n\\nSel \\n\\nPour une portion de \\n\\n50ml de produit préparé \\n\\n590 kJ / 141 kcal \\n\\n** \\n\\n7 \\n\\n                 14 g \\n\\n                   20 \\n\\n                8,4 g \\n\\n                  42 \\n\\n                3,3 g \\n\\n                    1 \\n\\n                1,4 g \\n\\n                    2 \\n\\n              <0,5 g \\n\\n                 NA \\n\\n                1,0 g \\n\\n                   2 \\n\\n              0,43 g \\n\\n                  7 \\n\\nMise à jour en Novembre 2014, FT n°6404803, rédigée par le service Qualité \\n\\n\\x0cSauce Hollandaise                     \\n\\nKnorr \\n\\nM - cfu/g \\n\\nSalmonella \\n\\nINFORMATIONS TECHNIQUES \\n \\nCaractéristiques physico-chimiques : \\nTeneur en sel (NaCl) dans le produit déshydraté : 7.4 %. \\n \\nCaractéristiques microbiologiques, selon le règlement (CE) n°1441/2007 du 5 décembre 2007 modifiant \\nle règlement (CE) n°2073/2005 concernant les critères microbiologiques applicables aux denrées alimentaires: \\n \\n \\n \\n \\n \\n \\n \\nDLUO Garantie Client Distributeur : 120 jours. \\n \\nMode de conservation du produit déshydraté \\nAvant ouverture : Conserver la boite dans un endroit frais et sec, à température ambiante et à l’abri de la \\nlumière. \\nAprès ouverture : Bien refermer la boite après utilisation. Ne pas changer d’emballage d’origine. A conserver à \\nl’abri de la lumière, dans un endroit frais et sec. La température ne doit pas dépasser 25°C.  \\nAprès ouverture, une fois le produit reconstitué, nous vous recommandons de le consommer dans un délai \\nde 24h et de le conserver en chambre froide à température positive. \\n \\nQualité : Norme ISO 9001: 2000 \\n \\n \\n \\n \\n\\nHACCP en place \\nProduit non soumis à l’étiquetage OGM, conformément à la réglementation en vigueur \\nProduit non ionisé \\nProduit ne nécessitant pas de numéro d’agrément sanitaire CEE \\n\\nStaphylococcus aureus \\n\\nabsence dans 25 g \\n\\nEscherichia coli \\n\\n1000 \\n\\n100 \\n\\n \\n\\nUNITE \\n\\nEAN 13 \\n\\nELEMENT \\n\\nCODIFICATION \\n\\nNORME GENCOD \\n\\nINFORMATIONS LOGISTIQUES \\n \\nPlan de palettisation (palette 1200*800) : \\n \\n \\n \\n \\n \\nCONSOMMATEUR \\n \\n \\n \\n \\n \\n \\nCode douanier : 21039090 \\n\\n3011360040480 \\n\\n3011364048062 \\n\\n8712566105564 \\n\\n3011364048567 \\n\\n5  COUCHE \\n\\nPALETTE \\n\\nCOUCHE \\n\\nCARTON \\n\\nCARTON \\n\\n45 \\n\\n6 \\n\\n9 \\n\\nDESCRIPTION DETAILLEE \\n\\nde la PALETTISATION \\n\\nCT6 SAUCE HOLLANDAISE NE \\n\\nAVEC POIDS PALETTE \\n\\nDIMENSIONS EN MM AVEC HAUTEUR PALETTE \\n\\nPOIDS NET \\n\\nPOIDS BRUT \\n\\nLONGUEUR \\n\\n/KG \\n\\n/ KG \\n\\nPROFONDEUR \\n\\nLARGEUR  HAUTEUR \\n\\nVOL. DM3               \\n\\n(pal M3) \\n\\n0,825 \\n\\n0,953 \\n\\n115,00 \\n\\n130,00 \\n\\n179,00 \\n\\n2,68 \\n\\n  \\n\\n  \\n\\nUC/Cart    \\n\\n4,950 \\n\\n5,720 \\n\\n356,00 \\n\\n268,00 \\n\\n185,00 \\n\\n17,65 \\n\\n54 \\n\\nUC/Che    \\n\\n44,550 \\n\\n51,480 \\n\\n1200,00 \\n\\n800,00 \\n\\n185,00 \\n\\n177,60 \\n\\nCARTON  270  UC/Pal    \\n\\n222,750 \\n\\n282,400 \\n\\n1200,00 \\n\\n800,00 \\n\\n1075,00 \\n\\n1,03 \\n\\nNOUS CONTACTER \\n\\n \\n\\nUNILEVER France Food Solutions \\n\\n23 rue François Jacob \\n\\n92842 Rueil-Malmaison cedex \\nwww.unileverfoodsolutions.fr \\n\\n \\n\\nVous pouvez également nous contacter par mail : \\n\\nQualite.foodsolutions@unilever.com  \\n\\nMise à jour en Novembre 2014, FT n°6404803, rédigée par le service \\n\\nQualité \\n\\n\\x0c\""
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "PDFDecoder.path_to_text(path_series.iloc[0])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "The `path_to_blocks` method just takes this long text and splits it at double carriage returns:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Sauce Hollandaise                     ',\n",
       " 'Knorr ',\n",
       " 'LES PLUS PRODUIT \\n \\n- Texture légère \\n- Sauce préparée avec du beurre \\n- Sans exhausteur de goût ajouté \\n- Sans conservateur \\n ',\n",
       " \"INFORMATIONS PRODUIT \\n \\nDénomination légale du produit: préparation déshydratée pour sauce hollandaise. \\n \\nMode d’emploi: Disperser la quantité nécessaire de préparation pour Sauce Hollandaise, dans l’eau froide, à \\nl’aide d’un fouet. Porter à ébullition. Hors du feu, ajouter le beurre coupé en morceaux.  \\n \\nDosage: dosage recommandé: 165g/1L d’ eau+ 500g de beurre \\n               dosage économique: 165g/ 1,2L d’eau+ 300g de beurre \\n \\nListe d’ingrédients: LAIT écrémé, amidon modifié de maïs, sel, jaune d'OEUF : 4,2%, maltodextrine, huile de \\nmaïs, oignon, acidifiant : acide citrique, jus de citron : 0,7%, arômes (dont CÉLERI), épaississant :gomme guar, \\nextrait de levure, poivre, colorant : caroténoïdes. \\nPeut contenir: gluten. \\n \\nAllergènes, selon la Directive Européenne (2007/68/CE): \\n \\n- présents dans la recette: LAIT-LACTOSE , ŒUF , CELERI . \\n- Peut contenir: gluten. \",\n",
       " 'Rendement: 8.5L ',\n",
       " 'Pour 100ml de produit ',\n",
       " '1180 kJ /  282 kcal ',\n",
       " 'préparé ',\n",
       " 'Energie ',\n",
       " 'Graisses ',\n",
       " ' Glucides ',\n",
       " 'tel que vendu ',\n",
       " '               1,4 g ',\n",
       " '               5,5 g ',\n",
       " '                28 g ',\n",
       " '1483 kJ / 354 kcal ',\n",
       " 'Pour 100 g de produit ',\n",
       " '- Dont acides gras saturés ',\n",
       " ' \\n- Dont sucres ',\n",
       " 'Valeurs nutritionnelles moyennes ',\n",
       " 'INFORMATIONS NUTRITIONNELLES \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n \\n** % d’Apport de Référence pour un adulte type (8400KJ/2000 kcal).  \\n \\n \\n \\nConvient aux végétariens (pas de viande ou poisson): non \\nConvient aux végétaliens (pas de produits provenant des animaux, poissons): non ',\n",
       " ' Fibres alimentaires ',\n",
       " '             <0,5 g ',\n",
       " '                17 g ',\n",
       " '               6,5 g ',\n",
       " '               2,8 g ',\n",
       " '               2,0 g ',\n",
       " '             0,85 g ',\n",
       " '                58 g ',\n",
       " '                24 g ',\n",
       " '               0,9 g ',\n",
       " '                16 g ',\n",
       " '               7,9 g ',\n",
       " ' Protéines ',\n",
       " 'Sel ',\n",
       " 'Pour une portion de ',\n",
       " '50ml de produit préparé ',\n",
       " '590 kJ / 141 kcal ',\n",
       " '** ',\n",
       " '7 ',\n",
       " '                 14 g ',\n",
       " '                   20 ',\n",
       " '                8,4 g ',\n",
       " '                  42 ',\n",
       " '                3,3 g ',\n",
       " '                    1 ',\n",
       " '                1,4 g ',\n",
       " '                    2 ',\n",
       " '              <0,5 g ',\n",
       " '                 NA ',\n",
       " '                1,0 g ',\n",
       " '                   2 ',\n",
       " '              0,43 g ',\n",
       " '                  7 ',\n",
       " 'Mise à jour en Novembre 2014, FT n°6404803, rédigée par le service Qualité ',\n",
       " '\\x0cSauce Hollandaise                     ',\n",
       " 'Knorr ',\n",
       " 'M - cfu/g ',\n",
       " 'Salmonella ',\n",
       " 'INFORMATIONS TECHNIQUES \\n \\nCaractéristiques physico-chimiques : \\nTeneur en sel (NaCl) dans le produit déshydraté : 7.4 %. \\n \\nCaractéristiques microbiologiques, selon le règlement (CE) n°1441/2007 du 5 décembre 2007 modifiant \\nle règlement (CE) n°2073/2005 concernant les critères microbiologiques applicables aux denrées alimentaires: \\n \\n \\n \\n \\n \\n \\n \\nDLUO Garantie Client Distributeur : 120 jours. \\n \\nMode de conservation du produit déshydraté \\nAvant ouverture : Conserver la boite dans un endroit frais et sec, à température ambiante et à l’abri de la \\nlumière. \\nAprès ouverture : Bien refermer la boite après utilisation. Ne pas changer d’emballage d’origine. A conserver à \\nl’abri de la lumière, dans un endroit frais et sec. La température ne doit pas dépasser 25°C.  \\nAprès ouverture, une fois le produit reconstitué, nous vous recommandons de le consommer dans un délai \\nde 24h et de le conserver en chambre froide à température positive. \\n \\nQualité : Norme ISO 9001: 2000 \\n \\n \\n \\n ',\n",
       " 'HACCP en place \\nProduit non soumis à l’étiquetage OGM, conformément à la réglementation en vigueur \\nProduit non ionisé \\nProduit ne nécessitant pas de numéro d’agrément sanitaire CEE ',\n",
       " 'Staphylococcus aureus ',\n",
       " 'absence dans 25 g ',\n",
       " 'Escherichia coli ',\n",
       " '1000 ',\n",
       " '100 ',\n",
       " ' ',\n",
       " 'UNITE ',\n",
       " 'EAN 13 ',\n",
       " 'ELEMENT ',\n",
       " 'CODIFICATION ',\n",
       " 'NORME GENCOD ',\n",
       " 'INFORMATIONS LOGISTIQUES \\n \\nPlan de palettisation (palette 1200*800) : \\n \\n \\n \\n \\n \\nCONSOMMATEUR \\n \\n \\n \\n \\n \\n \\nCode douanier : 21039090 ',\n",
       " '3011360040480 ',\n",
       " '3011364048062 ',\n",
       " '8712566105564 ',\n",
       " '3011364048567 ',\n",
       " '5  COUCHE ',\n",
       " 'PALETTE ',\n",
       " 'COUCHE ',\n",
       " 'CARTON ',\n",
       " 'CARTON ',\n",
       " '45 ',\n",
       " '6 ',\n",
       " '9 ',\n",
       " 'DESCRIPTION DETAILLEE ',\n",
       " 'de la PALETTISATION ',\n",
       " 'CT6 SAUCE HOLLANDAISE NE ',\n",
       " 'AVEC POIDS PALETTE ',\n",
       " 'DIMENSIONS EN MM AVEC HAUTEUR PALETTE ',\n",
       " 'POIDS NET ',\n",
       " 'POIDS BRUT ',\n",
       " 'LONGUEUR ',\n",
       " '/KG ',\n",
       " '/ KG ',\n",
       " 'PROFONDEUR ',\n",
       " 'LARGEUR  HAUTEUR ',\n",
       " 'VOL. DM3               ',\n",
       " '(pal M3) ',\n",
       " '0,825 ',\n",
       " '0,953 ',\n",
       " '115,00 ',\n",
       " '130,00 ',\n",
       " '179,00 ',\n",
       " '2,68 ',\n",
       " '  ',\n",
       " '  ',\n",
       " 'UC/Cart    ',\n",
       " '4,950 ',\n",
       " '5,720 ',\n",
       " '356,00 ',\n",
       " '268,00 ',\n",
       " '185,00 ',\n",
       " '17,65 ',\n",
       " '54 ',\n",
       " 'UC/Che    ',\n",
       " '44,550 ',\n",
       " '51,480 ',\n",
       " '1200,00 ',\n",
       " '800,00 ',\n",
       " '185,00 ',\n",
       " '177,60 ',\n",
       " 'CARTON  270  UC/Pal    ',\n",
       " '222,750 ',\n",
       " '282,400 ',\n",
       " '1200,00 ',\n",
       " '800,00 ',\n",
       " '1075,00 ',\n",
       " '1,03 ',\n",
       " 'NOUS CONTACTER ',\n",
       " ' ',\n",
       " 'UNILEVER France Food Solutions ',\n",
       " '23 rue François Jacob ',\n",
       " '92842 Rueil-Malmaison cedex \\nwww.unileverfoodsolutions.fr ',\n",
       " ' ',\n",
       " 'Vous pouvez également nous contacter par mail : ',\n",
       " 'Qualite.foodsolutions@unilever.com  ',\n",
       " 'Mise à jour en Novembre 2014, FT n°6404803, rédigée par le service ',\n",
       " 'Qualité ',\n",
       " '\\x0c']"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "PDFDecoder.path_to_blocks(path_series.iloc[0])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "The `paths_to_blocks` methods takes a series with key uid of products an values the local path of a document and produces a pandas Series with key uid and values the blocks of the series:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Wall time: 8.4 s\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "91086f67-844f-40df-8e14-521ddf0ccde1               Sauce Hollandaise                     \n",
       "91086f67-844f-40df-8e14-521ddf0ccde1                                               Knorr \n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    LES PLUS PRODUIT \\n \\n- Texture légère \\n- Sau...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    INFORMATIONS PRODUIT \\n \\nDénomination légale ...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1                                     Rendement: 8.5L \n",
       "                                                              ...                        \n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    Nestlé France S.A.S. 542 014 428 RCS MEAUX , N...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    Les dernières mises à jour sont disponibles su...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                           Page 2 / 2\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                Version du 27/02/2017\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                                    \n",
       "\n",
       "Length: 539, dtype: object"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "PDFDecoder.paths_to_blocks(path_series)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "`threaded_paths_to_blocks` provides the exact same functionality, but is built on top of multiprocessing `Pool` class. It is slower on low volumes, but depending on core count of the machine can be several times faster."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Launching 4 processes.\n",
      "Wall time: 29 s\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "91086f67-844f-40df-8e14-521ddf0ccde1               Sauce Hollandaise                     \n",
       "91086f67-844f-40df-8e14-521ddf0ccde1                                               Knorr \n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    LES PLUS PRODUIT \\n \\n- Texture légère \\n- Sau...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    INFORMATIONS PRODUIT \\n \\nDénomination légale ...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1                                     Rendement: 8.5L \n",
       "                                                              ...                        \n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    Nestlé France S.A.S. 542 014 428 RCS MEAUX , N...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    Les dernières mises à jour sont disponibles su...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                           Page 2 / 2\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                Version du 27/02/2017\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                                    \n",
       "\n",
       "Length: 539, dtype: object"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "PDFDecoder.threaded_paths_to_blocks(path_series)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "See the time comparisons below, on 100 documents to parse:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "91086f67-844f-40df-8e14-521ddf0ccde1    .\\dumps\\rec\\91086f67-844f-40df-8e14-521ddf0ccd...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    .\\dumps\\rec\\91086f67-844f-40df-8e14-521ddf0ccd...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    .\\dumps\\rec\\91086f67-844f-40df-8e14-521ddf0ccd...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    .\\dumps\\rec\\91086f67-844f-40df-8e14-521ddf0ccd...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    .\\dumps\\rec\\91086f67-844f-40df-8e14-521ddf0ccd...\n",
       "                                                              ...                        \n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    .\\dumps\\rec\\9f9fc2fa-c3e2-4cb1-9f09-6d031d3382...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    .\\dumps\\rec\\9f9fc2fa-c3e2-4cb1-9f09-6d031d3382...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    .\\dumps\\rec\\9f9fc2fa-c3e2-4cb1-9f09-6d031d3382...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    .\\dumps\\rec\\9f9fc2fa-c3e2-4cb1-9f09-6d031d3382...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    .\\dumps\\rec\\9f9fc2fa-c3e2-4cb1-9f09-6d031d3382...\n",
       "Length: 100, dtype: object"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "long_series = path_series.repeat(25)\n",
    "long_series"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Wall time: 3min\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "91086f67-844f-40df-8e14-521ddf0ccde1               Sauce Hollandaise                     \n",
       "91086f67-844f-40df-8e14-521ddf0ccde1                                               Knorr \n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    LES PLUS PRODUIT \\n \\n- Texture légère \\n- Sau...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    INFORMATIONS PRODUIT \\n \\nDénomination légale ...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1                                     Rendement: 8.5L \n",
       "                                                              ...                        \n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    Nestlé France S.A.S. 542 014 428 RCS MEAUX , N...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    Les dernières mises à jour sont disponibles su...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                           Page 2 / 2\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                Version du 27/02/2017\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                                    \n",
       "\n",
       "Length: 13475, dtype: object"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "PDFDecoder.paths_to_blocks(long_series)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Launching 4 processes.\n",
      "Wall time: 1min 31s\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "91086f67-844f-40df-8e14-521ddf0ccde1               Sauce Hollandaise                     \n",
       "91086f67-844f-40df-8e14-521ddf0ccde1                                               Knorr \n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    LES PLUS PRODUIT \\n \\n- Texture légère \\n- Sau...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1    INFORMATIONS PRODUIT \\n \\nDénomination légale ...\n",
       "91086f67-844f-40df-8e14-521ddf0ccde1                                     Rendement: 8.5L \n",
       "                                                              ...                        \n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    Nestlé France S.A.S. 542 014 428 RCS MEAUX , N...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282    Les dernières mises à jour sont disponibles su...\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                           Page 2 / 2\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                Version du 27/02/2017\n",
       "9f9fc2fa-c3e2-4cb1-9f09-6d031d338282                                                    \n",
       "\n",
       "Length: 13475, dtype: object"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "PDFDecoder.threaded_paths_to_blocks(long_series)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Threaded version is 1.85 times faster on 100 documents, on a computer with 2 physical cores (and 4 virtual cores)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "b'\\xef\\xbb\\xbfJust a small file.'\n"
     ]
    }
   ],
   "source": [
    "with open(os.path.join('.', 'test', 'test_data', '004_smallfile.txt'), mode='rb') as file:\n",
    "    print(file.read())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}