Salesken Model for Translation from Huggingface.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "1e80cd93",
   "metadata": {},
   "source": [
    "# SALESKEN / Translation-hi-en\n",
    "\n",
    "url = https://huggingface.co/salesken/translation-hi-en\n",
    "\n",
    "opus-mt model finetuned on ai4bhart Hindi-English parallel corpora (SAMANANTAR)\n",
    "\n",
    "source-language: Hindi\n",
    "\n",
    "target-language: English"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "a8732902",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: transformers in c:\\users\\vio\\anaconda3\\lib\\site-packages (4.10.3)\n",
      "Requirement already satisfied: pyyaml>=5.1 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from transformers) (5.4.1)\n",
      "Requirement already satisfied: sacremoses in c:\\users\\vio\\anaconda3\\lib\\site-packages (from transformers) (0.0.46)\n",
      "Requirement already satisfied: packaging in c:\\users\\vio\\anaconda3\\lib\\site-packages (from transformers) (20.9)\n",
      "Requirement already satisfied: tokenizers<0.11,>=0.10.1 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from transformers) (0.10.3)\n",
      "Requirement already satisfied: tqdm>=4.27 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from transformers) (4.59.0)\n",
      "Requirement already satisfied: huggingface-hub>=0.0.12 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from transformers) (0.0.17)\n",
      "Requirement already satisfied: regex!=2019.12.17 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from transformers) (2021.4.4)\n",
      "Requirement already satisfied: filelock in c:\\users\\vio\\anaconda3\\lib\\site-packages (from transformers) (3.0.12)\n",
      "Requirement already satisfied: requests in c:\\users\\vio\\anaconda3\\lib\\site-packages (from transformers) (2.25.1)\n",
      "Requirement already satisfied: numpy>=1.17 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from transformers) (1.20.1)\n",
      "Requirement already satisfied: typing-extensions in c:\\users\\vio\\anaconda3\\lib\\site-packages (from huggingface-hub>=0.0.12->transformers) (3.7.4.3)\n",
      "Requirement already satisfied: pyparsing>=2.0.2 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from packaging->transformers) (2.4.7)\n",
      "Requirement already satisfied: certifi>=2017.4.17 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from requests->transformers) (2020.12.5)\n",
      "Requirement already satisfied: chardet<5,>=3.0.2 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from requests->transformers) (4.0.0)\n",
      "Requirement already satisfied: urllib3<1.27,>=1.21.1 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from requests->transformers) (1.26.4)\n",
      "Requirement already satisfied: idna<3,>=2.5 in c:\\users\\vio\\anaconda3\\lib\\site-packages (from requests->transformers) (2.10)\n",
      "Requirement already satisfied: click in c:\\users\\vio\\anaconda3\\lib\\site-packages (from sacremoses->transformers) (7.1.2)\n",
      "Requirement already satisfied: joblib in c:\\users\\vio\\anaconda3\\lib\\site-packages (from sacremoses->transformers) (1.0.1)\n",
      "Requirement already satisfied: six in c:\\users\\vio\\anaconda3\\lib\\site-packages (from sacremoses->transformers) (1.15.0)\n"
     ]
    }
   ],
   "source": [
    "!pip install transformers"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "51c3a122",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: sentencepiece in c:\\users\\vio\\anaconda3\\lib\\site-packages (0.1.96)\n"
     ]
    }
   ],
   "source": [
    "!pip install sentencepiece"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "5bb8292f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# to tokenize the story\n",
    "from indicnlp.tokenize import sentence_tokenize\n",
    "\n",
    "import re"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "b80cc339",
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "from transformers import AutoTokenizer, AutoModelForSeq2SeqLM"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "8dba2f9d",
   "metadata": {},
   "outputs": [],
   "source": [
    "tokenizer = AutoTokenizer.from_pretrained(\"salesken/translation-hi-en\")\n",
    "model = AutoModelForSeq2SeqLM.from_pretrained(\"salesken/translation-hi-en\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "f47ae3c6",
   "metadata": {},
   "outputs": [],
   "source": [
    "story = '''\n",
    "झोपड़े के द्वार पर बाप और बेटा दोनों एक बुझे हुए अलाव के और अन्दर बेटे कि जवान बीवी बुधिया प्रसव-वेदना से पछाड़ खा रही थी। रह-रहकर उसके मुँह से ऐसी दिल हिला देने वाली आवाज़ निकलती थी, कि दोनों कलेजा थाम लेते थे। जाड़े की रात थी, प्रकृति सन्नाटे में डूबी हुई, सारा गाँव अन्धकार में लय हो गया था।\n",
    "\n",
    "घीसू ने कहा – मालूम होता है, बचेगी नहीं। सारा दिन दौड़ते ही गया, ज़रा देख तो आ।\n",
    "\n",
    "माधव चिढ़कर बोला – मरना ही है तो जल्दी मर क्यों नही जाती ? देखकर क्या करूं?\n",
    "\n",
    "‘तू बड़ा बेदर्द है बे ! साल-भर जिसके साथ सुख-चैन से रहा, उसी के साथ इतनी बेवफाई!’ ‘तो मुझसे तो उसका तड़पना और हाथ-पाँव पटकना नहीं देखा जाता।’\n",
    "\n",
    "चमारों का कुनबा था और सारे गाँव में बदनाम। घीसू एक दिन काम करता तो तीन दिन आराम करता। माधव इतना कामचोर था कि आधे घंटे काम करता तो घंटे भर चिलम पीता। इसीलिये उन्हें कहीँ मज़दूरी नहीं मिलती थी। घर में मुट्ठी भर अनाज भी मौजूद हो, तो उनके लिए काम करने कि कसम थी। जब दो-चार फाके हो जाते तो घीसू पेड़ पर चढ़कर लकड़ियां तोड़ लाता और माधव बाज़ार में बेच आता। जब तक वह पैसे रहते, दोनों इधर उधर मारे-मारे फिरते। गाँव में काम कि कमी ना थी। किसानों का गाँव था, मेहनती आदमी के लिए पचास काम थे। मगर इन दोनों को उस वक़्त बुलाते, जब दो आदमियों से एक का काम पाकर भी संतोष कर लेने के सिवा और कोई चारा ना होता। अगर दोनों साधू होते, तो उन्हें सुन्तोष और धैर्य के लिए, संयम और नियम की बिल्कुल ज़रूरत न होती। यह तो इनकी प्रकृति थी। विचित्र जीवन था इनका! घर में मिट्टी के दो-चार बर्तन के सिवा और कोई सम्पत्ति नही थी। फटे चीथ्डों से अपनी नग्नता को ढांके हुए जीये जाते थे। संसार की चिंताओं से मुक्त! कर्ज़ से लदे हुए। गालियाँ भी खाते, मार भी खाते, मगर कोई गम नहीं। दीं इतने की वसूली की बिल्कुल आशा ना रहने पर भी लोग इन्हें कुछ न कुछ कर्ज़ दे देते थे। मटर, आलू कि फसल में दूसरों के खेतों से मटर या आलू उखाड़ लाते और भून-भूनकर खा लेते या दुस-पांच ईखें उखाड़ लाते और रात को चूसते। घीसू ने इसी आकाश-वृति से साठ साल कि उम्र काट दी और माधव भी सपूत बेटे कि तरह बाप ही के पद चिन्हों पर चल रहा था, बल्कि उसका नाम और भी उजागर कर रहा था। इस वक़्त भी दोनो अलाव के सामने बैठकर आलू भून रहे थे, जो कि किसी खेत से खोद लाए थे। घीसू की स्त्री का तो बहुत दिन हुए देहांत हो गया था। माधव का ब्याह पिछले साल हुआ था। जबसे यह औरत आयी थी, उसने इस खानदान में व्यवस्था की नींव डाली थी और इन दोनो बे-गैरतों का दोजख भारती रहती थी। जब से वोह आयी, यह दोनो और भी आराम तलब हो गए थे। बल्कि कुछ अकडने भी लगे थे। कोई कार्य करने को बुलाता, तो निर्बयाज भाव से दुगनी मजदूरी माँगते। वही औरत आज प्रसव-वेदना से मर रही थी, और यह दोनों शायद इसी इंतज़ार में थे कि वोह मर जाये, तो आराम से सोयें।\n",
    "\n",
    "घीसू ने आलू छीलते हुए कहा- जाकर देख तो, क्या दशा है उसकी? चुड़ैल का फिसाद होगा, और क्या! यहाँ तो ओझा भी एक रुपया माँगता है!\n",
    "\n",
    "माधव तो भय था कि वोह कोठरी में गया, तो घीसू आलू का एक बड़ा भाग साफ कर देगा। बोला- मुझे वहाँ जाते डर लगता है।\n",
    "\n",
    "‘डर किस बात का है, मैं तो यहाँ हूँ ही।’ ‘तो तुम्ही जाकर देखो ना।’\n",
    "\n",
    "‘मेरी औरत जब मरी थी, तो मैं तीन दिन तक उसके पास से हिला तक नही; और फिर मुझसे लजायेगा कि नहीं? जिसका कभी मुँह नही देखा; आज उसका उधडा हुआ बदन देखूं। उसे तन कि सुध भी तो ना होगी। मुझे देख लेगी तो खुलकर हाथ-पाँव भी ना पटक सकेगी!’\n",
    "\n",
    "‘मैं सोचता हूँ, कोई बाल बच्चा हुआ, तो क्या होगा? सोंठ, गुड, तेल, कुछ भी तो नही है घर में!’\n",
    "\n",
    "‘सब कुछ आ जाएगा। भगवान् दे तो! जो लोग अभी एक पैसा नहीं दे रहे हैं, वो ही कल बुलाकर रुपये देंगे। मेरे नौ लड़के हुए, घर में कभी कुछ ना था, भगवान् ने किसी ना किसी तरह बेडा पार ही लगाया।’\n",
    "\n",
    "जिस समाज में रात-दिन म्हणत करने वालों कि हालात उनकी हालात से कुछ अच्छी ना थी, और किसानों के मुकाबले में वो लोग, जो किसानों कि दुर्बलताओं से लाभ उठाना जानते थे, कहीँ ज़्यादा सम्पन्न थे, वहाँ इस तरह की मनोवृति का पैदा हो जान कोई अचरज की बात नहीं थी। हम तो कहेंगे, घीसू किसानों से कहीँ ज़्यादा विचारवान था और किसानों के विचार-शुन्य समूह में शामिल होने के बदले बैठक बाजों की कुत्सित मंडळी में जा मिलता था। हाँ, उसमें यह शक्ति ना थी कि बैठक बाजों के नियम और निति का पालन कर्ता। इसलिये जहाँ उसकी मंडळी के और लोग गाव के सरगना और मुखिया बने हुए थे, उस पर सारा गाव ऊँगली उठाता था। फिर भी उसे यह तस्कीन तो थी ही, कि अगर वोह फटेहाल हैं तो उसे किसानों की-सी जी-तोड़ म्हणत तो नही करनी पड़ती, और उसकी सरलता और निरीहता से दुसरे लोग बेजा फायदा तो नही उठाते। दोनो आलू निकल-निकलकर जलते-जलते खाने लगे। कल से कुछ नही खाया था। इतना सब्र ना था कि उन्हें ठण्डा हो जाने दे। कई बार दोनों की ज़बान जल गयी। चिल जाने पर आलू का बहरी हिस्सा बहुत ज़्यादा गरम ना मालूम होता, लेकिन दोनों दांतों के तले पड़ते ही अन्दर का हिस्सा ज़बान, तलक और तालू जला देता था, और उस अंगारे को मुँह में रखेने से ज़्यादा खैरियत तो इसी में थी कि वो अन्दर पहुंच जाये। वहाँ उसे ठण्डा करने के लिए काफी समान था। इसलिये दोनों जल्द-जल्द निगल जाते । हालांकि इस कोशिश में उन्ही आंखों से आँसू निकल आते ।\n",
    "\n",
    "घीसू को उस वक़्त ठाकुर कि बरात याद आयी, जिसमें बीस साल पहले वोह गया था। उस दावत में उसे जो तृप्ति मिली थी, वो उसके जीवन में एक याद रखने लायक बात थी, और आज भी उसकी याद ताज़ा थी।\n",
    "\n",
    "बोला- वह भोज नही भूलता। तबसे फिर उस तरह का खाना और भर पेट नही मिला। लड्किवालों ने सबको भरपेट पूड़ीयां खिलायी थी, सबको!\n",
    "\n",
    "छोटे-बडे सबने पूडीयां खायी और असली घी कि! चटनी, रीता, तीन तरह के सूखे साग, एक रसेदार तरकारी, दही, चटनी, मिठाई, अब क्या बताऊँ कि उस भोग में क्या स्वाद मिल, कोई रोक-टोक नहीं थी, जो चीज़ चाहो, मांगो, जितना चाहो खाओ। लोगों ने ऐसा खाया, ऐसा खाया, कि किसी से पानी न पीया गया। मगर परोसने वाले हैं कि पत्तल में गरम-गरम गोल-गोल सुवासित कचौद्दीयां डाल देते हैं। मन करते हैं कि नहीं चाहिऐ, पत्तल को हाथ से रोके हुए हैं, मगर वह हैं कि दिए जाते हैं और जब सबने मुँह धो लिया, तो पान एलैची भी मिली। मगर मुझे पान लेने की कहाँ सुध थी! खङा हुआ ना जाता था। झटपट अपने कम्बल पर जाकर लेट गया। ऐसा दिल दरियाव था वह ठाकुर!\n",
    "\n",
    "माधव नें पदार्थों का मन ही मन मज़ा लेते हुए कहा- अब हमें कोई ऐसा भोजन नही खिलाता। ‘अब कोई क्या खिलायेगा। वह ज़माना दूसरा था। अब तो सबको किफायत सूझती है। शादी-ब्याह में मत खर्च करो। क्रिया-कर्म में मत खर्च करो। पूछों, गरीबों का माल बटोर-बटोर कर कहाँ रखोगे? बटोरने में तो कामं नही है। हाँ , खर्च में किफायती सूझती है। ‘\n",
    "\n",
    "‘तुमने बीस-एक पूड़ीयां खायी होंगी?’\n",
    "\n",
    "‘बीस से ज़्यादा खायी थी!’\n",
    "\n",
    "‘मैं पचास खा जाता!’\n",
    "\n",
    "‘पचास से कम मैंने भी ना खायी होगी। अच्छा पट्ठा था । तू तो मेरा आधा भी नही है ।’\n",
    "\n",
    "आलू खाकर दोनों ने पानी पिया और वहीँ अलाव के सामने अपनी धोतियाँ ओढ़्कर पाँव पेट पर डाले सो रहे। जैसे दो बडे-बडे अजगर गेदुलियाँ मारे पडे हो।\n",
    "\n",
    "और बुधिया अभी तक कराह रही थी।\n",
    "\n",
    "2.\n",
    "\n",
    "सबेरे माधव ने कोठरी में जाकर देखा, तो उसकी स्त्री ठण्डी हो गयी थी। उसके मुँह पर मक्खियां भिनक रही थी। पथ्रायी हुई आँखें ऊपर टंगी हुई थी । साड़ी देह धुल से लथपथ हो रही थी थी। उसके पेट में बच्चा मर गया था।\n",
    "\n",
    "माधव भागा हुआ घीसू के पास आया। फिर दोनों ज़ोर-ज़ोर से है-है करने और छाती पीटने लगे। पडोस्वालों ने यह रोना धोना सुना, तो दौड हुए आये और पुरानी मर्यादा के अनुसार इन अभागों को समझाने लगे।\n",
    "\n",
    "मगर ज़्यादा रोने-पीटने का अवसर ना था। कफ़न और लकड़ी की फिक्र करनी थी। घर में तो पैसा इस तरह गायब था, जैसे चील के घोसले में मॉस!\n",
    "\n",
    "बाप-बेटे रोते हुए गाव के ज़मिन्दार के पास गए। वह इन दोनों की सूरत से नफरत करते थे। कयी बार इन्हें अपने हाथों से पीट चुके थे। चोरी करने के लिए, वाडे पर काम पर न आने के लिए। पूछा- क्या है बे घिसुआ, रोता क्यों है? अब तो तू कहीँ दिखलायी भी नहीं देता! मालूम होता है, इस गाव में रहना नहीं चाहता।\n",
    "\n",
    "घीसू ने ज़मीन पर सिर रखकर आंखों से आँसू भरे हुए कहा – सरकार! बड़ी विपत्ति में हूँ। माधव कि घर-वाली गुज़र गयी। रात-भर तड़पती रही सरकार! हम दोनों उसके सिरहाने बैठे रहे। दवा दारु जो कुछ हो सका, सब कुछ किया, पर वोह हमें दगा दे गयी। अब कोई एक रोटी देने वाला भी न रह मालिक! तबाह हो गए । घर उजाड़ गया। आपका घुलाम हूँ, अब आपके सिवा कौन उसकी मिटटी पार लगायेगा। हमारे हाथ में जो कुछ था, वोह सब तो दवा दारु में उठ गया…सरकार कि ही दया होगी तो उसकी मिटटी उठेगी। आपके सिवा किसके द्वार पर जाऊं!\n",
    "\n",
    "ज़मीन्दार साहब दयालु थे। मगर घीसू पर दया करना काले कम्बल पर रंग चढाना था। जीं में तो आया, कह दे, चल, दूर हो यहाँ से। यों तोबुलाने से भी नही आता, आज जब गरज पढी तो आकर खुशामद कर रह है। हरामखोर कहीँ का, बदमाश! लेकिन यह क्रोध या दण्ड का अवसर न था। जीं में कूदते हुए दो रुपये निकालकर फ़ेंक दिए। मगर सांत्वना का एक शब्द भी मुँह से न निकला। उसकी तरफ ताका तक नहीं। जैसे सिर के बोझ उतारा हो। जब ज़मींदर साहब ने दो रुपये दिए, तो गाव के बनिए-महाजनों को इनकार का सहस कैसे होता? घीसू ज़मीन्दार का ढिंढोरा भी पीटना जानता था। किसी ने दो आने दिए, किसी ने चार आने। एक घंटे में घीसू और माधव बाज़ार से कफ़न लाने चले। इधर लोग बांस-वांस काटने लगे।\n",
    "\n",
    "गाव की नर्म दिल स्त्रियां आ-आकर लाश देखती थी, और उसकी बेबसी पर दो बूँद आँसू गिराकर चली जाती थी।\n",
    "\n",
    "3.\n",
    "\n",
    "बाज़ार में पहुंचकर, घीसू बोला – लकड़ी तो उसे जलाने भर कि मिल गयी है, क्यों माधव! माधव बोला – हाँ, लकड़ी तो बहुत है, अब कफ़न चाहिऐ।\n",
    "\n",
    "‘तो चलो कोई हल्का-सा कफ़न ले लें।\n",
    "\n",
    "‘हाँ, और क्या! लाश उठते उठते रात हो जायेगी। रात को कफ़न कौन देखता है!’\n",
    "\n",
    "‘कैसा बुरा रिवाज है कि जिसे जीते-जीं तन धांकने को चीथ्डा भी न मिले, उसे मरने पर नया कफ़न चाहिऐ।’\n",
    "\n",
    "‘कफ़न लाश के साथ जल ही तो जाता है।’\n",
    "\n",
    "‘क्या रखा रहता है! यहीं पांच रुपये पहले मिलते, तो कुछ दवा-दारु कर लेते।\n",
    "\n",
    "दोनों एक दुसरे के मॅन कि बात ताड़ रहे थे। बाज़ार में इधर-उधर घुमते रहे। कभी इस बजाज कि दुकान पर गए, कभी उस दुकान पर! तरह-तरह के कपडे, रेशमी और सूती देखे, मगर कुछ जंचा नहीं. यहाँ तक कि शाम हो गयी. तब दोनों न-जाने किस दयवी प्रेरणा से एक मधुशाला के सामने जा पहुंचे और जैसे पूर्व-निश्चित व्यवस्था से अन्दर चले गए. वहाँ ज़रा देर तक दोनों असमंजस में खडे रहे. फिर घीसू ने गड्डी के सामने जाकर कहा- साहूजी, एक बोतल हमें भी देना। उसके बाद कुछ चिखौना आया, तली हुई मछ्ली आयी, और बरामदे में बैठकर शांतिपूर्वक पीने लगे। कई कुज्जियां ताबड़्तोड़ पीने के बाद सुरूर में आ गए. घीसू बोला – कफ़न लगाने से क्या मिलता? आख़िर जल ही तो जाता. कुछ बहु के साथ तो न जाता. माधव आसमान कि तरफ देखकर बोला, मानो देवताओं को अपनी निश्पाप्ता का साक्षी बाना रह हो – दुनिया का दस्तूर है, नहीं लोग बाम्नों को हज़ारों रुपये क्यों दे देते हैं? कौन देखता है, परलोक में मिलता है या नहीं!\n",
    "\n",
    "‘बडे आदमियों के पास धन है,फूंके. हमारे पास फूंकने को क्या है!’\n",
    "\n",
    "‘लेकिन लोगों को जवाब क्या दोगे? लोग पूछेंगे नहीं, कफ़न कहाँ है?’\n",
    "\n",
    "घीसू हसा – अबे, कह देंगे कि रुपये कंमर से खिसक गए। बहुत ढूंदा, मिले नहीं. लोगों को विश्वास नहीं आएगा, लेकिन फिर वही रुपये देंगे। माधव भी हंसा – इन अनपेक्षित सौभाग्य पर. बोला – बड़ी अच्छी थी बेचारी! मरी तो ख़ूब खिला पिला कर!\n",
    "\n",
    "आधी बोतल से ज़्यादा उड़ गयी। घीसू ने दो सेर पूड़ियाँ मंगायी. चटनी, आचार, कलेजियां. शराबखाने के सामने ही दुकान थी. माधव लपककर दो पत्तलों में सारे सामान ले आया. पूरा डेड रुपया खर्च हो गया. सिर्फ थोड़े से पैसे बच रहे. दोनो इस वक़्त इस शान से बैठे पूड़ियाँ खा रहे थे जैसे जंगल में कोई शेर अपना शिकार उड़ रह हो. न जवाबदेही का खौफ था, न बदनामी का फिक्र. इन सब भावनाओं को उन्होने बहुत पहले ही जीत लिया था.\n",
    "\n",
    "घीसू दार्शनिक भाव से बोला – हमारी आत्म प्रसन्न हो रही है तो क्या उसे पुन्न न होगा? माधव ने श्रध्दा से सिर झुकाकर तस्दीख कि – ज़रूर से ज़रूर होगा. भगवान्, तुम अंतर्यामी हो. उसे बय्कुंथ ले जान. हम दोनो हृदय से आशीर्वाद दे रहे हैं. आज जो भोजन मिल वोह कहीँ उम्र-भर न मिल था. एक क्षण के बाद मॅन में एक शंका जागी. बोला – क्यों दादा, हम लोग भी एक न एक दिन वहाँ जायेंगे ही? घीसू ने इस भोले-भाले सवाल का कुछ उत्तर न दिया. वोह परलोक कि बाते सोचकर इस आनंद में बाधा न डालना चाहता था।\n",
    "\n",
    "‘जो वहाँ हम लोगों से पूछे कि तुमने हमें कफ़न क्यों नही दिया तो क्या कहेंगे?’\n",
    "\n",
    "‘कहेंगे तुम्हारा सिर!’\n",
    "\n",
    "‘पूछेगी तो ज़रूर!’\n",
    "\n",
    "‘तू कैसे जानता है कि उसे कफ़न न मिलेगा? तू मुझेईसा गधा समझता है? साठ साल क्या दुनिया में घास खोदता रह हूँ? उसको कफ़न मिलेगा और बहुत अच्छा मिलेगा!’ माधव को विश्वास न आया। बोला – कौन देगा? रुपये तो तुमने चाट कर दिए। वह तो मुझसे पूछेगी। उसकी माँग में तो सिन्दूर मैंने डाला था।\n",
    "\n",
    "घीसू गरम होकर बोला – मैं कहता हूँ, उसे कफ़न मिलेगा, तू मानता क्यों नहीं?\n",
    "\n",
    "‘कौन देगा, बताते क्यों नहीं?’ ‘वही लोग देंगे, जिन्होंने अबकी दिया । हाँ, अबकी रुपये हमारे हाथ न आएंगे। ‘\n",
    "\n",
    "ज्यों-ज्यों अँधेरा बढता था और सितारों की चमक तेज़ होती थी, मधुशाला, की रोनक भी बढती जाती थी। कोई गाता था, दींग मारता था, कोई अपने संगी के गले लिपट जाता था। कोई अपने दोस्त के मुँह में कुल्हड़ लगाए देता था। वहाँ के वातावरण में सुरूर था, हवा में नशा। कितने तो यहाँ आकर एक चुल्लू में मस्त हो जाते थे। शराब से ज़्यादा यहाँ की हवा उन पर नशा करती थी। जीवन की बाधाये यहाँ खीच लाती थी और कुछ देर के लिए यह भूल जाते थे कि वे जीते हैं कि मरते हैं। या न जीते हैं, न मरते हैं। और यह दोनो बाप बेटे अब भी मज़े ले-लेकर चुस्स्कियां ले रहे थे। सबकी निगाहें इनकी और जमी हुई थी। दोनों कितने भाग्य के बलि हैं! पूरी बोतल बीच में है।\n",
    "\n",
    "भरपेट खाकर माधव ने बची हुई पूडियों का पत्तल उठाकर एक भिखारी को दे दिया, जो खडा इनकी और भूखी आंखों से देख रह था। और देने के गौरव, आनंद, और उल्लास का अपने जीवन में पहली बार अनुभव किया।\n",
    "\n",
    "घीसू ने कहा – ले जा, ख़ूब खा और आर्शीवाद दे। बीवी कि कमायी है, वह तो मर गयी। मगर तेरा आर्शीवाद उसे ज़रूर पहुंचेगा। रोएँ-रोएँ से आर्शीवाद दो, बड़ी गाडी कमायी के पैसे हैं!\n",
    "\n",
    "माधव ने फिर आसमान की तरफ देखकर कहा – वह बैकुंठ में जायेगी दादा, बैकुंठ की रानी बनेगी।\n",
    "\n",
    "घीसू खड़ा हो गया और उल्लास की लहरों में तैरता हुआ बोला – हाँ बीटा, बैकुंठ में जायेगी। किसी को सताया नहीं, किसी को दबाया नहीं। मरते-मरते हमारी जिन्दगी की सबसे बड़ी लालसा पूरी कर गयी। वह न बैकुंठ जायेगी तो क्या मोटे-मोटे लोग जायेंगे, जो गरीबों को दोनों हाथों से लूटते हैं, और अपने पाप को धोने के लिए गंगा में नहाते हैं और मंदिरों में जल चडाते हैं?\n",
    "\n",
    "श्रद्धालुता का यह रंग तुरंत ही बदल गया। अस्थिरता नशे की खासियत है। दु:ख और निराशा का दौरा हुआ। माधव बोला – मगर दादा, बेचारी ने जिन्दगी में बड़ा दु:ख भोगा। कितना दु:ख झेलकर मरी!\n",
    "\n",
    "वह आंखों पर हाथ रखकर रोने लगा, चीखें मार-मारकर।\n",
    "\n",
    "घीसू ने समझाया – क्यों रोता हैं बेटा, खुश हो कि वह माया-जाल से मुक्त हो गई, जंजाल से छूट गयी। बड़ी भाग्यवान थी, इतनी जल्द माया-मोह के बन्धन तोड़ दिए।\n",
    "\n",
    "और दोनों खडे होकर गाने लगे – ”ठगिनी क्यों नैना झाम्कावे! ठगिनी …!”\n",
    "\n",
    "पियाक्क्ड्डों की आँखें इनकी और लगी हुई थी और वे दोनो अपने दिल में मस्त गाये जाते थे। फिर दोनों नाचने लगे। उछले भी, कूदे भी। गिरे भी, मटके भी। भाव भी बनाए, अभिनय भी किये, और आख़िर नशे से मदमस्त होकर वहीँ गिर पडे।\n",
    "'''"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "7b14772b",
   "metadata": {},
   "outputs": [],
   "source": [
    "# filtering story out\n",
    "story = str(re.sub(r\"[\\a-zA-Z\\d]+\", ' ', story))\n",
    "\n",
    "# sentence tokenization of story\n",
    "story_sent = sentence_tokenize.sentence_split(story, 'hi')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "85390073",
   "metadata": {},
   "outputs": [],
   "source": [
    "inputs = tokenizer.encode(story_sent, return_tensors=\"pt\",padding=True,max_length=512,truncation=True)\n",
    "\n",
    "outputs = model.generate(inputs, max_length=128, num_beams=None, early_stopping=True)\n",
    "\n",
    "translated = tokenizer.decode(outputs[0]).replace('<pad>',\"\").strip().lower()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "11b0b48b",
   "metadata": {},
   "outputs": [],
   "source": [
    "translated_story = []\n",
    "\n",
    "for sent in story_sent:\n",
    "    inputs = tokenizer.encode(sent, return_tensors=\"pt\",padding=True)\n",
    "\n",
    "    outputs = model.generate(inputs, num_beams=None, early_stopping=True)\n",
    "\n",
    "    translated = tokenizer.decode(outputs[0]).replace('<pad>',\"\").strip().lower()\n",
    "    \n",
    "    translated_story.append(translated)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "e2552f82",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "at the entrance of the village, both father and son were facing the pain of a scuffle and in the middle of a young boy, budhia.there was a loud voice from his mouth that both of them were holding their heads.it was the night of winter that the whole village was submerged in darkness.\"\"\"i don't know,\"\" gursu said.\"i ran the whole day.\"\"\"if you have to die, why don't you die soon, you're so desperate for a year and a year's rest,\"\" madhav said in a tweet.\"\"\"\"there was a lot of shame in the village.\"the ghee used to rest three days a day.madhav was so busy that he used to work half an hour.thats why they didnt get a job.if there was a handful of grain in the house, it was a pledge for them to work.when two of them were found, they would climb the ghee tree and cut the wood and sell it to the madhav market.as long as he was there, both of them were travelling around.there was no shortage in the village.the farmers village had 50 jobs for the hard working man.but they would call the two at the time when there would be no more fodder than to be satisfied with the work of one man.if both were sad, they would not have been required to exercise restraint and rule for patience.this was their nature.it was a strange life, they had no property but two pieces of soil.the citation was carried out by the citation of their nudeness.they were loaded with free loans from the concerns of the world.he also ate a knife and did not eat it.even if they were not expected to recover, people would give them some loans.potatos to remove potatoes or potatoes from other crops and eat onion or to remove five oscules and suck at night.gursu cut the age of sixty years, and madhav, like his son, was following the footsteps of his father, but his name was even more exposed.even at this time, both of them were sitting in front of alava and frying the potatoes with a field.the woman had died a long time.madhav was married last year.since the time the woman came, she had laid the foundation stone of the system in the family and the two were in bharti.both of them had been rested since then.but there were some studies.if you invite someone to work, ask for double wages.the same woman died of the pain of labour and the two were probably waiting for her to die.\"gursu, meanwhile, said, \"\"if you see what is the case of the victim and if you ask for a rupee here, madhav was afraid that he would enter the room, then he would clean up a large portion of the ghee potato.\"i am scared to go there.i am here.\"\"\"if you go, don't look.\"\"\"\"when my woman died, i will not be shaken by her for three days, and then i will get to know that she will never be able to see her body.\"she won't even be healthy.if you look at me, your hands will not be able to script: i think if there is a child, what will happen if there is nothing good oil at home.the people who are not paying a sum of money will be called for the money tomorrow.there was never anything in my nine children's house, god somehow crossed the beda.\"\"\"there was no surprise in the society in which the situation was not good for the farmers and compared to the farmers who knew that the farmers were more capable of getting benefit from the weaknesses of the farmers.\"we would say that the ghee was more thought-about to the farmers and instead of joining the farmers's thought-making group, the meeting was held in the well-betted mandali of the bazaars.yes, he did not have the power to follow the rules and standards of the meeting.so the other people of his mandali were the chief and chief of the village.yet, if he was divided, he would not have been forced to break the farmers's life, and the other people would not benefit greatly from his simplicity and devotion.both the potatoes started burning fire.i didnt eat anything from yesterday.it wasnt enough to let them cool down.the two were burnt several times.when it was hot, it was not very hot, but when both the teeth were covered, the tongue used to burn talu and talu, and it was much better to keep the fire in the mouth than to reach it.there he was quite similar to cooling.so both of them would quickly swallow up.however, tears would come out of their eyes.gursu was remembered by thakur that night in which he had gone 20 years ago.what she had received at that feast was a memorable thing in her life and it was still fresh.he said he doesnt forget his meal.since then, that kind of food was not found.the girls had all played bharatpet pudis, all of them small and small, and all of them used to eat the real ghee, and the three types of dry vegetables, a rasdar, curd, curd, chutney sweets. now tell me what the taste was not going to stop, what you want to eat.people ate so much that they could not drink water.but there are those who serve that the hot rounds of heat in the pads put sulushit kkoudds.they do not want the pattal to be stopped with their hands, but they are given that they are given and when they have washed their faces, they have also got pan alechi.but i didnt know where i was going to take it.he immediately went to his blanket and lay down.\"this was the heart of the river, she said, \"\"we don't eat any such food now.\"\"\"\"what will anyone do now?\"that was the second time.now everyone looks comfortable.dont spend on marriage.dont spend on work.there is no work to collect the goods of the poor.yes, spending is costlier.\"\"\"you must have eaten a twenty rupees \"\"\"\"more than the beef i would have eaten fifty.\"\"\"there was a good crop.you are not half of me.they both ate the potatoes and drank water and were sleeping in front of alava.just like two big leopards were killed.and budhia was still crying.when she went to the room and saw him, her wife was cold.he had a scuffle on his face.the eyes of the blind were covered with tears.the body was washed away from the ground.the child died in his stomach.madhav fled to gursu.then both of them started beating their hands.when the villagers heard of this crying, they came running and started explaining these unfortunates according to the old dignity.but there was no chance to cry.he had to worry about wood and wood.the money was missing in the house, like moss father went to zamindar of the village crying.he hated both of them.he had beaten them with his hands.dont come to work for theft.you dont even know what to cry.\"\"\"government is in great distress,\"\" gursu said.\"the house had passed away.the government was waiting for him all night.dr daru did everything he could, but he turned us away.no longer one bread - giving master was destroyed.the house was damaged.i'm your soloman now who will cross his ground except you.all that we had in our hands has gone up to the drug in daru... if the government has mercy then the dust will rise.on whose door did you leave, the lander saheb was kind.but to have mercy on the ghee was to add colour to the black blanket.i came here and said, get away from here.this is not the case today when the noise is heard, and it is a pleasure to be present.it was not an opportunity for anger or punishment.he took two rupees in his life and gave him a scuffle.but there was no word of comfort.not even towards him.like a head load.when azminder saheb gave two rupees, he also knew how the people of the village would have been in denial.someone let two come.in an hour, guru and madhav moved to the market.people started cutting the bamboo.the gentle women of the village came and saw the dead body, and two drops of tears fell on her.on reaching the market, gursu said, 'the wood has been burnt to burn it because madhav madhav said 'yes, wood is very good now.\"\"\"so let's take some light loans.\"\"\"\"yes and if the body is raised at night.\"who sees kuffan at night is such a bad custom that one who doesn't even get a chance to die if he doesn't get a chance to die.\"\"\"the water goes with the body.\"\"\"\"what is kept there would have been some medicines if you met five rupees earlier.\"both of them were talking about each other.he went around in the market.sometimes, when he went to the shop, he saw some kind of cloth and cotton in the shop, but there was no trace of what inspired him to go to a madhusala, and, as he left the pre-conditioning system, both of them stood in a dilemma and told him to give us a bottle.then a few came to chikkana and started drinking peacefully.\"gursu, who was in surur after drinking a few wells, said, \"\"what was the water to drink?\"people will not be able to get too much, but then they will give the same money.madhav also laughed and said, on these unfortunate fortunes, the poor were very poor, so he had to drink well and get over half the bottle.gursu called for two saree pests, theatres in front of the liquor store, brought all the goods in two premises, the whole of which was spent just a few rupees.\"when we asked the people there why you didn't give us a chance, what would they say, \"\"your head will say\"\"? how do you know that he will not be able to get it?\"\"\"\"who will give you the money?\"he will ask me.in his demand, i put sindur.\"gursu said: \"\"i say he will get a chance why you don't believe why he will not say why those who gave it will give it.\"yes, the rupee will not come to our hands.as the darkness grew, the stars were shined and madhusala's ears were also increased.one used to sing dang, and someone was hugging his partner.one used to spend a lot of time with his friend.surur was in the air in the atmosphere.how many people used to come here and become master in a challu?more than alcohol, the air used to drug them.the obstacles of life brought the hurdles here and for some time they forgot that they would die.dont live or die.and the two boys were still enjoying themselves.all eyes were on him and his eyes.how many luck do the two sacrifice the whole bottle is in the middle.by eating the sarpanch, madhav took the leaves of the left man and gave it to a beggar who was looking at them and with hungry eyes.and the pride of giving was the first experience of joy and joy in his life.\"\"\"go and eat well and give arshidha.\"he died of his wife.but your blessings will come to her.\"madhav again looked at the sky and said, \"\"he will go back to dada bankanth.\"\"\"\"gursu stood up and floated in waves of joy, saying \"\"yes, beta will go back to the back.\"\"\"no one was harassed.death was the greatest desire of our lives.if he doesn't go back, will he go to the thickest people who loot the poor with both hands and sleep in the ganga to wash his sin and water in temples immediately changed the colour of devotees.intensification is a characteristic of alcohol.there was a struggle and disappointment.\"\"\"but my grandfather was suffering a lot in life.\"how sad he was, and he fell down with his eyes and cried with tears.\"gursu explained, \"\"why are you crying, my son, happy that she was released from the trap.\"it was such a good fortune that soon maya moha broke the bonds.\"and both of them stood up and sang, \"\"why is naina jhamakawe guptini... piakkads eyes were on them and they both went to the best of their hearts.\"then the two started dancing.he also jumped.they also fell down.he also acted in a fashion and finally fell out of alcohol.\n"
     ]
    }
   ],
   "source": [
    "print(''.join(translated_story))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}