Colab Notebooks/https_github.com_s-ankur_wikiedits.ipynb

{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"name":"https://github.com/s-ankur/wikiedits","provenance":[{"file_id":"1hoy5hAhgUR20lD4XORkWUzyw_GXbw_aM","timestamp":1603701403725}],"collapsed_sections":[]},"kernelspec":{"name":"python3","display_name":"Python 3"}},"cells":[{"cell_type":"code","metadata":{"id":"KV8wnJ0t53JG","executionInfo":{"status":"ok","timestamp":1604303080674,"user_tz":-330,"elapsed":2197,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"ddd9d538-bad5-44c6-a123-04e727fa38d2","colab":{"base_uri":"https://localhost:8080/"}},"source":["!git clone https://github.com/s-ankur/wikiedits\n","%cd wikiedits\n","%mkdir -p ../data"],"execution_count":null,"outputs":[{"output_type":"stream","text":[""],"name":"stdout"}]},{"cell_type":"markdown","metadata":{"id":"cj5BaMx2mvaB"},"source":["This is the setup for the project. You need only run this once\n"]},{"cell_type":"code","metadata":{"id":"IO2GyILdW26X","executionInfo":{"status":"ok","timestamp":1604245035441,"user_tz":-330,"elapsed":4154,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"f20ccb47-7c3d-4a8d-ec9b-f40b4c6b80ce","colab":{"base_uri":"https://localhost:8080/"}},"source":["!sudo make setup"],"execution_count":null,"outputs":[{"output_type":"stream","text":["pip3 install -r requirements.txt\n","Requirement already satisfied: nltk in /usr/local/lib/python3.6/dist-packages (from -r requirements.txt (line 1)) (3.2.5)\n","Requirement already satisfied: tqdm in /usr/local/lib/python3.6/dist-packages (from -r requirements.txt (line 2)) (4.41.1)\n","Requirement already satisfied: lxml in /usr/local/lib/python3.6/dist-packages (from -r requirements.txt (line 3)) (4.2.6)\n","Requirement already satisfied: more_itertools in /usr/local/lib/python3.6/dist-packages (from -r requirements.txt (line 4)) (8.5.0)\n","Processing /root/.cache/pip/wheels/de/c2/93/660fd5f7559049268ad2dc6d81c4e39e9e36518766eaf7e342/python_Levenshtein-0.12.0-cp36-cp36m-linux_x86_64.whl\n","Requirement already satisfied: PyYAML in /usr/local/lib/python3.6/dist-packages (from -r requirements.txt (line 6)) (3.13)\n","Requirement already satisfied: six in /usr/local/lib/python3.6/dist-packages (from nltk->-r requirements.txt (line 1)) (1.15.0)\n","Requirement already satisfied: setuptools in /usr/local/lib/python3.6/dist-packages (from python_Levenshtein->-r requirements.txt (line 5)) (50.3.2)\n","Installing collected packages: python-Levenshtein\n","Successfully installed python-Levenshtein-0.12.0\n"],"name":"stdout"}]},{"cell_type":"markdown","metadata":{"id":"nnm0VQVEOQiW"},"source":["You may need to update this link to something more recent, since it is deleted after a while.  Choose latest dump in https://dumps.wikimedia.org/hiwiki and find the hiwiki-<date>-pages-meta-history.xml.7z link"]},{"cell_type":"markdown","metadata":{"id":"37AelWTOm_a0"},"source":["This launches the wiki extraction process in the background\n","You can skip n number of revisions using the skip revisions flag. this is important if the process dies or errors out in the middle. You can just continue from where you stopped by reading the log\n"]},{"cell_type":"code","metadata":{"id":"WNsnid4hpiiY"},"source":["!nohup python3 wiki_edits.py  \"https://dumps.wikimedia.org/hiwiki/20201001/hiwiki-20201001-pages-meta-history.xml.7z\"  hiwiki.extracted.edits --skip-revision 1130000 -l  hindi --length-diff 0  &> tmp.log &"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"A3XUNDr2Se8g","executionInfo":{"status":"ok","timestamp":1604303083626,"user_tz":-330,"elapsed":1042,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"4ef7c563-e6d2-4ee6-d4ce-8707f9f80163","colab":{"base_uri":"https://localhost:8080/"}},"source":["!tail tmp.log"],"execution_count":null,"outputs":[{"output_type":"stream","text":["INFO:wikiedits.wiki_edit_extractor:Processed Revisions: 4295000\n","INFO:wikiedits.wiki_edit_extractor:Processed Edits: 465000\n","INFO:wikiedits.wiki_edit_extractor:Processed Edits: 465500\n","INFO:wikiedits.wiki_edit_extractor:Processed Edits: 466000\n","INFO:wikiedits.wiki_edit_extractor:Processed Edits: 466500\n","INFO:wikiedits.wiki_edit_extractor:Processed Edits: 467000\n","INFO:wikiedits.wiki_edit_extractor:Processed Revisions: 4300000\n","INFO:wikiedits.wiki_edit_extractor:Processed Edits: 467500\n","INFO:wikiedits.wiki_edit_extractor:Finished\n","INFO:__main__:Finished\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"FwjRQZ4OFdTv","executionInfo":{"status":"ok","timestamp":1604303088635,"user_tz":-330,"elapsed":1120,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"04636d69-1cc6-4f61-aeee-92bb0372e17a","colab":{"base_uri":"https://localhost:8080/"}},"source":["!head hiwiki.extracted.edits "],"execution_count":null,"outputs":[{"output_type":"stream","text":["नौकरशाही अपनी भूमिका के कारण इतनी बदनाम हो गई है कि आज इसका अभिप्राय नकारात्मक संदर्भों में प्रयुक्त किया जाने लगा है .\n","नौकरशाही अपनी भूमिका के कारण इतनी बदनाम हो गई है कि आज इसका अभिप्राय नकारात्मक सन्दर्भों में प्रयुक्त किया जाने लगा है .\n","\n","वह अण्डा अण्डवाही नली ( फालैपियन ट्यूव ) के द्वारा नीचे जाता है जो कि अण्डकोष को गर्भाषय से जोड़ती है .\n","वह अण्डा अण्डवाहिका नली ( फैलोपियन ट्यूव ) के द्वारा नीचे जाता है जो कि अंडाशय को गर्भाशय से जोड़ती है .\n","\n","जब अण्डा गर्भाषय में पहुंचता है , उसका अस्तर रक्त और तरल पदार्थ से गाढ़ा हो जाता है .\n","जब अण्डा गर्भाशय में पहुंचता है , उसका अस्तर रक्त और तरल पदार्थ से गाढ़ा हो जाता है .\n","\n","माहवारी चक्र महीने में एक बार होता है , सामान्यतः 28 से 32 दिनों में एक बार .\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"B75GqHG9mvko","executionInfo":{"status":"ok","timestamp":1603798184563,"user_tz":-330,"elapsed":188180,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"1c773a29-72a4-4762-9905-d14d8f4e22fb","colab":{"base_uri":"https://localhost:8080/","height":34}},"source":["!7za e -so hiwiki-20201001-pages-meta-history.xml.7z |grep -c \"<revision>\""],"execution_count":null,"outputs":[{"output_type":"stream","text":["4407755\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"AnA8gWyTvDys"},"source":["!python filter_punct.py<hiwiki.extracted.edits>hiwiki.extracted.clean.edits"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"Y4iJnbzMu8iA","executionInfo":{"status":"ok","timestamp":1604303381645,"user_tz":-330,"elapsed":1429,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"84b44b06-89fc-46aa-c862-bdac00a2c2ca","colab":{"base_uri":"https://localhost:8080/"}},"source":["!wc -l  hiwiki.extracted.edits hiwiki.extracted.clean.edits\n","!head -4000 hiwiki.extracted.clean.edits|python scripts/convert_to_wdiff.py|shuf -n 40"],"execution_count":null,"outputs":[{"output_type":"stream","text":["महाराणा [-जयसिंह-] {+राजसिंह+} ने इस झील का निर्माण 17वीं शताब्दी में गोमती नदी पर [-डैम-] {+बांध+} बनाकर किया था .\n","इस [-समें-] {+समय+} पीटर हूटन इसके मुख्य कार्यकारी अधिकारी है .\n","आयरिश आप्रवासी उत्तरी अमेरिका के लिए उन्नीसवीं शताब्दी में परम्परा के संस्करणों किया , हैलोवीन पश्चिमी [-देशो-] {+देशों+} में मनाया जाता है .\n","यह उद्यान आगरा शहर में [-ताजम़हल-] {+ताजमहल+} से २ ३४ किलोमीटर दूर उत्तर दिशा में स्थित है .\n","समाधि लगभग [-1-] {+१+} मीटर ऊँचे मंच पर निर्मित , और इसका प्रवेश द्वार पांच सीढ़ी ऊपर है .\n","और पोगो के इतने लोकप्रिय होने का एक और भी [-कारन-] {+कारण+} है , छोटा भीम .\n","मुकेश अम्बानी की पत्नी नीता [-अम्बानी-] {+अंबानी+} रिलायंस इंडस्ट्रीज के सामाजिक एवं धर्मार्थ कार्यो को देखती हैं .\n","इस मूर्ति के ऊपर [-जङा-] {+जड़ा+} हुआ हीरा मूर्ति के अनेक रुपों का दर्शन करवाता है .\n","इनके अब तक [-2-] {+3+} उपन्यास , एक काव्य संग्रह , दो गजल संग्रह , दो संपादित पुस्तक और एक ब्लॉगिंग का इतिहास प्रकाशित है .\n","ये [-गुजरात-] {+तमिलनाडु+} राज्य से हैं .\n","अम्बिकापुर से 40 [-किमी-] {+किलोमीटर+} की दूरी पर लक्ष्मणगढ स्थित है .\n","ऐसा इसलिए होता है [-क्यूंकि-] {+क्योंकि+} फंदा कसने के कारण अनुमस्तिष्क पर दबाव बनता है .\n","[-क्षेत्रीय-] {+क्षेत्र+} व उप सम्प्रदायो के आधार पर कुम्हारों को अन्य पिछड़ा वर्ग तथा अनुसूचित जाति के रूप मे वर्गीकृत किया गया है .\n","इंडिगो , सोडियम के औद्योगिक उत्तपादन मे एमाइड लाती [-हैं-] {+है+} के अत्यधिक मूल मिश्रण का एक घटक हैं .\n","[-२००३-] {+2003+} में यह चैनल हास्य केन्द्रित हो गया .\n","यह जाति भारत में प्रायः सभी राज्यों में निवास करती [-हैं-] {+है+} .\n","जहाज डुबने के साथ ही महाराज जयसिंह ने इस इमारत को बनवाने का इरादा [-छोड-] {+छोड़+} दिया .\n","राजा गिरधर [-जी-] {+दास+} राजा रायसलजी के बाद खंडेला के राजा बने .\n",") ईरान में [-लोरेस्तान-] {+लूरिस्तान+} प्रांत का एक जिला है .\n","भारतीय स्वतंत्रता उपरांत [-१९४८-] {+1948+} में डॉ सर्वपल्ली राधाकृष्णन की अध्यक्षता में \" यूनिवर्सिटी एजुकेशन कमीशन \" की नींव रखी गई .\n","इस [-बाद-] {+बाढ़+} के कारण ज़ीलैंड , ज़ुइड हौलैंड और नूर्ड ब्राबांत प्रान्तों के बहुत बड़े क्षेत्र जलमग्न हो गए .\n","[-उत्तर-] {+दक्षिण+} दिल्ली जिला दिल्ली का जिला है .\n","इस प्रकार का विज्ञापन सूचनाआें को प्रसारित करने की एवं व्यापारिक आभिव्यक्ति के [-रप-] {+रुप+} में सामने आता है .\n","आधिकारिक [-आकडों-] {+आँकड़ों+} के अनुसार नीदरलैंड में १ , ८३५ और ब्रिटेन में ३०७ लोग मारे गए .\n","इसे ही रंगभेद नीति या [-अपार्थीड-] {+आपार्थैट+} कहते हैं .\n","( 13 ) अवर्गीकृत वन डेटा वन डेटा अपने प्रकार के बारे में कोई अधिक जानकारी के साथ वन सीमा तक [-नही-] {+नहीं+} दिखा रहा है .\n","[-यह-] {+सांगानेर+} टोंक मार्ग पर स्थित है .\n","रुक्मिणी देवी अरुंडेल ( २९ [-फ़रवरी-] {+फरवरी+} १९०४ २४ [-फ़रवरी-] {+फरवरी+} १९८६ ) प्रसिद्ध भारतीय नृत्यांगना [-थी-] {+थीं+} .\n","सुरंग के पूरा होने पर होन्शू और [-होकाईडू-] {+होक्काइडो+} के बीच चलने वाला सारा रेल यातायात इसी सुरंग से होकर गुजरता था .\n","अम्बिकापुर बनारस रोड पर 40 [-किमी-] {+किलोमीटर+} पर भैंसामुडा स्थान हैं .\n","[-शीष-] {+शीश+} महल का निर्माण मान सिंह ने १६वीं शताब्दी में करवाया था और ये १७२७ ई में पूर्ण हुआ .\n","यह स्थान रामनगर , [-उत्तराखण्ड-] {+उत्तराखंड+} से लगभग ७० किमी की दुरी पर स्थित है .\n","ये [-कर्नाटक-] {+दिल्ली+} राज्य से हैं .\n","इस युद्ध में महाराणा प्रताप की [-विजय-] {+हार+} हुई थी .\n","[-24-] {+17+} पीड़ियो ने शासन किया .\n","इस शहर ने बहुत कम समय में देश को कई [-देशभक्तड-] {+देशभक्त+} दिए हैं .\n","इसके 15 वर्ष बाद [-1749-] {+1738+} में मथुरा , उज्जैन और बनारस में भी ऐसी ही वेधशालाएं खड़ी की गईं .\n","यहाँ औसत तापमान गृष्म ऋतु में 35 45 डिग्री सेल्सियस तथा जाड़े में [-5-] {+4+} 15 डिग्री सेल्सियस रहता है .\n","उन्होंने [-यहां-] {+यहाँ+} की सेल्यूलर जेल में ४ जुलाई १९११ से २१ मई १९२१ तक का समय कारावास में बिताया था .\n","इसकी झाड़ी [-८-] {+९+} मी तक की हो सकती है और पत्तियां चौड़ी गोलाकार , 5 18 सें मी लम्बी होती हैं .\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"Tf-vMs7Q60Iq"},"source":["!python scripts/convert_to_srctrg.py hiwiki.extracted.clean.edits\n","!python scripts/convert_to_wdiff.py<hiwiki.extracted.clean.edits>hiwiki.extracted.clean.wdiff\n","%mv hiwiki.extracted* ../data/"],"execution_count":null,"outputs":[]}]}