hadith-srcapper

scrapping ihadith data

Environment Setup

DEV LOCAL ENVIRONMENT

OS          : Ubuntu 20.04.3 LTS       
Memory      : 23.4 GiB 
Processor   : Intel® Core™ i5-8250U CPU @ 1.60GHz × 8    
Graphics    : Intel® UHD Graphics 620 (Kabylake GT2)  
Gnome       : 3.36.8

python requirements

• pip requirements: pip install -r requirements.txt

Its better to use a virtual environment OR use conda-

• conda: use environment.yml: conda env create -f scrapper.yml

Structre

• click explanation link
• get preface info:
  • chapter
  • chapter-name
  • preface text
• main:
  • arabic
  • bangla
  • narrator
  • validity
  • explaination: if available
  • extra-note: if-available

{
    "data": {
        "arabic": "حَدَّثَنَا الْحُمَيْدِيُّ عَبْدُ اللَّهِ بْنُ الزُّبَيْرِ، قَالَ حَدَّثَنَا سُفْيَانُ، قَالَ حَدَّثَنَا يَحْيَى بْنُ سَعِيدٍ الأَنْصَارِيُّ، قَالَ أَخْبَرَنِي مُحَمَّدُ بْنُ إِبْرَاهِيمَ التَّيْمِيُّ، أَنَّهُ سَمِعَ عَلْقَمَةَ بْنَ وَقَّاصٍ اللَّيْثِيَّ، يَقُولُ سَمِعْتُ عُمَرَ بْنَ الْخَطَّابِ ـ رضى الله عنه ـ عَلَى الْمِنْبَرِ قَالَ سَمِعْتُ رَسُولَ اللَّهِ صلى الله عليه وسلم يَقُولُ \" إِنَّمَا الأَعْمَالُ بِالنِّيَّاتِ، وَإِنَّمَا لِكُلِّ امْرِئٍ مَا نَوَى، فَمَنْ كَانَتْ هِجْرَتُهُ إِلَى دُنْيَا يُصِيبُهَا أَوْ إِلَى امْرَأَةٍ يَنْكِحُهَا فَهِجْرَتُهُ إِلَى مَا هَاجَرَ إِلَيْهِ",
        "bangla": "আমি ‘উমর ইব্‌নুল খাত্তাব (রাঃ)-কে মিম্বারের উপর দাঁড়িয়ে বলতে শুনেছিঃ আমি আল্লাহর রসূল (সাল্লাল্লাহু ‘আলাইহি ওয়া সাল্লাম)-কে বলতে শুনেছিঃ কাজ (এর প্রাপ্য হবে) নিয়ত অনুযায়ী। আর মানুষ তার নিয়ত অনুযায়ী প্রতিফল পাবে। তাই যার হিজরত হবে ইহকাল লাভের অথবা কোন মহিলাকে বিবাহ করার উদ্দেশ্যে- তবে তার হিজরত সে উদ্দেশ্যেই হবে, যে জন্যে, সে হিজরত করেছে।\n\n(৫৪, ২৫২৯, ৩৮৯৮, ৫০৭০, ৬৬৮৯, ৬৯৫৩; মুসলিম ২৩/৪৫ হাঃ ১৯০৭, আহমাদ ১৬৮) (আধুনিক প্রকাশনীঃ ১, ইসলামিক ফাউন্ডেশনঃ ১)",
        "explanation": "শারী‘আহ্‌র মূল উৎস হচ্ছে ওয়াহী। ওয়াহী দু’ প্রকার। ওয়াহী মাতলু (আল-কুরআন) ও ওয়াহী গাইরে মাতলু (সুন্নাহ ও হাদীস)। এবং দ্বীনে ইলাহীর ভিত্তি শুধুমাত্র দু’টি জিনিসের উপর প্রতিষ্ঠিত। ইজমা‘ ও কিয়াস কোন শার‘ঈ দলীল নয়। বরং যে কিয়াস এবং ইজমা‘ ওয়াহীর পক্ষে অর্থাৎ কুরআন ও সুন্নাহ মুতাবিক হবে তা গ্রহণযোগ্য এবং যেটা বিপক্ষে যাবে সেটা পরিত্যাজ্য ও অগ্রহণযোগ্য। এ প্রসঙ্গে আল্লাহ তা‘আলার বাণীঃ\n\n(يَا أَيُّهَا الَّذِينَ آمَنُوا أَطِيعُوا اللَّهَ وَأَطِيعُوا الرَّسُولَ وَأُولِي الْأَمْرِ مِنْكُمْ فَإِنْ تَنَازَعْتُمْ فِي شَيْءٍ فَرُدُّوهُ إِلَى اللَّهِ وَالرَّسُولِ إِنْ كُنْتُمْ تُؤْمِنُونَ بِاللَّهِ وَالْيَوْمِ الْآخِرِ ذَلِكَ خَيْرٌ وَأَحْسَنُ تَأْوِيلاً) (النساء:৫৯)\n(يَا أَيُّهَا الَّذِينَ آمَنُوا أَطِيعُوا اللَّهَ وَأَطِيعُوا الرَّسُولَ وَلا تُبْطِلُوا أَعْمَالَكُمْ) (محمد:৩৩)\n\nকিন-ু বাতিল ফির্কার লোকেরা ইজমা‘ ও কিয়াসকে ওয়াহীর আসনে বসিয়েছে এবং বলে থাকেঃ শারী‘আহ্‌র ভিত্তি চারটি বিষয়ের উপর। কুরআন, সুন্নাহ, ইজমা‘ ও কিয়াস। বড় আশ্চর্যের বিষয় এই যে, সহাবায়ে কেরাম যাদের উপর আল্লাহ তা‘আলা তার সন্তুষ্টির ঘোষণা দিয়েছেন, তাদেরকে সত্যবাদী বলে স্বীকৃতি দেয়া হয়েছে এবং মুসলিম উম্মাহ এ ব্যাপারে সকলেই একমত। অথচ তারা সহাবায়ে কেরামকে দু’ ভাগে ভাগ করেছেন। (১) ফকীহ (২) গাইরে ফকীহ। আর বলেছেন যে সকল সহাবী ফকীহ ছিলেন তারা যদি কিয়াসের বিপরীতে হাদীস বর্ণনা করেন তবে তা গ্রহণযোগ্য কিন্তু যে সকল সহাবী গাইরে ফকীহ অর্থাৎ ফকীহ নন তাঁরা যদি কিয়াসের খেলাফ হাদীস বর্ণনা করেন তাহলে তা গ্রহণযোগ্য বলে বিবেচিত হবে না।\n\nপ্রকৃতপক্ষে এটা উম্মাতে মুহাম্মাদিয়াহকে সিরাতে মুস্তাকীমের পথ হতে সরিয়ে দেয়ার একটা বড় অস্ত্র এবং পরিকল্পনা। কেননা তাঁরা কিয়াসকে মূল এবং হাদীসকে দ্বিতীয় স্থানে রেখেছেন। সকল সহাবীর উপর আল্লাহ তা‘আলা সন্তুষ্ট কিন্তু তারা খুশী নন। সকল সহাবীর ব্যাপারে উম্মাতের ঐকমত্য রয়েছে। কিন্তু তাদের নিকট গাইরে ফকীহ সহাবীগণ ‘আদিল নন।\n\nধোঁকাবাজীর কিছু নমুনাঃ তারা বলেন, ফকীহ সহাবীগণ কিয়াসের খেলাফ হাদীস বর্ণনা করলে তা গ্রহণীয় হবে। কিন্তু গাইরে ফকীহ সহাবীগণ কিয়াসের খেলাফ হাদীস বর্ণনা করলে তা বাতিল হয়ে যাবে এবং কিয়াসের উপর ‘আমল করতে হবে।\n\nবাই‘য়ি মুসারাহ এর হাদীস আবূ হুরাইরাহ (রাঃ) হতে বর্ণিত এবং তা কিয়াসের খেলাফ। এই জন্য তা বাতিল। এবং কিয়াসের উপর ‘আমালযোগ্য। অথচ এই হাদীস ‘আবদুল্লাহ ইবনু মাস‘ঊদ (রাঃ) হতেও বর্ণিত হয়েছে। (দেখুন সহীহ বুখারী ২৮৮ পৃষ্ঠা রশিদিয়া ছাপা)",
        "extra-note": null,
        "narrator": "‘আলক্বামাহ ইব্‌নু ওয়াক্কাস আল-লায়সী (রহঃ) থেকে বর্ণিতঃ",
        "validity": "সহিহ হাদিস"
    },
    "meta": {
        "chapter-name": "ওহীর সূচনা অধ্যায়",
        "header": "১/১. অধ্যায়ঃ",
        "preface": [
            "আল্লাহ্‌র রসূল (সাল্লাল্লাহু 'আলাইহি ওয়া সাল্লাম)- এর প্রতি কীভাবে ওহী [১] শুরু হয়েছিলো।",
            "এ মর্মে আল্লাহ তা’আলার বাণীঃ “নিশ্চয়ই আমি আপনার প্রতি সেরূপ ওহী প্রেরণ করেছি যেরূপ নূহ ও তাঁর পরবর্তী নবীদের প্রতি ওহী প্রেরণ করেছিলাম”। (সূরা আন-নিসা ৪/১৬৩)"
        ]
    }
}

QUICK LINKS:

• killing chrome headless: pkill -f "(chrome)?(--headless)"

Execution:

• run: python scrape.py

usage: ihadith website scrapper [-h] [--start START] [--batch BATCH] iden end save_path

positional arguments:
  iden           book name from the website
  end            end of hadith no to sracpe from the book
  save_path      path to save the json data [the provided iden will be used to create a folder]

optional arguments:
  -h, --help     show this help message and exit
  --start START  start of hadith no to scrape from the book
  --batch BATCH  batch number for multiprocessing [1 process will be allocated for n number of hadiths]

• iden and end variables for collected data is listed as follows

book	iden	end
সহিহ বুখারী	bukhari	7275
সহিহ মুসলিম	muslim	7500
সুনানে আন-নাসায়ী	nasayi	5758
সুনানে আবু দাউদ	abi-dawud	5274
জামে' আত-তিরমিজি	tirmidi	3956
সুনানে ইবনে মাজাহ	ibn-majah	4341
মুয়াত্তা ইমাম মালিক	muatta-malik	1832
রিয়াদুস সলেহিন	riadus-saalehin	1905
বুলুগুল মারাম	bulugul-maram	1568
আল লু'লু ওয়াল মারজান	al-lulu-wal-marjan	1906
হাদিস সম্ভার	hadis-somvar	2013
সিলসিলা সহিহা	silsila-sahiha	60
জাল জয়িফ হাদিস সিরিজ	jal-daif-hadis-serise	102
মিশকাতুল মাসাবিহ	mishkatul-masabih	2758
৪০ হাদিস	40-hadis	42
আদাবুল মুফরাদ	adabul-mufrad	1336
জুজ'উল রাফায়েল ইয়াদাইন	juj-ul-rafaul-yadain	56
সহিহ হাদিসে কুদসি	sahih-hadise-kudsi	163
১০০ সুসাব্যস্ত হাদিস	100-mashhur-hadis	101
মিশকাতে জয়িফ হাদিস	daif-hadis-in-mishkat	106
শামায়েলে তিরমিযি	shamayele-tirmidi	320
সহিহ তারগিব ওয়াত তাহরিব	targib-wat-tahrib	200
সহিহ ফাযায়েলে আমল	sahih-fajayele-amal	151
ঊপদেশ	upodesh	234
রমযান বিষয়ে জাল ও দুর্বল হাদিসসমূহ	romjaner-durbol-hadis	36
মুসনাদে আহমাদ
জুজ'উল কিরাত
সুনান আদ-দারিমী
তাহাবী শরিফ
সুনান দারাকুতনী