transbot-wykop

Bot tłumaczący artykuły z wykop.pl przy pomocy translatora deepl.com napisany w Pythonie. Wystawia komentarz z tłumaczeniem pod wykopem.

Jest to bardzo wczesna wersja, powiedzmy v0.0.1. Zrobiony z zajawki, na razie ma bardzo ograniczoną funkcjonalność. Jeżeli się przyjmie to będę go rozwijał, zapraszam też do wystawiania PR.

Algorytm

(wszystko w 5 minutowej pętli)

1. Pobranie najnowszych linków z API wykopu (wykop-sdk)
2. Wyfiltrowanie potencjalnie dających się przetłumaczyć artykułów (ignorowanie .pl oraz niektórych domen)
3. Dla każdego linku
   1. Otworzenie go przeglądarce oraz wczytanie kodu html (selenium + ChromeDriver)
   2. Wyekstrachowanie i zapisanie treści artykułu (newspaper3k)
   3. Otworzenie tłumacza DeepL w przeglądarce
   4. Wklejenie artykułu do tłumacza
   5. Wykrycie języka artykułu - jeżli jest w języku polskim, zaprzestanie kontynuowania
   6. Wystawienie komentarza z tłumaczeniem na wykopie

Wymagania

• Python 3
• ChromeDriver

Instalacja i uruchomienie

Utworzenie pliku config.yaml korzystając z example.config.yaml A następnie:

pip3 install -r requirements.txt
python3 app.py

Znane problemy

• dodawanie informacji o ciasteczkach lub multimediach zamiast artykułów

TODO - co można zrobić

• przejście na API v2
• usuwanie nietrafionych tłumaczeń na podstawie proporcji plusów i minusów
• przerobienie aplikacji na rozwiązanie oparte na cronie (+ dockerze) tak, aby nie wykonywać while(true)
• dodanie usuwania ciasteczek po skorzystaniu z tłumacza (mi się nie udawało), tak aby nie tworzyć przy każdym artykule nowej instancji ChromeDriver (jest to potrzebne żeby nie przełączał się język tłumaczenia na inny niż polski, można też to uzyskać klikając odpowiednie przyciski)
• sensowniejsza architektura w projekcie (Python to zdecydowanie nie "mój" język ;))