Automation

[MESWEB]

WItam serdecznie. Tak sie zastanawiam czy da sie zrobic automat do monitorowania stron www w celu wykrycia nowych reklam. Bawie sie obecnei w automatyzacje stron www i wiem ze mozna by bylo pobierac strone np raz w tyg i analizowac z niej najwazniejsze zmainy np nowe skrypty js czy tez nove divy. Macie jakies pomysly aby przyspieszyc prace i aktualizacje list uzywajac do tego komputera? Taki program ulzy w pracy i przyspieszy jej wykonywanie.

[xxcriticxx]

nie posiadamy specjalistów w tej dziedzinie

[MESWEB]

Nie szukam specjalistow a ludzi logicznie myslacych. Mam kilka planow na ten pomysl. Szukam kogos kto by logicznie myslal i pomogl mi w zrobieniu takiego bota. Ja mam wiedze i moge zrobic taki program - mozemy go wspolnie testowac. Np. Filtry z listy mozna sprawdzac czy istnieje na danej stronie. Jesli nie to bot go usunie z listy aby nie byla taka obszerna.
Macie inne sugestie? Jestem otwarty na kazde pomysly.

[xxcriticxx]

pogadaj sobie z @hawkeye116477

[hawkeye116477]

Jeżeli chodzi o automat, to gargulec/Monia chyba jakiś ma, bo czasem potrafi znajdować ponad 100 stron z reklamami dziennie i co 30 sekund wysyłać zgłoszenia z tymi wszystkimi stronami... Mówię wam, to nie człowiek, to maszyna 🤣

[xxcriticxx]

@zaba-monika 😘

[MESWEB]

😃 więc jak coś to mogę pomóc.

Ok wiec jak mozemy zrobic taki automat? Dajmy na to ze mamy liste elementow stron www - mozemy teraz porownac czy dany element wciaz wystepuje - jesli go nie ma wtedy automat moze usunac dany element z listy co zmiejszy jej wage. Automat moze sprawdzac raz w tygodniu kazda strone z listy. Czy jest to dobre rozwiaznie czy raczej elementy dynamiczne beda blednie odczytywane? Prosze przedstawic za i przeciw takiemu rozwiazaniu?

[zaba-monika]

W obecnych czasach zrobić da się wszystko, umiejętności, czas i chęci też można mieć, ale właśnie sedno w tym czy jest sens, a więc wypiszę "przeciw":

• twój pomysł wyklucza filtry generyczne, bo po pierwsze nie odwiedzisz wszystkich stron (jest około 2,5 miliona domen .pl) a po drugie w przypadku takich filtrów zawsze jakaś strony / jakieś strony będą miały taki element, więc mówimy tylko o filtrach specyficznych pod konkretne domeny
• niektóre filtry były dodawane dla elementów, które pojawiają się losowo, w losowych momentach, u jednych osób się pojawiają, u innych nie, czasami przez jakiś okres czasu są, później ich nie ma, a potem wracają np. po paru dniach czy tygodniach...
• czasami coś się nie załaduje bo jest jakiś lag w sieci, czasem ten lag może trwać kilka sekund, czasem minut, czasem godzin...
• niektóre filtry były dodawane dla elementów, które wymagają rejestracji i te elementy pojawiają sie dopiero po zalogowaniu, a patrząc na listę filtrów nie wiadomo, które filtry i które strony wymagają rejestracji / logowania by element się pojawił, a które nie wymagają i wystarczy odwiedzić stronę w jako gość, chyba, że przejrzysz te 15 tysięcy zgłoszeń na polskim repo...i pozakładasz konta na wszystkich stronach gdzie są potrzebne, a potem jeszcze każesz botowi żeby się na nie zalogował...
• niektóre filtry były dodawane dla elementów, które pojawiają się zależnie od lokalizacji (geo-lock), i jak wyżej również nie wiadomo, które filtry i które strony muszą iść przez proxy, a więc bot musiałby się łączyć z każdą stroną, przez ponad kilkaset serwerów proxy z różnych krajów, żeby uzyskać pewność czy dany element się pojawi na stronie...
• pewnie jakby się dłużej zastanowić i podumać to kilka punktów można by jeszcze dopisać...
• nowe / dopisane : niektóre filtry (nie wiadomo które) były dodawane dla głównej strony, a niektóre (nie wiadomo które) dla podstron, będziesz ściągał całe lustro każdej strony albo sprawdzisz 15 tys. istniejących zgłoszeń żeby wiedzieć, które filtry zostały stworzone na stronę główną, a które na podstrony, a w przypadku niektórych filtrów nie sposób tego stwierdzić, bo admin czasem dodaje filtry od razu na listę bez wcześniejszego zgłoszenia, bo gdzieś tam coś zobaczy na stronie reklamę czy cuś...

Więc generalnie pomysł raczej nierealny, a jeżeliby został zrealizowany to tylko częściowo, w ograniczonej części / funkcjonalności. Przyszłością raczej są automaty jak mój, bazujące też na obrazie aniżeli tylko na kodzie, które hulają po stronach, robią zrzuty ekranu, a potem wrzucają ten zrzut na moduł OCR i wyłapują tekst np. "reklama" czy "cookies", gdy coś wyłapią to robią zgłoszenie na githubie... na obecnym etapie do rozpoznawania elementów na zrzutach ekranu planuję zastąpić moduł OCR wytrenowanym modułem sztucznej inteligencji opartym na głębokim uczeniu sieci neuronowej, coś podobnego do ADBLOCKOWEGO SENTINELA. A potem wystarczy wypuścić takie UFO żeby sobie polatało po internecie...

[MESWEB]

• twój pomysł wyklucza filtry generyczne, bo w przypadku takich filtrów zawsze jakaś strony / jakieś strony będą miały taki element, więc mówimy tylko o filtrach specyficznych pod konkretne domeny

Za 90% reklam stoi .js wiec mozna jakos sprawdzac zawartosc plikow js lub in line na stronie.

• niektóre filtry były dodawane dla elementów, które pojawiają się losowo, w losowych momentach, u jednych osób się pojawiają, u innych nie, czasami przez jakiś okres czasu są, później ich nie ma, a potem wracają np. po paru dniach czy tygodniach...

No i np jak po 6 miesiacach dany element nie wystepuje to chyba logiczne ze mozna go wywalic z listy

• czasami coś się nie załaduje bo jest jakiś lag w sieci, czasem ten lag może trwać kilka sekund, czasem minut, czasem godzin...

Dlatego scan powtarza sie co tydzien i dziekuje klopot z glowy.

• niektóre filtry były dodawane dla elementów, które wymagają rejestracji i te elementy pojawiają sie dopiero po zalogowaniu, a patrząc na listę filtrów nie wiadomo, które filtry i które strony wymagają rejestracji / logowania by element się pojawił, a które nie wymagają i wystarczy odwiedzić stronę w jako gość, chyba, że przejrzysz te 15 tysięcy zgłoszeń na polskim repo...i pozakładasz konta na wszystkich stronach gdzie są potrzebne, a potem jeszcze każesz botowi żeby się na nie zalogował...

No to robi sie konto testowe i loguje za kazdym scanem

• niektóre filtry były dodawane dla elementów, które pojawiają się zależnie od lokalizacji (geo-lock), i jak wyżej również nie wiadomo, które filtry i które strony muszą iść przez proxy, a więc bot musiałby się łączyć z każdą stroną, przez ponad kilkaset serwerów proxy z różnych krajów, żeby uzyskać pewność czy dany element się pojawi na stronie...

Takie przypadki to skrajnosc - mozna rozwiazac to recznie i wymyslic w przyszlosci rozwiazanie

Więc generalnie pomysł raczej nierealny

Nie do konca. W XVIII nie wiedzieli co to Gogle VR

[zaba-monika]

MESWEB :

zaba-monika: Więc generalnie pomysł raczej nierealny

Nie do konca. W XVIII nie wiedzieli co to Gogle VR

• cytuj w całości, trochę wyrywasz z kontekstu, bo nie twierdziłam, że się nie da w ogóle ani że jest to jakaś fantastyka, tylko, że (i tu brakująca część zdania): "jeżeliby został zrealizowany to tylko częściowo, w ograniczonej części / funkcjonalności."...

• więc jeśli chcesz ten projekt zrealizować to się baw..., ale jak już pisałem dla mnie taki projekt bazujący tylko na kodzie będzie tylko połowniczo funkcjonalny, poza tym póki co zajęta jestem zamianą modułu OCR na moduł AI w swoim automacie bazującym nie tylko na kodzie ale i na obrazie.

DODANE: no i dopisałam nowy punkt "przeciw" do swojego poprzedniego komentarza

[xxcriticxx]

panowie i panie bedzie cos z tego? czy mam zamknac?

[zaba-monika]

• to kwestia bardziej do MESWEB, bo ja zajmuję się swoim własnym UFO, które jak widać po ilości zgłoszeń ciasteczkowych, ma się świetnie - lata sobie po internecie puszczone w samopas i wyłapuje ciasteczka 😃
• ale jeśli MESWEB przedstawiłby jaką wersję Beta / wstępną / testową swojego pomysłu w postaci skryptu, to może coś tam bym mu pomogła z ciekawości bo zawsze mnie takie rzeczy ciekawią, natomiast nie chce mi się tworzyć ani wymyślać jego projektu od zera, więc do niego należy pierwszy ruch na rozkręcenie / rozruch

[MESWEB]

panowie i panie bedzie cos z tego? czy mam zamknac?

Proponuje zamknac calego Github'a. Co za pacjenci.