Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Fehlende ZDF-Filme #148

Open
pidoubleyou opened this issue Apr 18, 2017 · 7 comments
Open

Fehlende ZDF-Filme #148

pidoubleyou opened this issue Apr 18, 2017 · 7 comments
Labels
bug

Comments

@pidoubleyou
Copy link
Contributor

@pidoubleyou pidoubleyou commented Apr 18, 2017

Im Forum wird in diversen Posts auf fehlende Filme im ZDF hingewiesen, die

  • in der Mediathek noch online sind
  • der Crawler schon einmal gefunden hatte

Beispiele:

Meine Recherchen haben bisher folgendes ergeben:

  • die Einträge waren bis 05.04. in der Filmliste enthalten
  • durch die Bereinigung der doppelten Einträge aus #142 sind die Filme entfallen
  • der Crawler findet die Filme weiterhin, wenn der Tag im Suchzeitraum enthalten ist
@pidoubleyou pidoubleyou added the bug label Apr 18, 2017
@Nicklas2751

This comment has been minimized.

Copy link
Member

@Nicklas2751 Nicklas2751 commented Apr 19, 2017

@pidoubleyou

This comment has been minimized.

Copy link
Contributor Author

@pidoubleyou pidoubleyou commented Apr 19, 2017

Da der Crawler die Filme findet, will ich herausfinden, warum diese bei den Suchläufen nach der manuellen Bereinigung der Filmliste nicht wieder hinzugefügt wurden.

Außerdem ist anscheinend in der Logik, die die Filmliste bereinigt, ein Fehler enthalten, denn es hätten nur die Duplikate entfernt werden dürfen.

@pidoubleyou

This comment has been minimized.

Copy link
Contributor Author

@pidoubleyou pidoubleyou commented Apr 19, 2017

Wenn ich die Duplikate mittels mTool bereinige, sind die fehlenden Filme noch in der Liste enthalten.
@alex1702 Hast du für die Bereinigung der Duplikate auch mTool verwendet oder eine andere Logik?

@lookshe

This comment has been minimized.

Copy link
Contributor

@lookshe lookshe commented Apr 20, 2017

die Einträge waren bis 05.04. in der Filmliste enthalten

Sicher? Filmliste aus dem Archiv:

grep -oiP "\"X\":\[\"\",\"\",\"(\\\\\")?Betty.?[-_ ]*Diagnose(\\\\\")?[^]]*]" 2017-04-05-filme 
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose - Folge 1: Undercover Boss","06.01.2017","19:25:00","00:43:00","749","Dr. Behring ist von seiner Schussverletzung genesen und leitet die Klinik nun als kommissarischer Chefarzt. Betty sucht eine Gelegenheit, sich bei ihm für seine Rettungstat zu bedanken.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170106_sendung_bet/2/170106_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/undercover-boss-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170106_sendung_bet/2/Bettys_Diagnose_Undercover_Boss_060117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170106_sendung_bet/2/170106_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1483727100","","","false"]
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose - Folge 2: Neuanfang","13.01.2017","19:25:00","00:43:00","748","Während Lizzys alte Schulfreundin Mira Köttner als neue Ärztin in Weiterbildung an der Karlsklinik beginnt, erhält Betty vom neuen Verwaltungsdirektor einen Eintrag in ihre Personalakte.","https://nrodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/neuanfang-100.html","https://utstreaming.zdf.de/mtt/zdf/17/01/170113_sendung_bet/2/F1010513_hoh_deu_Bettys_Diagnose_Neuanfang_130117.xml","","8|rodlzdf-a.akamaihd.net/none/zdf/17/01/170113_sendung_bet/2/170113_sendung_bet_476k_p9v13.mp4","","87|3296k_p15v13.mp4","","1484331900","","","false"]
"X":["","","Bettys Diagnose: Trailer zu Staffel 3","06.01.2017","12:29:00","00:01:30","26","Holen Sie sich einen Vorgeschmack auf Staffel 3 mit zwölf neuen Folgen der beliebten ZDF-Vorabendseire - zu sehen ab dem 6. Januar 2017 jeweils freitags um 19:25 Uhr im ZDF!","https://rodlzdf-a.akamaihd.net/none/zdf/16/11/161125_trailer_staffel3_bet/1/161125_trailer_staffel3_bet_2328k_p35v13.mp4","https://www.zdf.de/serien/bettys-diagnose/trailer-staffel-3-100.html","","","104|476k_p9v13.mp4","","104|3296k_p15v13.mp4","","1483702140","","","false"]
"X":["","","\"Bettys Diagnose\" backstage","06.01.2017","09:05:00","00:05:02","87","Bettina Lamprecht zeigt, wie es hinter den Kulissen von \"Bettys Diagnose\" zugeht.","https://rodlzdf-a.akamaihd.net/none/zdf/17/01/170106_clip_7_vks/1/170106_clip_7_vks_2328k_p35v13.mp4","https://www.zdf.de/verbraucher/volle-kanne/bettys-diagnose-backstage-102.html","","","84|476k_p9v13.mp4","","84|3296k_p15v13.mp4","","1483689900","","","false"]

Es sieht also spontan so aus, als wäre es auch dort nicht vorhanden. Wenn diese Filme also wirklich gefunden werden, was ich zumindest spontan nicht beurteilen kann, dann werden sie, aus welchen Gründen auch immer, nicht in die Liste übernommen.

@lookshe

This comment has been minimized.

Copy link
Contributor

@lookshe lookshe commented Apr 20, 2017

Ok, hab mich wohl bei dem Regex vertan, da die fehlenden Folgen nicht mit dem korrekten Namen beginnen.
grep -oiP "\"X\":\[\"\",\"\",\"[^]]*betty.?[ -_]diagnose[^]]*]"
ist zielführender und zeigt, dass vom 5.4. auf den 6.4. mehr als 50 Filme weniger in der Liste sind.

Wenn ich das gleiche allerdings mit Listen meines Crawlers gegenprüfe, gibt es diese Diskrepanz nicht. Da es keine Probleme mit doppelten Einträgen gab, habe ich die Liste allerdings auch in keinster Weise bereinigt oder ähnliches, sondern nur die jeweils neuen Versionen der Crawler installiert. Auch sind nach den letzten Läufen die besagten Folgen vorhanden. Evtl. sollten also mal die Crawler überprüft werden, ob diese nicht in irgendwelche Fehler laufen oder so.

@Georg-J

This comment has been minimized.

Copy link

@Georg-J Georg-J commented May 14, 2017

@pidoubleyou Deine drei Beispiele im ersten Post habe ich auch in meiner Filmliste. Allerdings nicht den Film aus #170, bei dem du die gleiche Fehlerursache vermutest. Ich vermute, dass der Crawler "Ein fliehendes Pferd" nie gefunden hat. Falls ich mich irre, dann ist dieser Film schon aus der Filmliste verschwunden, bevor ich diese geladen hatte.
Termine 2017:
Sa 25.03.2017 00:00-01:30 (1:30 h = 90 Min.) ZDF
So 09.04.2017 21:55-23:25 (1:30 h = 90 Min.) 3sat

@Nicklas2751

This comment has been minimized.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
4 participants
You can’t perform that action at this time.