New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

ZDF: Filmliste seit 19.10. unvollständig #429

Closed
pidoubleyou opened this Issue Oct 24, 2018 · 3 comments

Comments

Projects
None yet
3 participants
@pidoubleyou
Contributor

pidoubleyou commented Oct 24, 2018

Im Forum wurde auf fehlende ZDF-Einträge hingewiesen.

Seit dem 19.10. enthält die Filmliste pro Tag nur noch wenige Einträge statt bis zu 100 an den Tagen zuvor.

Erste Analyse:
wenn der Crawler nur für einen Tag läuft, findet er alles. Läuft er mit den aktuellen Einstellungen für kurze Suche, werden nur wenige Filme pro Tag gefunden.

@pidoubleyou

This comment has been minimized.

Contributor

pidoubleyou commented Oct 24, 2018

Hängt wohl mit der Suche in der Zukunft zusammen. Wenn monthFuture=0, funktioniert es.

@pidoubleyou

This comment has been minimized.

Contributor

pidoubleyou commented Oct 27, 2018

Analyseergebnis:
ZDF liefert bei Suchanfragen mit mehr als 500 Seiten ab der 500. Seite Internal Server Error.

TODOs:

  • Suchanfragen zerlegen, so dass die Ergebnismenge pro Suchanfrage kleiner ist
  • Abbruchbedingung in ZDFSearchTask.compute anpassen, da jede Ergebnisseite einen next-Link hat, auch wenn keine Suchergebnisse mehr kommen
@alex1702

This comment has been minimized.

Member

alex1702 commented Oct 27, 2018

soll der quickfix für zdf auch schon in die neue version?

This was referenced Oct 27, 2018

@pidoubleyou pidoubleyou added Fertig and removed InBearbeitung labels Oct 28, 2018

@Nicklas2751 Nicklas2751 removed the Fertig label Oct 29, 2018

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment