Hohe Anzahl an Dateien, sprengen PHP Speicherlimit

[stefanheimes]

Wenn eine Contao Installation mehrere Dateien hat, wir reden hiebei um 500 und mehr Dateien, brauchen beide Systeme (Server & Client) extrem viel Speicher um die Vergleichslisten aufzubauen.

Das beste wäre wenn wir weg von Array's hin zu XML und Container Dateien (in Java POJO's) gehen.

Zwar geht dann anstelle der Speicherauslastung die Laufzeit hoch aber dies ist immer noch besser als
200MB und mehr Auslastung zu haben.

[andreasisaak]

Es muss nur sichergestellt werden das die Auslastung parallel zur Anzahl der Dateien höher wird. Nicht das jemand mit 100 Dateien genauso lang warten muss wie jemand mit 800 Dateien.

[MacKP]

OK, das ganze passiert auch bei Vergleichstabellen (tl_content). Da brauche ich gerade für ein paar Content Elemente (Änderungen in der Tabelle 14869) knapp 310 MB.

Wäre also wirklich wichtig!

Viele Grüße

[stefanheimes]

Das musst du bitte einmal genauer erklären, die Datenbank sollte ohne großen Speicher Verbrauch über die Bühne gehen. Es sollte nur die Laufzeit hoch gehen.

[MacKP]

Nachdem ich die Tabellen ausgewählt habe (nur noch tl_content) arbeitet der noch ein wenig an Punkt -> Abgleich der Datenbank
Dann wird mit der Fehlermeldung abgebrochen:
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 188910606 bytes) in /var/www/vhosts/***/staging_wolfin/system/modules/syncCto/SyncCtoDatabase.php on line 556

*** ist dabei der Systemordner ;-)

Viele Grüße

[stefanheimes]

Okay, das ne Aussage damit kann ich was anfangen, dankö.

[andreasisaak]

Lösung?

[stefanheimes]

Auslesen wie viel Speicher noch zur Verfügung steht. Davon 1/3 für die Daten benutzten. Wenn diese 1/3 erreicht wurden alle Daten schreiben.

Dann schiebe ich das Problem vom Speicher weg, hin zu der Ausführungszeit. Wird also wieder länger laufen.

[stefanheimes]

Datei Listen als XML Speichern.
Mit XMLWriter->openURI direkt in Dateien schreiben, mit SAX (XMLReader) Stück für Stück einlesen und prüfen.

Plan:
Container zum schreiben, lesen erstellen
Funktionen auf XML/Container umbauen

Plan 2:
CSV Dateien :)

[HellPat]

Habt ihr einen Anhaltspunkt was ich für die tl_content als max_execution_time bzw memory_limit benötige wenn ich 200MB Daten in der Tabelle habe?

[HellPat]

Gibt es hier schon einen Fortschritt? Mir bleibt momentan nichts anderes übrig als die tl_content Tabelle manuell zu übertragen... Das Limit des Webhostings ist leider bereits ausgereizt.

[andreasisaak]

Bisher leider noch nix vorzeigbares. Kannst du uns vielleicht ein Dump der DB senden, dann würden wir es damit testen.

[HellPat]

Habe ich dir per E-Mail geschickt.

[andreasisaak]

Die Vergleichslisten werden wir mit Contao 2.11 nicht mehr performanter hinbekommen. Meine Hoffnung liegt auf Contao 3, da dort die tl_files Daten eh schon in der DB liegen. Dann geht der Vergleich der Dateien schneller. Insofern können wir hier einfach nichts mehr reißen

@psren Dein Fehler ist noch ein anderer. Schreib dafür bitte ein neues Ticket.