Webserver blockiert, wenn der Suchindex aktualisiert wird

[splinter03]

Aktualisiert man den Suchindex, werden gleichzeitig mehrere hundert Anfragen an den Webserver gesendet. Das führt bei einigen Providern (wie z.B. 1und1) dazu, dass die Requests blockiert werden (sicher ein DDOS-Schutz). Arbeitet man die Requests sequentiell ab, läuft die Indizierung problemlos durch. Dafür ist die Modifikation des Templates "be_rebuild_index.html5" notwendig:

window.addEvent('domready', function() {
    var urls = $$('.page_url');
    performRequest(urls);
});

function performRequest(urls) {
    var span = urls[0];
    var url = span.getAttribute('data-url');

    if (url) {
        var request = new Request({
            'url': url,
            onSuccess: function() {
                span.addClass('tl_green');
            },
            onFailure: function(xhr) {
                span.addClass('tl_red');
                span.set('text', span.get('text') + ' - ' + xhr.status );
            },
            onComplete: function() {
                checkStatus(urls);
            }
        }).get();
    }
    else {
        checkStatus(urls);
    }
}

function checkStatus(urls) {
    urls.shift();
    if (urls.length > 0) {
        performRequest(urls);
    }
    else {
        $('index_loading').setStyle('display', 'none');
        $('index_complete').setStyle('display', 'block');
    }
}

[leofeyer]

-1 von mir. Die sequenzielle Abarbeitung dauert einfach viel länger und wir sollten das nicht allen Benutzern zumuten, besonders weil das Problem bei einem Großteil gar nicht auftritt.

[splinter03]

Langsam ist es, aber dafür auch zuverlässig.

weil das Problem bei einem Großteil gar nicht auftritt.

...das wage ich zu bezweifeln, da alle, die auf das LTS setzen, das gar nicht mitbekommen, da das original "be_rebuild_index.html5"-Template ja immer Erfolg meldet. Ist aber auch nur mein persönliches Baugefühl dazu, da ich auch nur zufällig darauf gestoßen bin, dass unser Suchindex unvollständig ist.

[leofeyer]

Das kannst Du leicht herausfinden, indem Du die Änderungen am Template aus Contao 4.2 übernimmst.

@contao/developers Sollten wir vielleicht die MooTools Request Queue an dieser Stelle verwenden?

[bytehead]

@leofeyer Hab ich schon versucht, die Request Queue von Mootools ist aber buggy.

[Toflar]

Richtig wäre es mit Promises zu lösen.

[leofeyer]

Dafür bräuchten wir aber MooTools 1.6. 😄

[leofeyer]

Nicht dass wir das nicht hätten, nur: #8411 (comment)

[Toflar]

Nö, nur ein Promises Polyfill für die Browser ohne ES6 Support. Aber auf die 1.6 können wir doch eh updaten? Ist ja ein rückwärtskompatibles Bugfix-Release (klar mit neuen Features, aber auch mit Bugfixes).

[leofeyer]

Behoben in 891ad94.

[tsarma]

While rebuilding index of a site containing over 16000 pages. It stopped sending ajax request to server after first encounter of 404 page. It happened after indexing 6000 pages and after about 40 mins.

[leofeyer]

Did you adjust the be_rebuild_index.html5 template?

[leofeyer]

The stopOnFailure option is definitely disabled.

[tsarma]

No I did not edit the be_rebuild_index.html5

[leofeyer]

See #8541.