Google-Sitemap und Sitemap-Modul

[netzarbeiter]

Warum wird eine Seite bei der "Robots-Tag" auf "noindex,nofollow" gesetzt wird trotzdem in die Google-Sitemap geschrieben, müsste diese nicht automatisch aus dieser entfernt werden.

Klar kann ich "In der Sitemap anzeigen" "Nie anzeigen" auswählen, leider taucht diese Seite dann auch nicht mehr im Sitemap-Modul auf.

[leofeyer]

Wie lässt sich das reproduzieren?

[netzarbeiter]

Wenn du in der Contao-Demo wie folgt vorgehst:

In der Seitenstruktur beim Seitentyp "Startpunkt einer Webseite" aktivierst du "Eine XML-Sitemap erstellen" nenne sie "sitemap".

Danach in der Seite "Impressions" das "Robots-Tag" in "noindex,nofollow" ändern.

Die Seite wird in der XML-Sitemap immer noch angezeigt.
http://demo.contao.org/share/sitemap.xml

Ein Modultyp "Sitemap" anlegen und auf der Seite "Impressions" einbinden.

Die Seite wird im Sitemap-Modul angezeigt.

Zurück in die Seitenstruktur und auf der Seite "Impressions" in der Experten-Einstellung "In der Sitemap zeigen" "Nie anzeigen" auswählen.

Jetzt wird die Seite weder in der XML-Sitemap noch im Sitemap-Modul angezeigt.

Nach meinem Dafürhalten müsste die Seite beim setzten des "Robots-Tag" auf "noindex,nofollow" aus der XML-Sitemap entfernt werden, dann würde diese Seite trotzdem im Sitemap-Modul angezeigt.

[leofeyer]

Betrifft das Contao 2.11 und/oder Contao 3?

[netzarbeiter]

Betrifft sowohl Contao 2.11 sowie auch Contao 3.0.

Ich würde gerne Seiten von der Indexierung durch Suchmaschinen ausnehmen, aber trotzdem im Sitemap-Modul auf der Webseite anzeigen.

[leofeyer]

In #2811 findest Du den Grund, warum wir das geändert hatten (es war nämlich mal so, wie Du es erwartet hattest). Es bleibt daher so, wie es im Moment ist.

[netzarbeiter]

Besteht die Möglichkeit, ein zusätzliches Abfrage einzubauen, dass nicht zu indexierende Seiten im Modul-Typ Sitemap trotzdem angezeigt werden können.

Ein zusätzliches Checkbox mit folgendem Text "Diese Seite im Modul-Typ Sitemap anzeigen" und eine Abfrage würde das Problem lösen.

Bsp. AGB soll nicht indexiert werden aber in der Seiten-Sitemap angezeigt werden.

[leofeyer]

Selbst wenn die AGB-Seite in der Google-Sitemap-Datei drin steht, würde der Crawler trotzdem "noindex,nofollow" beachten und die Seite nicht indizieren. Wo genau ist also das Problem?

[netzarbeiter]

Kein Problem, wollte nur der Suchmaschine diesen zusätzlichen Aufruf ersparen. Vielen Dank für die Ausführung, kann geschlossen werden.

[leofeyer]

Soweit ich weiß, sieht Google Deine XML-Datei sowieso nur als "Empfehlung". Der Crawler entscheidet selbst, wie, wann und welche Seiten er durchsucht – und das können auch Seiten sein, die nicht in der Sitemap stehen. Insofern schadet der Eintrag nicht.