robots.txt fehlt

[bekanntmacher]

Bei der Installation fehlt die robots.txt. Die saubere Lösung wäre aber:

User-Agent: *
Disallow: 

Denn eine fehlende robots.txt sendet dem Crawler ein 404.

[aschempp]

@contao/developers should we add one to the skeleton? I honestly liked the optimizations we had in Contao 3.5 (same for the .htaccess).

[Toflar]

I liked them too. I‘d say yes.

[fritzmg]

Denn eine fehlende robots.txt sendet dem Crawler ein 404.

Das ist kein Problem und gilt natürlich für jede Ressource, die auf dem Server nicht existiert ;).
Google hat (angeblich) sogar mal selbst empfohlen keine robots.txt zu verwenden, wenn du ohnehin alles indexiert haben möchtest.

[bekanntmacher]

Google hat (angeblich) sogar mal selbst empfohlen keine robots.txt zu verwenden, wenn du ohnehin alles indexiert haben möchtest.

Das stimmt so nicht. Google empfiehlt eine robots.txt

Alle grossen Boots stützen sich auf die robots.txt ab. Wieso sollen wir ihnen diese Information nicht geben?

[fritzmg]

Mit einer robots.txt so wie du sie gepostet hast, gibst du dem Crawler keine zusätzlichen Informationen.

[bekanntmacher]

Du beantwortest meine Frage nicht

[fritzmg]

Du beantwortest meine Frage nicht

Falls deine Frage ist, ob es einen Grund geben könnte eine robots.txt mit dem Inhalt

User-Agent: *
Disallow: 

nicht zu haben, dann kann ich dir das auch nicht beantworten ;). Ich hinterfrage es nur.

I honestly liked the optimizations we had in Contao 3.5 (same for the .htaccess).

Regarding the .htaccess I agree. I always copy the same parts into the .htaccess for each new Contao 4 installation (i.e. the same rules that are present in the .htaccess.default in Contao 3 regarding caching and compression for example). This has already been suggested in the past, but nothing was done about it (yet).

[leofeyer]

Implemented in 1ee049f.

[akroii]

Just a note:
Google doesn't support robots.txt at 1th sep 2019 anymore
https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

[fritzmg]

@akroii the article says

In the interest of maintaining a healthy ecosystem and preparing for potential future open source releases, we're retiring all code that handles unsupported and unpublished rules (such as noindex) on September 1, 2019.

The robots.txt itself is still used.

[akroii]

Sorry, ... my fault. I mean the Disallow rule.
See here https://t3n.de/news/robotstxt-google-schafft-andere-1175830/

[fritzmg]

No, the Disallow rule is still supported.

The following rules will not be supported any more:

• Noindex
• Nofollow
• Crawl-delay