Exclude from search engine index pages whose URL does not match the canonical one

[Alex300]

[RU]
Если для страницы установлен Canonical Url и он не совпадает с ее URL'ом, добавить таким страницам <meta name="robots" content="noindex"> чтобы сообщить поисковикам что такие страницы не надо индексировать.

Не учитывать схему (https/http) и якорь (то что от в url'e # и далее).

Фича должна быть опциональной. Добавить настройку в Админ панель -> Конфигурация -> Заголовки и мета-теги

P.S. это может быть полезным т.к. сам Canonical Url не исключает страницы из поиска, а лишь сообщает поисковику, какою именно страницы из списка дублей отдавать в результатазпоиска.

Документация от Google

https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls?hl=ru#best-practices

Не рекомендуется использовать директиву noindex, чтобы запретить выбирать ту или иную страницу в качестве канонической на одном сайте, поскольку это приведет к полной блокировке страницы в Поиске. Аннотации link с атрибутом rel="canonical" являются предпочтительным решением.

Так что это была плохая идея.

Откатить изменения!

Если ситуация изменится в будущем, можно вернуться к этому вопросу.

Для Яндекса же можно дополнительно использовать Директиву Clean-param