Bug 37416

Summary:	lists.altlinux.org запрещены к индексирования всеми, кроме Yandex
Product:	Infrastructure	Reporter:	mikhailnov <m>
Component:	lists.altlinux.org	Assignee:	Dmitry V. Levin <ldv>
Status:	CLOSED FIXED	QA Contact:	Andrey Cherepanov <cas>
Severity:	normal
Priority:	P3
Version:	unspecified
Hardware:	all
OS:	Linux

Description mikhailnov 2019-11-02 07:31:05 MSK

$ wget -qO- https://lists.altlinux.org/robots.txt
User-agent: Yandex
Host: lists.altlinux.org

В результате архив рассылок не проиндексирован в Google.

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html

Comment 1 Dmitry V. Levin 2019-11-02 19:57:36 MSK

Спасибо, поправил User-agent.

P.S. Не представляю себе, зачем там такой robots.txt