Bug 37416 - lists.altlinux.org запрещены к индексирования всеми, кроме Yandex
Summary: lists.altlinux.org запрещены к индексирования всеми, кроме Yandex
Status: CLOSED FIXED
Alias: None
Product: Infrastructure
Classification: Infrastructure
Component: lists.altlinux.org (show other bugs)
Version: unspecified
Hardware: all Linux
: P3 normal
Assignee: Dmitry V. Levin
QA Contact: Andrey Cherepanov
URL:
Keywords:
Depends on:
Blocks:
 
Reported: 2019-11-02 07:31 MSK by mikhailnov
Modified: 2019-11-02 19:57 MSK (History)
0 users

See Also:

Attachments
Add an attachment (proposed patch, testcase, etc.)

Note You need to log in before you can comment on or make changes to this bug.
Description mikhailnov 2019-11-02 07:31:05 MSK 
$ wget -qO- https://lists.altlinux.org/robots.txt
User-agent: Yandex
Host: lists.altlinux.org

В результате архив рассылок не проиндексирован в Google.

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html
Comment 1 Dmitry V. Levin 2019-11-02 19:57:36 MSK 
Спасибо, поправил User-agent.

P.S. Не представляю себе, зачем там такой robots.txt