#37416 – lists.altlinux.org запрещены к индексирования всеми, кроме Yandex

Bug 37416 - lists.altlinux.org запрещены к индексирования всеми, кроме Yandex

Summary: lists.altlinux.org запрещены к индексирования всеми, кроме Yandex

Status:	CLOSED FIXED

Alias:	None

Product:	Infrastructure
Classification:	Infrastructure
Component:	lists.altlinux.org (show other bugs)
Version:	unspecified
Hardware:	all Linux

Importance:	P3 normal
Assignee:	Dmitry V. Levin
QA Contact:	Andrey Cherepanov

URL:
Keywords:

Depends on:
Blocks:

Reported:	2019-11-02 07:31 MSK by mikhailnov
Modified:	2019-11-02 19:57 MSK (History)
CC List:	0 users

See Also:

Attachments
Add an attachment (proposed patch, testcase, etc.)

Note You need to log in before you can comment on or make changes to this bug.

Description

mikhailnov 2019-11-02 07:31:05 MSK

$ wget -qO- https://lists.altlinux.org/robots.txt
User-agent: Yandex
Host: lists.altlinux.org

В результате архив рассылок не проиндексирован в Google.

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html

Comment 1

Dmitry V. Levin 2019-11-02 19:57:36 MSK

Спасибо, поправил User-agent.

P.S. Не представляю себе, зачем там такой robots.txt