Bug 56529

Summary:	Включенный robots.txt также запрещает User-agent: * после запрещения ботов
Product:	Branch p11	Reporter:	Artem Varaksa <varaksaaa>
Component:	anubis	Assignee:	Alexey Shabalin <shaba>
Status:	CLOSED NOTABUG	QA Contact:	qa-p11 <qa-p11>
Severity:	normal
Priority:	P5	CC:	shaba
Version:	unspecified
Hardware:	x86_64
OS:	Linux
URL:	https://github.com/TecharoHQ/anubis/issues/532

Description Artem Varaksa 2025-10-21 13:24:44 MSK

Данная ошибка создана из upstream-ошибки https://github.com/TecharoHQ/anubis/issues/532 для отслеживания её статуса в bugzilla.altlinux.org. Версии пакетов могут быть устаревшими.

robots.txt, который отдаётся при SERVE_ROBOTS_TXT, имеет следующий раздел в конце:

> anubis/web/static/robots.txt
> Lines 61 to 62 in 5e7bfa5
>   User-agent: *
>   Disallow: /

Разве не должно быть Allow, учитывая, что все боты, о которых идет речь, запрещены выше?

Для справки, файл ai-robots-txt @ v1.30 (https://github.com/ai-robots-txt/ai.robots.txt/blob/v1.30/robots.txt) вообще не имеет этого раздела.

anubis-1.18.0

Comment 1 Artem Varaksa 2025-10-21 13:24:54 MSK

Ожидаемое поведение, согласно upstream https://github.com/TecharoHQ/anubis/issues/532#issuecomment-2905070023.