Bug 56529 - Включенный robots.txt также запрещает User-agent: * после запрещения ботов
Summary: Включенный robots.txt также запрещает User-agent: * после запрещения ботов
Status: CLOSED NOTABUG
Alias: None
Product: Branch p11
Classification: Unclassified
Component: anubis (show other bugs)
Version: unspecified
Hardware: x86_64 Linux
: P5 normal
Assignee: Alexey Shabalin
QA Contact: qa-p11@altlinux.org
URL: https://github.com/TecharoHQ/anubis/i...
Keywords:
Depends on:
Blocks:
 
Reported: 2025-10-21 13:24 MSK by Artem Varaksa
Modified: 2025-10-21 13:29 MSK (History)
1 user (show)

See Also:

Attachments
Add an attachment (proposed patch, testcase, etc.)

Note You need to log in before you can comment on or make changes to this bug.
Description Artem Varaksa 2025-10-21 13:24:44 MSK 
Данная ошибка создана из upstream-ошибки https://github.com/TecharoHQ/anubis/issues/532 для отслеживания её статуса в bugzilla.altlinux.org. Версии пакетов могут быть устаревшими.

robots.txt, который отдаётся при SERVE_ROBOTS_TXT, имеет следующий раздел в конце:

> anubis/web/static/robots.txt
> Lines 61 to 62 in 5e7bfa5
>   User-agent: *
>   Disallow: /

Разве не должно быть Allow, учитывая, что все боты, о которых идет речь, запрещены выше?

Для справки, файл ai-robots-txt @ v1.30 (https://github.com/ai-robots-txt/ai.robots.txt/blob/v1.30/robots.txt) вообще не имеет этого раздела.

anubis-1.18.0
Comment 1 Artem Varaksa 2025-10-21 13:24:54 MSK 
Ожидаемое поведение, согласно upstream https://github.com/TecharoHQ/anubis/issues/532#issuecomment-2905070023.