Bug 57385

Summary: 3.2.7 не полностью копирует дерево каталогов
Product: Branch p11 Reporter: Sergey Y. Afonin <asy>
Component: rsyncAssignee: qa-team <qa-team>
Status: CLOSED WORKSFORME QA Contact: qa-p11 <qa-p11>
Severity: normal    
Priority: P5 CC: kolesnikovaj
Version: unspecified   
Hardware: x86_64   
OS: Linux   

Description Sergey Y. Afonin 2025-12-29 10:15:04 MSK 
Копирование p9/i586 v3.1.3-alt1 ->  p11/x86_64 v3.2.7-alt3
Инициируется с хоста с p11.

Есть структура каталогов вида ~/store/<hwname>/<year>/month (это на p9/i586). Присутствуют месяцы 2023, полностью 2024, 2025. С системы p11/x86_64 выполняется копирование (на самом деле в цикле, до gw156 ещё несколько устройств аналогичных, это последнее):

rsync -avzqW --rsh="ssh -l user" host-p9:/home/tr/store/gw156/ /home/tr/store/00-tr-old/gw156/

И вот что-то случилось. Скопирован 11 месяц 2024 года, дальше несколько часов ничего нового не появляется. Каталога /home/tr/store/00-tr-old/gw156/2024/12 нет, хотя писаться должно в него, а в начале он был, когда год 2024 начачал копироваться, при этом уже создались каталоги по месяцам в /home/tr/store/00-tr-old/gw156/2025/. Сетевой трафик идёт с той же скоростью, iotop существенную скорость записи не демонстрирует, раздел не заполняется:

# date ; df -BM | grep "FLOWDATA\|Filesystem"
Sun Dec 28 19:09:12 +04 2025
Filesystem     1M-blocks     Used Available Use% Mounted on
FLOWDATA       10951419M 6115140M  4836279M  56% /home/tr/store

# date ; df -BM | grep "FLOWDATA\|Filesystem"
Mon Dec 29 00:10:59 +04 2025
Filesystem     1M-blocks     Used Available Use% Mounted on
FLOWDATA       10951419M 6115140M  4836279M  56% /home/tr/store

При этом, если посмотреть второую сторону, откуда качается, файлики вполне себе оттуда передаются, судя по тому, что по очереди открываются (и трафик идёт, как раньше написал):

# date ; lsof | grep store/.*/2024
Mon Dec 29 00:15:15 +04 2025
rsync     19462     user    3r      REG       0,27  52600354    5672018 /home/tr/store/gw156/2024/12/nfcapd.202412181810

# date ; lsof | grep store/.*/2024
Mon Dec 29 00:15:32 +04 2025
rsync     19462     user    3r      REG       0,27  50619414    5672034 /home/tr/store/gw156/2024/12/nfcapd.202412181820

Как только кончились файлики в 2024/12, файлики из 2025/01 начали нормально копироваться и записываться. Декабрь 2024 при копировании оказался пропущен. Повторный запуск копирования будет позже, но, думаю, докопируется недостающее.
Comment 1 Колесников Алексей Юрьевич 2025-12-29 16:22:34 MSK 
Пожалуйста, укажите шаги воспроизведение ошибки, а также количество и примерный объём файлов в Вашей структуре.
Comment 2 Sergey Y. Afonin 2025-12-31 05:55:09 MSK 
Шаги - просто очередной запуск rsync, и вот так вышло. Воспроизводить, наверное, не просто. Может принять к сведению и закрыть, как WONTFIX?

Структура: каталоги устрйство -> год -> месяц. В каталоге "месяц" уже файлы по 10 минут. Это вот за 2024:

# du -s *
180G    01
171G    02
177G    03
154G    04
156G    05
162G    06
151G    07
142G    08
140G    09
168G    10
171G    11
137G    12

4176 - февраль, 4464 - март. По объёму - вот тут у этого устройства лидерство безусловное, остальные 17 все вместе примерно на такой же объём тянут.
Comment 3 Sergey Y. Afonin 2025-12-31 05:56:06 MSK 
(Ответ для Sergey Y. Afonin на комментарий #2)

> 4176 - февраль, 4464 - март.

Это количество 10-минутных файлов по месяцам.
Comment 4 Колесников Алексей Юрьевич 2026-01-13 18:04:14 MSK 
Создал структуру из директорий и файлов. По указанным шагам ошибка не воспроизвелась. rsync успешно клонирует всю структуру файлов с одной машины на другую.