Bug 40779

Summary: apt-repo-tools p9->p10 regression: genbasedir speed is 15x slower
Product: Sisyphus Reporter: viy <viy>
Component: apt-repo-toolsAssignee: Gleb F-Malinovskiy <glebfm>
Status: NEW --- QA Contact: qa-sisyphus
Severity: normal    
Priority: P5 CC: at, glebfm, imz, ldv
Version: unstable   
Hardware: x86_64   
OS: Linux   
Attachments:
Description Flags
log for apt-repo-tools-0.7.1-alt1
none
log for apt-repo-tools-0.6.0.22-alt1 none

Description viy 2021-08-18 18:20:13 MSK 
После обновления с p9 до p10 более чем в 15 раз упала скорость genbasedir.

С apt-repo-tools-0.7.1-alt1.x86_64 (p10) для cpanbuilder
индексы генерируются почти 8 минут (7:38.00elapsed 115%CPU)

в то время как с apt-repo-tools-0.6.0.22-alt1.x86_64 (p9)
для cpanbuilder индексы генерируются за 30 секунд:
0:30.51elapsed 312%CPU

Хотелось бы убрать регрессию. Для autoimports теперь индексы и вовсе ждать 10 минут :(
Comment 1 viy 2021-08-18 18:29:02 MSK 
Created attachment 9608 [details]
log for apt-repo-tools-0.7.1-alt1
Comment 2 viy 2021-08-18 18:30:24 MSK 
Created attachment 9609 [details]
log for apt-repo-tools-0.6.0.22-alt1
Comment 3 Gleb F-Malinovskiy 2021-11-01 16:45:17 MSK 
Мне не удалось воспроизвести:

[builder@localhost ~]$ rpm -q apt-repo-tools
apt-repo-tools-0.6.0.22-alt1.x86_64
[builder@localhost ~]$ /usr/bin/time genbasedir --create --verbose --progress --topdir ~/repo x86_64 test
Creating base directory... done
Components: test
Processing packages... RPMS.test 9942/9942 9942/9942 done
Waiting for bzip2 and xz to finish... done
Creating component releases... test done
Updating global release file... done
Appending MD5Sum... test done
All your base are belong to us!!!
26.40user 3.01system 0:27.68elapsed 106%CPU (0avgtext+0avgdata 97312maxresident)k
0inputs+0outputs (0major+15967minor)pagefaults 0swaps

[builder@localhost ~]$ rpm -q apt-repo-tools
apt-repo-tools-0.8.0-alt1.x86_64
[builder@localhost ~]$ /usr/bin/time genbasedir --no-blake2b --create --verbose --progress --topdir ~/repo x86_64 test
Components: test
Processing packages... RPMS.test 9942/9942 9942/9942 done
Waiting for bzip2 and xz to finish... done
Creating component releases... test done
Updating global release file... done
Appending MD5Sum... test done
All your base are belong to us!!!
26.02user 2.74system 0:27.12elapsed 106%CPU (0avgtext+0avgdata 97196maxresident)k
19336inputs+0outputs (3major+17145minor)pagefaults 0swaps
Comment 4 viy 2021-11-01 17:20:04 MSK 
Спасибо, попробую на 0.8
Comment 5 viy 2021-11-01 19:01:53 MSK 
Регрессия осталась:(
Замеры выполняются в контейнерах autoperl.altlinux.org, autoperl.altlinux.org.

Тестовое множество - репозиторий cpanbuilder.
http://autoperl.altlinux.org/pub/ALTLinux/cpanbuilder/Sisyphus/

Причины могут быть две: либо контейнер как-то влияет, либо тестовое множество (большой размер).

Вы не могли бы у себя проверить, скачав репозиторий cpanbuilder?
Если у вас не будет разницы, то виноват контейнер. Если будет разница -
причина в apt-repo-tools.
Comment 6 Gleb F-Malinovskiy 2021-11-01 20:13:21 MSK 
(In reply to viy from comment #4)
> Спасибо, попробую на 0.8
(In reply to viy from comment #5)
> Регрессия осталась:(
В этой версии и не могло ничего измениться, да, добавился только blake2b.

(In reply to viy from comment #5)
> Вы не могли бы у себя проверить, скачав репозиторий cpanbuilder?

```/usr/bin/time sh -c 'for a in i586 x86_64 noarch; do /usr/bin/time genbasedir --no-blake2b --no-xz --no-bz2 --create --verbose --progress --topdir $PWD/Sisyphus $a; done'
Components: cpanbuilder
Processing packages... RPMS.cpanbuilder 2446/2446 2446/2446 done
Waiting for bzip2 and xz to finish... done
Creating component releases... cpanbuilder done
Updating global release file... done
Appending MD5Sum... cpanbuilder done
All your base are belong to us!!!
0.44user 0.09system 0:00.54elapsed 100%CPU (0avgtext+0avgdata 10080maxresident)k
0inputs+5824outputs (0major+7935minor)pagefaults 0swaps
Components: cpanbuilder
Processing packages... RPMS.cpanbuilder 2457/2457 2457/2457 done
Waiting for bzip2 and xz to finish... done
Creating component releases... cpanbuilder done
Updating global release file... done
Appending MD5Sum... cpanbuilder done
All your base are belong to us!!!
0.67user 0.13system 0:00.80elapsed 100%CPU (0avgtext+0avgdata 10044maxresident)k
0inputs+5920outputs (0major+7896minor)pagefaults 0swaps
Components: cpanbuilder
Processing packages... RPMS.cpanbuilder 32311/32311 32311/32311 done
Waiting for bzip2 and xz to finish... done
Creating component releases... cpanbuilder done
Updating global release file... done
Appending MD5Sum... cpanbuilder done
All your base are belong to us!!!
3.54user 0.99system 0:04.54elapsed 99%CPU (0avgtext+0avgdata 35432maxresident)k
0inputs+83960outputs (0major+16152minor)pagefaults 0swaps
4.66user 1.23system 0:05.89elapsed 100%CPU (0avgtext+0avgdata 35432maxresident)k
0inputs+95704outputs (0major+32460minor)pagefaults 0swaps
```

Вы уверены, что не делаете эту операцию через какой-нибудь nfs или что-то такое?
Comment 7 viy 2021-11-01 20:42:58 MSK 
Гм. похоже, проблема связана с контейнером.
Какой-то странный случай. Когда apt-repo-tools-0.6.0.22 там работает быстро,
а apt-repo-tools-0.7.1-alt1 - на порядок медленнее.

Вы не могли бы на своей машине сравнить скорость с apt-repo-tools-0.6.0.22 ?
Если у вас разницы не будет, то закрываем баг.