Bug 38956

Summary: Не загружается система с новыми initrd
Product: Sisyphus Reporter: Evgenii Terechkov <evg>
Component: kernel-image-un-defAssignee: Vitaly Chikunov <vt>
Status: CLOSED WORKSFORME QA Contact: qa-sisyphus
Severity: critical    
Priority: P5 CC: kernelbot, legion, mcpain, placeholder, shaba, vt
Version: unstable   
Hardware: x86_64   
OS: Linux   
Attachments:
Description Flags
dmesg-сообщения при неудачной загрузке
none
dmesg-сообщения при успешной загрузке
none
/etc/initrd.mk none

Description Evgenii Terechkov 2020-09-18 09:32:34 MSK 
После обновления на un-def-5.8.9-alt1 система перестала загружаться, показывая сообщения:

=8<============================================================================
Timed out waiting for device /dev/disk/by-uuid/XXXXXXXXXXXXXXXXXXXXXXXXXXXX
Timed out waiting for device /dev/disk/by-label/YYYYYYYYYYYYYYYYYYYYY
=8<============================================================================

на все не-рутовые LV в LVM (корень в той же VG), прописанные для монтирования в fstab. Как следствие отваливаются проверки fsck этих дисков и загрузка вываливается в режим обслуживания. Если зайти рутом видно что устройства в /dev/disk/by-* есть но не смонтированы. Если сделать "mount -a" - все точки монтирования без проблем монтируются и работают.

Думал на соседние баги:
https://bugzilla.altlinux.org/show_bug.cgi?id=38676
https://bugzilla.altlinux.org/show_bug.cgi?id=38151

пробовал по отдельности и вместе убирать automount-ы и/или выставлять event_activation в 0 - никакого эффекта.

Попробовал установить последнее ядро std-def (5.4.62-alt1) - при перезагрузке такая же картина.

Загружаюсь обратно в 5.7.19-alt1 - работает без проблем.

Не знаю как ещё отладить - приложу дополнительную информацию и протестирую, если надо.
Comment 1 Evgenii Terechkov 2020-09-18 09:42:45 MSK 
Забыл важное: непосредственно перед установкой ядра 5.8.9 обновился из сизифа, в частности приехал новый systemd:

=8<============================================================================
Transaction starting at Пт 18 сен 2020 08:07:15
Upgrading pam_systemd 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading php7-libs 7.4.9-alt1:sisyphus+256260.100.1.1@1597840043 to 7.4.10-alt1:sisyphus+258235.100.1.1@1600344794
Upgrading libnss-mymachines 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading xorg-dri-swrast 4:20.1.7-alt1:sisyphus+257275.100.1.1@1599117525 to 4:20.1.8-alt1:sisyphus+258211.100.1.1@1600324012
Upgrading libEGL-mesa 4:20.1.7-alt1:sisyphus+257275.100.1.1@1599117525 to 4:20.1.8-alt1:sisyphus+258211.100.1.1@1600324012
Upgrading systemd-networkd 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading php7-sockets 7.4.9-alt1:sisyphus+256260.3100.1.1@1597841214 to 7.4.10-alt1:sisyphus+258235.3100.1.1@1600346057
Upgrading systemd-analyze 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading php7-xmlreader 7.4.9-alt1:sisyphus+256260.3200.1.1@1597841251 to 7.4.10-alt1:sisyphus+258235.3200.1.1@1600346101
Upgrading php7 7.4.9-alt1:sisyphus+256260.100.1.1@1597840043 to 7.4.10-alt1:sisyphus+258235.100.1.1@1600344794
Upgrading systemd-container 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading php7-mbstring 7.4.9-alt1:sisyphus+256260.200.1.1@1597840240 to 7.4.10-alt1:sisyphus+258235.200.1.1@1600345015
Upgrading libudev1 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading php7-gd 7.4.9-alt1.1:sisyphus+256260.1300.1.1@1597840640 to 7.4.10-alt1.1:sisyphus+258235.1300.1.1@1600345443
Upgrading udev-rules 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading php7-fpm-fcgi 7.4.9-alt1.1:sisyphus+256260.1200.1.1@1597840586 to 7.4.10-alt1.1:sisyphus+258235.1200.1.1@1600345394
Upgrading udev-hwdb 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading systemd-services 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading systemd-coredump 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading systemd 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading materia-gtk-theme 20200320-alt1:sisyphus+249363.100.1.1@1585989067 to 20200916-alt1:sisyphus+258243.300.3.2@1600365314
Upgrading xorg-dri-intel 4:20.1.7-alt1:sisyphus+257275.100.1.1@1599117525 to 4:20.1.8-alt1:sisyphus+258211.100.1.1@1600324012
Upgrading libnss-myhostname 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading systemd-sysvinit 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading systemd-utils 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading libmaxminddb 1.4.2-alt2:sisyphus+242679.100.1.1@1575990189 to 1.4.3-alt1:sisyphus+258197.100.1.1@1600310913
Upgrading libgbm 4:20.1.7-alt1:sisyphus+257275.100.1.1@1599117525 to 4:20.1.8-alt1:sisyphus+258211.100.1.1@1600324012
Upgrading php7-mysqli 7.4.9-alt1.2:sisyphus+256260.1700.1.1@1597840797 to 7.4.10-alt1.2:sisyphus+258235.1700.1.1@1600345605
Upgrading php7-pgsql 7.4.9-alt1.2:sisyphus+256260.2700.1.1@1597841138 to 7.4.10-alt1.2:sisyphus+258235.2700.1.1@1600345975
Upgrading libsystemd 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Upgrading libGLX-mesa 4:20.1.7-alt1:sisyphus+257275.100.1.1@1599117525 to 4:20.1.8-alt1:sisyphus+258211.100.1.1@1600324012
Upgrading udev 1:246.4-alt1:sisyphus+257654.100.1.1@1599580047 to 1:246.5-alt1:sisyphus+258165.200.2.1@1600362764
Transaction succeeded at Пт 18 сен 2020 08:07:31
Transaction starting at Пт 18 сен 2020 12:14:02
Removing kernel-modules-v4l-std-def#1:5.4.49-alt1:sisyphus+253970.100.1.1@1593071892 1:5.4.49-alt1:sisyphus+253970.100.1.1@1593071892
Removing kernel-modules-staging-std-def#1:5.4.49-alt1:sisyphus+253970.100.1.1@1593071892 1:5.4.49-alt1:sisyphus+253970.100.1.1@1593071892
Removing kernel-modules-virtualbox-std-def#6.1.10-alt1.328753.1:sisyphus+253970.3600.1.1@1593073968 6.1.10-alt1.328753.1:sisyphus+253970.3600.1.1@1593073968
Removing kernel-image-std-def#1:5.4.49-alt1:sisyphus+253970.100.1.1@1593071892 1:5.4.49-alt1:sisyphus+253970.100.1.1@1593071892
Removing kernel-modules-drm-std-def#1:5.4.49-alt1:sisyphus+253970.100.1.1@1593071892 1:5.4.49-alt1:sisyphus+253970.100.1.1@1593071892
Transaction succeeded at Пт 18 сен 2020 12:14:08
Transaction starting at Пт 18 сен 2020 12:38:25
Installing kernel-modules-v4l-std-def#1:5.4.62-alt1:sisyphus+257295.100.1.1@1599136134 1:5.4.62-alt1:sisyphus+257295.100.1.1@1599136134
Installing kernel-modules-staging-std-def#1:5.4.62-alt1:sisyphus+257295.100.1.1@1599136134 1:5.4.62-alt1:sisyphus+257295.100.1.1@1599136134
Installing kernel-image-std-def#1:5.4.62-alt1:sisyphus+257295.100.1.1@1599136134 1:5.4.62-alt1:sisyphus+257295.100.1.1@1599136134
Installing kernel-modules-virtualbox-std-def#6.1.12a-alt2.328766.1:sisyphus+257295.3700.1.1@1599137900 6.1.12a-alt2.328766.1:sisyphus+257295.3700.1.1@1599137900
Installing kernel-modules-drm-std-def#1:5.4.62-alt1:sisyphus+257295.100.1.1@1599136134 1:5.4.62-alt1:sisyphus+257295.100.1.1@1599136134
Transaction succeeded at Пт 18 сен 2020 12:39:07
=8<============================================================================

в его файле NEWS я ничего подозрительного в новой версий не увидел.
Comment 2 Evgenii Terechkov 2020-09-18 10:01:07 MSK 
Created attachment 8964 [details]
dmesg-сообщения при неудачной загрузке
Comment 3 Evgenii Terechkov 2020-09-18 10:02:22 MSK 
Created attachment 8965 [details]
dmesg-сообщения при успешной загрузке

Забыл приложить dmesg при успехе и провале загрузки. Я в них никаких критических различий не нашел, но может что-то пропустил.
Comment 4 Anton Farygin 2020-09-18 10:17:21 MSK 
Тоже такая же проблема,но у меня отвалился только swap. корень монтируется.
Comment 5 Anton Farygin 2020-09-18 10:18:02 MSK 
вообще есть подозрение что ошибка где-то на стыке lvm+systemd(udev)
Comment 6 Anton V. Boyarshinov 2020-09-18 11:14:55 MSK 
(Ответ для Anton Farygin на комментарий #5)
> вообще есть подозрение что ошибка где-то на стыке lvm+systemd(udev)

Так как со старыми ядрами не проявляется, то где-то на стыке lvm+udev+kernel....
Comment 7 Anton V. Boyarshinov 2020-09-18 11:59:48 MSK 
Хотя... а если перегенерировать в обновлённой системе initrd для старого ядра -- загрузится?
Только сохраните предыдущий initrd, а то вдруг оно превратится в тыкву...
Comment 8 Evgenii Terechkov 2020-09-18 19:01:24 MSK 
Ну раз я пробовал править lvm/lvm.conf и убирать automount-юниты - то видимо корень таки монтировался без проблем. Виноват, явно не указал.

Перегенерировать initrd для старого ядра попробую, отпишусь.
Comment 9 Evgenii Terechkov 2020-09-19 09:00:45 MSK 
Если перегенерировать initrd для старого ядра - на нём проблема начинает проявляться точно таким же образом.

Пофайлово различий в проблемном и рабочих образах initrd нет, побайтово между файлами конечно все поменялось.

Получается, проблема в новом systemd в связке с lvm, но не в ядре как таковом?
Comment 10 Anton V. Boyarshinov 2020-09-21 12:50:50 MSK 
(Ответ для Evgenii Terechkov на комментарий #9)
> Получается, проблема в новом systemd в связке с lvm, но не в ядре как
> таковом?

Получается что так, да..
Comment 11 Evgenii Terechkov 2020-10-01 08:06:54 MSK 
Проявляется и на un-def-5.8.12-alt + systemd 246.6-alt1
Comment 12 Evgenii Terechkov 2020-10-01 08:08:17 MSK 
Created attachment 8985 [details]
/etc/initrd.mk

Содержимое /etc/initrd.mk невинное.
Comment 13 Evgenii Terechkov 2020-10-04 05:52:41 MSK 
Проявляется и на un-def-5.8.13-alt1 + systemd 246.6-alt2
Comment 14 Alexey Gladkov 2020-10-04 16:27:48 MSK 
Подозреваю, что дело в udev. При перегенерации initrd туда попадает новый софт и привет. Я бы предложил попробовать руками доложить в старый initrd модули для нового ядра и посмотреть.
Comment 15 Evgenii Terechkov 2020-10-05 05:05:47 MSK 
Что посмотреть то?
Comment 16 Alexey Gladkov 2020-10-05 12:17:52 MSK 
Если вопрос ко мне, то посмотреть загрузится ли система.
Comment 17 Evgenii Terechkov 2020-10-06 10:11:49 MSK 
Думаю, загрузилась бы, куда ж ей деться.

Впрочем, самопочинилось после обновления firmware-linux до 20200923-alt1:sisyphus+259210.100.1.1@1601853238 , make-initrd до  2.11.0-alt1:sisyphus+259263.100.1.1@1601933096 и пересборки initrd. Ядро 5.8.13-alt1 загрузилось успешно.