Bug 39695

Summary:	mdadm не стартуют массивы после запуска системы
Product:	Альт Сервер	Reporter:	KALIBR-10 <konsol1985ru>
Component:	Ошибки работы	Assignee:	Alexey Shabalin <shaba>
Status:	CLOSED NOTABUG	QA Contact:	qa-p8 <qa-p8>
Severity:	normal
Priority:	P5	CC:	klark, konsol1985ru, shaba
Version:	9.1
Hardware:	x86_64
OS:	Linux

Description

KALIBR-10 2021-02-16 12:58:35 MSK

Имеется три массива:
# cat /proc/mdstat 
Personalities : [raid1] 
md125 : active raid1 sda1[0] sdb1[1]
      586057664 blocks [2/2] [UU]
      
md126 : inactive sdk[8] sde[2] sdc[0] sdh[5] sdf[3] sdj[7] sdd[1] sdg[4] sdm[10] sdn[11] sdi[6] sdl[9]
      93766733856 blocks super 1.2
       
md127 : inactive sdt[5] sdq[2] sdu[6] sdw[8] sds[4] sdr[3] sdx[9] sdp[1] sdv[7] sdo[0]
      78138944880 blocks super 1.2
       
unused devices: <none>

md125 был создан при установке системы, на нем располагается корень ФС и загрузчик. Другие после.

Файл /etc/mdadm.conf:
# cat /etc/mdadm.conf
#
#  /etc/mdadm.conf  --  mdadm configuration file
#
#  Customized for ALTLinux
#  See complete sample on manual page and in documentation directory
#
#  This is a minimalistic skeleton but it should work out-of:a+box!
#

MAILADDR root
PROGRAM /sbin/mdadm-syslog-events
DEVICE partitions
ARRAY /dev/md/mlxbackups2.localdomain:128 level=raid6 num-devices=12 metadata=1.2 name=mlxbackups2.localdomain:128 UUID=6e4eea86:d53d03d8:3a0d2ea6:0159392b
ARRAY /dev/md/mlxbackups2.localdomain:129 level=raid6 num-devices=10 metadata=1.2 name=mlxbackups2.localdomain:129 UUID=86b231d4:4ab3531b:8547684f:31ff95d7
ARRAY /dev/md/125_0 level=raid1 num-devices=2 metadata=0.90 UUID=15075b5a:cc7aaf6b:1d83e7eb:114865ed
## EOF ##


Каждый раз при запуске системы приходится делать:
# mdadm -IRs
# mdadm -w /dev/md126
# mdadm -w /dev/md127

Тема на форуме altlinux https://forum.altlinux.org/index.php?topic=44656.0

Comment 1

Leonid Krivoshein 2021-02-18 09:37:23 MSK

Попробуйте добавить в /etc/sysconfig/mdadm строку:
MDADM_MONITOR_ARGS="-d 60"
и перезагрузиться.

Comment 2

KALIBR-10 2021-02-18 12:45:57 MSK

(Ответ для Leonid Krivoshein на комментарий #1)
> Попробуйте добавить в /etc/sysconfig/mdadm строку:
> MDADM_MONITOR_ARGS="-d 60"
> и перезагрузиться.

Не помогло:
[root@mlxbackups2 ~]#  cat /etc/sysconfig/mdadm 
# monitoring options
# MDADM_MONITOR_ARGS="-d MDADM_DELAY -m MDADM_MAIL -p MDADM_PROGRAM"
#MDADM_MONITOR_ARGS=""
MDADM_MONITOR_ARGS="-d 60"
[root@mlxbackups2 ~]# cat /proc/mdstat 
Personalities : [raid1] 
md125 : active raid1 sda1[0] sdb1[1]
      586057664 blocks [2/2] [UU]
      
md126 : inactive sdq[2] sds[4] sdw[8] sdu[6] sdr[3] sdx[9] sdt[5] sdv[7] sdp[1] sdo[0]
      78138944880 blocks super 1.2
       
md127 : inactive sdd[1] sdh[5] sdj[7] sdk[8] sdl[9] sdf[3] sdn[11] sde[2] sdc[0] sdi[6] sdm[10] sdg[4]
      93766733856 blocks super 1.2
       
unused devices: <none>

Comment 3

Leonid Krivoshein 2021-02-18 13:39:42 MSK

(In reply to KALIBR-10 from comment #2)
> Не помогло:
Понятно. А что сейчас в /run/sysconfig/mdadm ?
И что показывает ps aux |grep mdadm в том же состоянии?
А вот это: systemctl status mdmonitor mdadm ?

Comment 4

KALIBR-10 2021-02-18 14:03:00 MSK

(Ответ для Leonid Krivoshein на комментарий #3)
> (In reply to KALIBR-10 from comment #2)
> > Не помогло:
> Понятно. А что сейчас в /run/sysconfig/mdadm ?
> И что показывает ps aux |grep mdadm в том же состоянии?
> А вот это: systemctl status mdmonitor mdadm ?

[root@mlxbackups2 ~]# cat /run/sysconfig/mdadm
cat: /run/sysconfig/mdadm: Нет такого файла или каталога
[root@mlxbackups2 ~]# ps aux |grep mdadm
root        3001  0.0  0.0   3296  2608 ?        Ss   09:51   0:00 /sbin/mdadm --monitor --scan -d 60
root        3962  0.0  0.0   4640  1908 pts/0    S+   11:02   0:00 grep --color=auto mdadm
[root@mlxbackups2 ~]# systemctl status mdmonitor mdadm
● mdmonitor.service - MD array monitor
   Loaded: loaded (/lib/systemd/system/mdmonitor.service; static; vendor preset: disabled)
   Active: active (running) since Thu 2021-02-18 09:51:46 UTC; 1h 11min ago
 Main PID: 3001 (mdadm)
    Tasks: 1 (limit: 4915)
   Memory: 756.0K
   CGroup: /system.slice/mdmonitor.service
           └─3001 /sbin/mdadm --monitor --scan -d 60

фев 18 09:51:46 mlxbackups2.localdomain systemd[1]: Started MD array monitor.
фев 18 09:51:46 mlxbackups2.localdomain mdmonitor[3002]: DeviceDisappeared event on /dev/md/127_0

● mdmonitor.service - MD array monitor
   Loaded: loaded (/lib/systemd/system/mdmonitor.service; static; vendor preset: disabled)
   Active: active (running) since Thu 2021-02-18 09:51:46 UTC; 1h 11min ago
 Main PID: 3001 (mdadm)
    Tasks: 1 (limit: 4915)
   Memory: 756.0K
   CGroup: /system.slice/mdmonitor.service
           └─3001 /sbin/mdadm --monitor --scan -d 60

фев 18 09:51:46 mlxbackups2.localdomain systemd[1]: Started MD array monitor.
фев 18 09:51:46 mlxbackups2.localdomain mdmonitor[3002]: DeviceDisappeared event on /dev/md/127_0

Comment 5

Leonid Krivoshein 2021-02-18 15:35:15 MSK

А если починить массивы и после этого запустить make-initrd? По идее, если новый /etc/mdadm.conf попадёт в initramfs, какой-то шанс на запуск массивов на более ранней стадии есть. Этому могут помочь такие параметры загрузки:

raid-member-delay=40 rootdelay=60

Comment 6

KALIBR-10 2021-02-18 15:53:01 MSK

(Ответ для Leonid Krivoshein на комментарий #5)
> А если починить массивы и после этого запустить make-initrd? По идее, если
> новый /etc/mdadm.conf попадёт в initramfs, какой-то шанс на запуск массивов
> на более ранней стадии есть. Этому могут помочь такие параметры загрузки:
> 
> raid-member-delay=40 rootdelay=60

Выполнил make-initrd при уже активированных массивах, перезагрузился, не помогло.

raid-member-delay=40 rootdelay=60 куда прописать?

Comment 7

Leonid Krivoshein 2021-02-18 16:03:10 MSK

(In reply to KALIBR-10 from comment #6)
> raid-member-delay=40 rootdelay=60 куда прописать?
Их можно добавить разово при загрузке в меню grub (F2 и дописать в конец) и, если поможет, прописать в /etc/sysconfig/grub2 к тем же опциям, затем update-grub

Comment 8

KALIBR-10 2021-02-18 16:28:29 MSK

(Ответ для Leonid Krivoshein на комментарий #7)
> (In reply to KALIBR-10 from comment #6)
> > raid-member-delay=40 rootdelay=60 куда прописать?
> Их можно добавить разово при загрузке в меню grub (F2 и дописать в конец) и,
> если поможет, прописать в /etc/sysconfig/grub2 к тем же опциям, затем
> update-grub

Не помогло

Comment 9

KALIBR-10 2021-02-20 12:15:45 MSK

Выполнил:
cp /etc/mdadm.conf /root/mdadm.conf
В /etc/mdadm.conf внес изменения
MAILADDR root
PROGRAM /sbin/mdadm-syslog-events
#DEVICE partitions

DEVICE /dev/disk/by-id/scsi-35000cca01fdf7c38-part1 /dev/disk/by-id/scsi-35000cca01fdf9544-part1

ARRAY /dev/md/mlxbackups2.localdomain:126 metadata=1.2 name=mlxbackups2.localdomain:126 UUID=75e5fb0e:ad46699c:532a7fb4:be615ad5
ARRAY /dev/md/mlxbackups2.localdomain:128 metadata=1.2 name=mlxbackups2.localdomain:128 UUID=514abfe7:5d077061:38961e51:745c7078
ARRAY /dev/md/127_0 metadata=0.90 UUID=e0bf5e83:1b160f9f:ab330322:964acf94
## EOF ##

make-initrd

cp /root/mdadm.conf /etc/mdadm.conf
reboot

# cat /proc/mdstat 
Personalities : [raid1] [raid6] [raid5] [raid4] 
md128 : active raid6 sdu[6] sdv[7] sdo[0] sdq[2] sdt[5] sdp[1] sdr[3] sdx[9] sds[4] sdw[8]
      62511153152 blocks super 1.2 level 6, 512k chunk, algorithm 2 [10/10] [UUUUUUUUUU]
      [>....................]  resync =  1.4% (115829372/7813894144) finish=1236.4min speed=103763K/sec
      bitmap: 59/59 pages [236KB], 65536KB chunk

md126 : active raid6 sdj[7] sdi[6] sdf[3] sdg[4] sdh[5] sde[2] sdd[1] sdk[8] sdc[0] sdm[10] sdn[11] sdl[9]
      78138941440 blocks super 1.2 level 6, 512k chunk, algorithm 2 [12/12] [UUUUUUUUUUUU]
      [>....................]  resync =  1.5% (119591932/7813894144) finish=1222.0min speed=104937K/sec
      bitmap: 59/59 pages [236KB], 65536KB chunk

md125 : active raid1 sda1[0] sdb1[1]
      586057664 blocks [2/2] [UU]
      
unused devices: <none>

Рейды поднялись