<?xml version="1.0" encoding="UTF-8" ?>

<bugzilla version="5.2"
          urlbase="https://bugzilla.altlinux.org/"
          
          maintainer="jenya@basealt.ru"
>

    <bug>
          <bug_id>39695</bug_id>
          
          <creation_ts>2021-02-16 12:58:35 +0300</creation_ts>
          <short_desc>mdadm не стартуют массивы после запуска системы</short_desc>
          <delta_ts>2022-01-23 12:45:18 +0300</delta_ts>
          <reporter_accessible>1</reporter_accessible>
          <cclist_accessible>1</cclist_accessible>
          <classification_id>3</classification_id>
          <classification>Distributions</classification>
          <product>Альт Сервер</product>
          <component>Ошибки работы</component>
          <version>9.1</version>
          <rep_platform>x86_64</rep_platform>
          <op_sys>Linux</op_sys>
          <bug_status>CLOSED</bug_status>
          <resolution>NOTABUG</resolution>
          
          
          <bug_file_loc></bug_file_loc>
          <status_whiteboard></status_whiteboard>
          <keywords></keywords>
          <priority>P5</priority>
          <bug_severity>normal</bug_severity>
          <target_milestone>---</target_milestone>
          
          
          <everconfirmed>1</everconfirmed>
          <reporter name="KALIBR-10">konsol1985ru</reporter>
          <assigned_to name="Alexey Shabalin">shaba</assigned_to>
          <cc>klark</cc>
    
    <cc>konsol1985ru</cc>
    
    <cc>shaba</cc>
          
          <qa_contact name="qa-p8@altlinux.org">qa-p8</qa_contact>

      

      

      

          <comment_sort_order>oldest_to_newest</comment_sort_order>  
          <long_desc isprivate="0" >
    <commentid>196275</commentid>
    <comment_count>0</comment_count>
    <who name="KALIBR-10">konsol1985ru</who>
    <bug_when>2021-02-16 12:58:35 +0300</bug_when>
    <thetext>Имеется три массива:
# cat /proc/mdstat 
Personalities : [raid1] 
md125 : active raid1 sda1[0] sdb1[1]
      586057664 blocks [2/2] [UU]
      
md126 : inactive sdk[8] sde[2] sdc[0] sdh[5] sdf[3] sdj[7] sdd[1] sdg[4] sdm[10] sdn[11] sdi[6] sdl[9]
      93766733856 blocks super 1.2
       
md127 : inactive sdt[5] sdq[2] sdu[6] sdw[8] sds[4] sdr[3] sdx[9] sdp[1] sdv[7] sdo[0]
      78138944880 blocks super 1.2
       
unused devices: &lt;none&gt;

md125 был создан при установке системы, на нем располагается корень ФС и загрузчик. Другие после.

Файл /etc/mdadm.conf:
# cat /etc/mdadm.conf
#
#  /etc/mdadm.conf  --  mdadm configuration file
#
#  Customized for ALTLinux
#  See complete sample on manual page and in documentation directory
#
#  This is a minimalistic skeleton but it should work out-of:a+box!
#

MAILADDR root
PROGRAM /sbin/mdadm-syslog-events
DEVICE partitions
ARRAY /dev/md/mlxbackups2.localdomain:128 level=raid6 num-devices=12 metadata=1.2 name=mlxbackups2.localdomain:128 UUID=6e4eea86:d53d03d8:3a0d2ea6:0159392b
ARRAY /dev/md/mlxbackups2.localdomain:129 level=raid6 num-devices=10 metadata=1.2 name=mlxbackups2.localdomain:129 UUID=86b231d4:4ab3531b:8547684f:31ff95d7
ARRAY /dev/md/125_0 level=raid1 num-devices=2 metadata=0.90 UUID=15075b5a:cc7aaf6b:1d83e7eb:114865ed
## EOF ##


Каждый раз при запуске системы приходится делать:
# mdadm -IRs
# mdadm -w /dev/md126
# mdadm -w /dev/md127

Тема на форуме altlinux https://forum.altlinux.org/index.php?topic=44656.0</thetext>
  </long_desc><long_desc isprivate="0" >
    <commentid>196314</commentid>
    <comment_count>1</comment_count>
    <who name="Leonid Krivoshein">klark</who>
    <bug_when>2021-02-18 09:37:23 +0300</bug_when>
    <thetext>Попробуйте добавить в /etc/sysconfig/mdadm строку:
MDADM_MONITOR_ARGS=&quot;-d 60&quot;
и перезагрузиться.</thetext>
  </long_desc><long_desc isprivate="0" >
    <commentid>196315</commentid>
    <comment_count>2</comment_count>
    <who name="KALIBR-10">konsol1985ru</who>
    <bug_when>2021-02-18 12:45:57 +0300</bug_when>
    <thetext>(Ответ для Leonid Krivoshein на комментарий #1)
&gt; Попробуйте добавить в /etc/sysconfig/mdadm строку:
&gt; MDADM_MONITOR_ARGS=&quot;-d 60&quot;
&gt; и перезагрузиться.

Не помогло:
[root@mlxbackups2 ~]#  cat /etc/sysconfig/mdadm 
# monitoring options
# MDADM_MONITOR_ARGS=&quot;-d MDADM_DELAY -m MDADM_MAIL -p MDADM_PROGRAM&quot;
#MDADM_MONITOR_ARGS=&quot;&quot;
MDADM_MONITOR_ARGS=&quot;-d 60&quot;
[root@mlxbackups2 ~]# cat /proc/mdstat 
Personalities : [raid1] 
md125 : active raid1 sda1[0] sdb1[1]
      586057664 blocks [2/2] [UU]
      
md126 : inactive sdq[2] sds[4] sdw[8] sdu[6] sdr[3] sdx[9] sdt[5] sdv[7] sdp[1] sdo[0]
      78138944880 blocks super 1.2
       
md127 : inactive sdd[1] sdh[5] sdj[7] sdk[8] sdl[9] sdf[3] sdn[11] sde[2] sdc[0] sdi[6] sdm[10] sdg[4]
      93766733856 blocks super 1.2
       
unused devices: &lt;none&gt;</thetext>
  </long_desc><long_desc isprivate="0" >
    <commentid>196318</commentid>
    <comment_count>3</comment_count>
    <who name="Leonid Krivoshein">klark</who>
    <bug_when>2021-02-18 13:39:42 +0300</bug_when>
    <thetext>(In reply to KALIBR-10 from comment #2)
&gt; Не помогло:
Понятно. А что сейчас в /run/sysconfig/mdadm ?
И что показывает ps aux |grep mdadm в том же состоянии?
А вот это: systemctl status mdmonitor mdadm ?</thetext>
  </long_desc><long_desc isprivate="0" >
    <commentid>196319</commentid>
    <comment_count>4</comment_count>
    <who name="KALIBR-10">konsol1985ru</who>
    <bug_when>2021-02-18 14:03:00 +0300</bug_when>
    <thetext>(Ответ для Leonid Krivoshein на комментарий #3)
&gt; (In reply to KALIBR-10 from comment #2)
&gt; &gt; Не помогло:
&gt; Понятно. А что сейчас в /run/sysconfig/mdadm ?
&gt; И что показывает ps aux |grep mdadm в том же состоянии?
&gt; А вот это: systemctl status mdmonitor mdadm ?

[root@mlxbackups2 ~]# cat /run/sysconfig/mdadm
cat: /run/sysconfig/mdadm: Нет такого файла или каталога
[root@mlxbackups2 ~]# ps aux |grep mdadm
root        3001  0.0  0.0   3296  2608 ?        Ss   09:51   0:00 /sbin/mdadm --monitor --scan -d 60
root        3962  0.0  0.0   4640  1908 pts/0    S+   11:02   0:00 grep --color=auto mdadm
[root@mlxbackups2 ~]# systemctl status mdmonitor mdadm
● mdmonitor.service - MD array monitor
   Loaded: loaded (/lib/systemd/system/mdmonitor.service; static; vendor preset: disabled)
   Active: active (running) since Thu 2021-02-18 09:51:46 UTC; 1h 11min ago
 Main PID: 3001 (mdadm)
    Tasks: 1 (limit: 4915)
   Memory: 756.0K
   CGroup: /system.slice/mdmonitor.service
           └─3001 /sbin/mdadm --monitor --scan -d 60

фев 18 09:51:46 mlxbackups2.localdomain systemd[1]: Started MD array monitor.
фев 18 09:51:46 mlxbackups2.localdomain mdmonitor[3002]: DeviceDisappeared event on /dev/md/127_0

● mdmonitor.service - MD array monitor
   Loaded: loaded (/lib/systemd/system/mdmonitor.service; static; vendor preset: disabled)
   Active: active (running) since Thu 2021-02-18 09:51:46 UTC; 1h 11min ago
 Main PID: 3001 (mdadm)
    Tasks: 1 (limit: 4915)
   Memory: 756.0K
   CGroup: /system.slice/mdmonitor.service
           └─3001 /sbin/mdadm --monitor --scan -d 60

фев 18 09:51:46 mlxbackups2.localdomain systemd[1]: Started MD array monitor.
фев 18 09:51:46 mlxbackups2.localdomain mdmonitor[3002]: DeviceDisappeared event on /dev/md/127_0</thetext>
  </long_desc><long_desc isprivate="0" >
    <commentid>196328</commentid>
    <comment_count>5</comment_count>
    <who name="Leonid Krivoshein">klark</who>
    <bug_when>2021-02-18 15:35:15 +0300</bug_when>
    <thetext>А если починить массивы и после этого запустить make-initrd? По идее, если новый /etc/mdadm.conf попадёт в initramfs, какой-то шанс на запуск массивов на более ранней стадии есть. Этому могут помочь такие параметры загрузки:

raid-member-delay=40 rootdelay=60</thetext>
  </long_desc><long_desc isprivate="0" >
    <commentid>196329</commentid>
    <comment_count>6</comment_count>
    <who name="KALIBR-10">konsol1985ru</who>
    <bug_when>2021-02-18 15:53:01 +0300</bug_when>
    <thetext>(Ответ для Leonid Krivoshein на комментарий #5)
&gt; А если починить массивы и после этого запустить make-initrd? По идее, если
&gt; новый /etc/mdadm.conf попадёт в initramfs, какой-то шанс на запуск массивов
&gt; на более ранней стадии есть. Этому могут помочь такие параметры загрузки:
&gt; 
&gt; raid-member-delay=40 rootdelay=60

Выполнил make-initrd при уже активированных массивах, перезагрузился, не помогло.

raid-member-delay=40 rootdelay=60 куда прописать?</thetext>
  </long_desc><long_desc isprivate="0" >
    <commentid>196330</commentid>
    <comment_count>7</comment_count>
    <who name="Leonid Krivoshein">klark</who>
    <bug_when>2021-02-18 16:03:10 +0300</bug_when>
    <thetext>(In reply to KALIBR-10 from comment #6)
&gt; raid-member-delay=40 rootdelay=60 куда прописать?
Их можно добавить разово при загрузке в меню grub (F2 и дописать в конец) и, если поможет, прописать в /etc/sysconfig/grub2 к тем же опциям, затем update-grub</thetext>
  </long_desc><long_desc isprivate="0" >
    <commentid>196333</commentid>
    <comment_count>8</comment_count>
    <who name="KALIBR-10">konsol1985ru</who>
    <bug_when>2021-02-18 16:28:29 +0300</bug_when>
    <thetext>(Ответ для Leonid Krivoshein на комментарий #7)
&gt; (In reply to KALIBR-10 from comment #6)
&gt; &gt; raid-member-delay=40 rootdelay=60 куда прописать?
&gt; Их можно добавить разово при загрузке в меню grub (F2 и дописать в конец) и,
&gt; если поможет, прописать в /etc/sysconfig/grub2 к тем же опциям, затем
&gt; update-grub

Не помогло</thetext>
  </long_desc><long_desc isprivate="0" >
    <commentid>196363</commentid>
    <comment_count>9</comment_count>
    <who name="KALIBR-10">konsol1985ru</who>
    <bug_when>2021-02-20 12:15:45 +0300</bug_when>
    <thetext>Выполнил:
cp /etc/mdadm.conf /root/mdadm.conf
В /etc/mdadm.conf внес изменения
MAILADDR root
PROGRAM /sbin/mdadm-syslog-events
#DEVICE partitions

DEVICE /dev/disk/by-id/scsi-35000cca01fdf7c38-part1 /dev/disk/by-id/scsi-35000cca01fdf9544-part1

ARRAY /dev/md/mlxbackups2.localdomain:126 metadata=1.2 name=mlxbackups2.localdomain:126 UUID=75e5fb0e:ad46699c:532a7fb4:be615ad5
ARRAY /dev/md/mlxbackups2.localdomain:128 metadata=1.2 name=mlxbackups2.localdomain:128 UUID=514abfe7:5d077061:38961e51:745c7078
ARRAY /dev/md/127_0 metadata=0.90 UUID=e0bf5e83:1b160f9f:ab330322:964acf94
## EOF ##

make-initrd

cp /root/mdadm.conf /etc/mdadm.conf
reboot

# cat /proc/mdstat 
Personalities : [raid1] [raid6] [raid5] [raid4] 
md128 : active raid6 sdu[6] sdv[7] sdo[0] sdq[2] sdt[5] sdp[1] sdr[3] sdx[9] sds[4] sdw[8]
      62511153152 blocks super 1.2 level 6, 512k chunk, algorithm 2 [10/10] [UUUUUUUUUU]
      [&gt;....................]  resync =  1.4% (115829372/7813894144) finish=1236.4min speed=103763K/sec
      bitmap: 59/59 pages [236KB], 65536KB chunk

md126 : active raid6 sdj[7] sdi[6] sdf[3] sdg[4] sdh[5] sde[2] sdd[1] sdk[8] sdc[0] sdm[10] sdn[11] sdl[9]
      78138941440 blocks super 1.2 level 6, 512k chunk, algorithm 2 [12/12] [UUUUUUUUUUUU]
      [&gt;....................]  resync =  1.5% (119591932/7813894144) finish=1222.0min speed=104937K/sec
      bitmap: 59/59 pages [236KB], 65536KB chunk

md125 : active raid1 sda1[0] sdb1[1]
      586057664 blocks [2/2] [UU]
      
unused devices: &lt;none&gt;

Рейды поднялись</thetext>
  </long_desc>
      
      

    </bug>

</bugzilla>