#30103 – [4.3] 32-bit xz compression fails

Bug 30103 - [4.3] 32-bit xz compression fails

Summary: [4.3] 32-bit xz compression fails

Status:	CLOSED FIXED

Alias:	None

Product:	Sisyphus
Classification:	Development
Component:	squashfs-tools (show other bugs)
Version:	unstable
Hardware:	all Linux

Importance:	P3 major
Assignee:	Anton Farygin
QA Contact:	qa-sisyphus

URL:	https://github.com/plougher/squashfs-...
Keywords:	regression

Depends on:
Blocks:

Reported:	2014-06-03 13:05 MSK by Michael Shigorin
Modified:	2014-06-19 12:08 MSK (History)
CC List:	4 users (show)

See Also:

Attachments
Add an attachment (proposed patch, testcase, etc.)

Note You need to log in before you can comment on or make changes to this bug.

Description

Michael Shigorin 2014-06-03 13:05:17 MSK

Сегодняшние сборки regular-{cinnamon,gnome3,kde4,mate,tde} (только i586) повзрывались при сборке на 64-битном хосте следующим образом:

+ mksquashfs /.image/ /.our/live -no-recovery -processors 16 -e .in .host .fakedata
Parallel mksquashfs: Using 16 processors
Creating 4.0 filesystem on /.our/live, block size 131072.
^M[-                                                           ]   100/75236   0%^M[========|                                                   ] 10800/75236  14%^M[===========\                                                ] 14400/75236  19%^M[===========/                                                ] 14800/75236  19%^M[=============|                                              ] 17300/75236  22%
FATAL ERROR:mangle2:: xz compress failed with error code 5
make[3]: *** [pack-image] Error 1
make[2]: *** [live/] Error 2

Сбой воспроизводим, но место плавает; другие образы из комплекта (e18, gnustep, icewm, lxde, lxqt, rescue, wmaker, xfce) собрались успешно, как и все сборки для x86_64.  Размер всех собравшихся -- до 531 Мб, взрывающиеся неделю назад получались от 561 Мб.

Потребление памяти mksquashfs дошло примерно до 2,5 Гб virt / 1,2 Гб res и плавало в том районе; на хосте 24 Гб (и 16 логических CPU).

В качестве объезда на скорую руку применил -mem 3G прямо в mki-pack-squashfs;
в апстрим повесил.

Comment 1

Anton Farygin 2014-06-03 13:55:42 MSK

cat /proc/meminfo приведи

Comment 2

Michael Shigorin 2014-06-03 15:53:56 MSK

Сейчас так (ничего не собирается):

n01:~> cat /proc/meminfo 
MemTotal:       24678476 kB
MemFree:         2340684 kB
Buffers:           87324 kB
Cached:         21011808 kB
SwapCached:         3928 kB
MemCommitted:    1048576 kB
VirtualSwap:           0 kB
Active:          8105420 kB
Inactive:       13182708 kB
Active(anon):    5179088 kB
Inactive(anon):  4236016 kB
Active(file):    2926332 kB
Inactive(file):  8946692 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:      16777208 kB
SwapFree:       16179344 kB
Dirty:                40 kB
Writeback:             0 kB
AnonPages:        188028 kB
Mapped:            12252 kB
Shmem:           9226096 kB
Slab:             894280 kB
SReclaimable:     658332 kB
SUnreclaim:       235948 kB
KernelStack:        4272 kB
PageTables:         9888 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    29116444 kB
Committed_AS:   10145992 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      371224 kB
VmallocChunk:   34346358432 kB
HardwareCorrupted:     0 kB
AnonHugePages:         0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:        7744 kB
DirectMap2M:    25149440 kB

Comment 3

Anton Farygin 2014-06-03 15:56:12 MSK

а, понятно. проблема видимо с адресацией. пусть апстрим чинит.
объезд понятен, критичного ничего нет.

Comment 4

Michael Shigorin 2014-06-03 22:40:41 MSK

(В ответ на комментарий №3)
> объезд понятен, критичного ничего нет.
TWIMC: объезд ломает сборку на бранче, т.к. тогда -mem не было.

Comment 5

Anton Farygin 2014-06-03 22:50:50 MSK

бэкпорт squashfs-tools поможет.

Comment 6

Michael Shigorin 2014-06-03 23:52:25 MSK

(В ответ на комментарий №5)
> бэкпорт squashfs-tools поможет.
После исправления этой баги -- вполне может быть.  Только надо будет пособирать всякое барахлишко на бранче с подключенным бэкпортом несколько недель, а то мало ли ещё что недосмотрели.

А для ситуации, когда на одном хосте делаются сборки и на сизифе, и на бранче, сейчас имеем изрядное неудобство.  О чём и решил на всякий предупредить RM, напоровшись.

Comment 7

Repository Robot 2014-06-19 12:08:14 MSK

squashfs-tools-4.3-alt2 -> sisyphus:

* Tue Jun 17 2014 Anton Farygin <rider@altlinux> 4.3-alt2
- upstream fix for 32bit memory calculation on 64bit (or pae) kernel (closes: #30103)
- upstream fix for working without -mem options and/or /proc
- cleanup spec