26463 2011-10-16 23:21:31 +0400 rpmhdrmemcache.so портит данные 2011-10-31 23:49:55 +0400 1 1 4 Development Sisyphus rpmhdrmemcache unstable all Linux CLOSED FIXED P3 blocker --- 1 viy nobody at legion vitty qa-sisyphus oldest_to_newest 126284 0 viy 2011-10-16 23:21:31 +0400 В пакете bouncycastle-javadoc все файлы вида ^/usr/share/javadoc/bouncycastle: rpm -qlp bouncycastle-javadoc-1.46-alt2_3jpp6.noarch.rpm | grep -v ^/usr/share/javadoc/bouncycastle (empty) но check-fhs видит FHS violations: /uNistCertPathReviewerTest.html и далее по тексту внизу. [#56797] t6 FAILED copy=bouncycastle Girar Builder robot girar-builder@altlinux.org to Igor, sisyphus-incom. http://git.altlinux.org/tasks/56797/logs/events.1.1.log 2011-Oct-16 20:40:10 :: task #56797 for t6 started by viy: #100 copy bouncycastle from sisyphus 2011-Oct-16 20:40:11 :: cloned t6 2011-Oct-16 20:40:14 :: copy from `sisyphus': bouncycastle-1.46-alt2_3jpp6.src.rpm i586/rpms/bouncycastle-javadoc-1.46-alt2_3jpp6.noarch.rpm: FHS violations: /uNistCertPathReviewerTest.html /uNistCertPathTest.html /upackage-frame.html /upackage-summary.html /upackage-tree.html sisyphus_check: check-fhs ERROR: FHS violation 2011-Oct-16 20:40:18 :: #100: sisyphus bouncycastle: sisyphus_check FAILED 126479 1 viy 2011-10-24 00:25:00 +0400 Что с этим багом? он регулярно воспроизводится, уже 4 попытки - #56797 FAILED #4 t6 copy=bouncycastle при этом на пакеты, собранные из bouncycastle свежий sisyphus_check из сизифа не ругается при локальном запуске. Однако в incoming что-то идет не так :( 126480 2 viy 2011-10-24 01:01:44 +0400 перевешиваю на incoming, так как локально с sisyphus_check все ок 126606 3 viy 2011-10-28 16:04:08 +0400 что с этим багом? он происходит в incoming, локально не воспроизводится 126614 4 ldv 2011-10-28 18:31:07 +0400 (In reply to comment #3) > что с этим багом? он происходит в incoming, > локально не воспроизводится Я не умею это воспроизводить. 126617 5 viy 2011-10-28 18:42:11 +0400 (В ответ на комментарий №4) > Я не умею это воспроизводить. ssh git.alt task run 56797 :) 126619 6 viy 2011-10-28 18:51:20 +0400 см. напр. http://git.altlinux.org/tasks/56797/logs/events.6.1.log 6 раз запускал 56797 и каждый раз воспроизводится как часы. 126621 7 ldv 2011-10-29 04:12:52 +0400 rpmquery выводит мусор, и я, кажется, нашел источник этого мусора. $ env -i sisyphus_check --files /tasks/56797/build/100/i586/rpms/bouncycastle-javadoc-1.46-alt2_3jpp6.noarch.rpm $ env -i LD_PRELOAD=rpmhdrmemcache.so sisyphus_check --files /tasks/56797/build/100/i586/rpms/bouncycastle-javadoc-1.46-alt2_3jpp6.noarch.rpm /tasks/56797/build/100/i586/rpms/bouncycastle-javadoc-1.46-alt2_3jpp6.noarch.rpm: FHS violations: /uNistCertPathReviewerTest.html /uNistCertPathTest.html /upackage-frame.html /upackage-summary.html /upackage-tree.html sisyphus_check: check-fhs ERROR: FHS violation $ rpmquery -f /usr/lib64/rpmhdrmemcache.so rpmhdrmemcache-0.1.1-alt2 126622 8 ldv 2011-10-29 04:51:20 +0400 Удалось минимизировать пример команды, выводящей мусор: $ env -i LD_PRELOAD=rpmhdrmemcache.so rpmquery -p --qf='%{summary}\n[%{filenames}\n]' -- /ALT/Sisyphus/files/noarch/RPMS/bouncycastle-javadoc-1.46-alt2_3jpp6.noarch.rpm 126623 9 ldv 2011-10-29 04:55:52 +0400 $ rpmquery -f /usr/lib64/rpmhdrmemcache.so rpmhdrmemcache-0.1.1-alt3 Эффект прежний. 126624 10 ldv 2011-10-29 05:15:45 +0400 Если в --qf заменить summary, например, на name, то эффект пропадает. 126625 11 ldv 2011-10-29 05:42:28 +0400 А может это memcached_get портит данные, кто его знает... 126626 12 ldv 2011-10-29 07:00:17 +0400 (In reply to comment #11) > А может это memcached_get портит данные, кто его знает... Нет, memcached_get не портит, блобы одинаковые. 126627 13 ldv 2011-10-29 07:08:00 +0400 В дополнение ко всему, memcached-1.4.7-alt1 падает... 126628 14 ldv 2011-10-29 07:25:50 +0400 Придется объезжать неработающий rpmhdrmemcache. 126629 15 ldv 2011-10-29 07:37:04 +0400 gb-sh-rpmhdrcache больше не используется на стадии проверки пакетов. 126633 16 viy 2011-10-29 11:21:00 +0400 спасибо! 126671 17 at 2011-10-31 14:16:03 +0400 Альт линукс глючит. 126672 18 ldv 2011-10-31 14:19:15 +0400 (In reply to comment #17) > Альт линукс глючит. На самом деле это rpm глючит: последовательность headerUnload -> headerLoad на этом пакете превращает header в мусор. 126673 19 at 2011-10-31 14:34:52 +0400 C rpmhdrcache.so не могу воспроизвести. $ hostname at.local.altlinux.org $ ls -l /tmp/.rpmhdrcache/c5/9a177ba64ad73b7703572b74fc4fbf3fc9208e -rw-r--r-- 1 at at 119152 Oct 31 15:13 /tmp/.rpmhdrcache/c5/9a177ba64ad73b7703572b74fc4fbf3fc9208e $ LD_PRELOAD=rpmhdrcache.so strace -o trace -f -e trace=file rpmquery -p --qf='%{summary}\n[%{filenames}\n]' -- /ALT/Sisyphus/files/noarch/RPMS/bouncycastle-javadoc-1.46-alt2_3jpp6.noarch.rpm |head Javadoc for bouncycastle /usr/share/javadoc/bouncycastle /usr/share/javadoc/bouncycastle-1.46 /usr/share/javadoc/bouncycastle-1.46/bcmail /usr/share/javadoc/bouncycastle-1.46/bcmail/allclasses-frame.html /usr/share/javadoc/bouncycastle-1.46/bcmail/allclasses-noframe.html /usr/share/javadoc/bouncycastle-1.46/bcmail/constant-values.html /usr/share/javadoc/bouncycastle-1.46/bcmail/deprecated-list.html /usr/share/javadoc/bouncycastle-1.46/bcmail/help-doc.html /usr/share/javadoc/bouncycastle-1.46/bcmail/index-all.html $ grep openat trace 30691 openat(4, "c5/9a177ba64ad73b7703572b74fc4fbf3fc9208e", O_RDONLY) = 6 $ LD_PRELOAD=rpmhdrcache.so strace -o trace -f -e trace=file rpmquery -p --qf='%{summary}\n[%{filenames}\n]' -- /ALT/Sisyphus/files/noarch/RPMS/bouncycastle-javadoc-1.46-alt2_3jpp6.noarch.rpm |md5sum a39d33f1df90c4c7bde2811273e4895d - $ rpmquery -p --qf='%{summary}\n[%{filenames}\n]' -- /ALT/Sisyphus/files/noarch/RPMS/bouncycastle-javadoc-1.46-alt2_3jpp6.noarch.rpm |md5sum a39d33f1df90c4c7bde2811273e4895d - 126679 20 5180 at 2011-10-31 22:39:06 +0400 Created attachment 5180 показывает что блоб меняется после загрузки Мужчины, этот патч показывает что блоб меняется прямо во время лоуда. Это должно навести нас на ценные мысли, что мы смотрим в память, которую почикали. 126680 21 5181 at 2011-10-31 22:57:19 +0400 Created attachment 5181 патч который исправляет мемори проблемз фо ю Мужчины, короче патч вот такой. Но я вам советую использовать rpmhdrcache, в котором это давно исправлено. 126681 22 ldv 2011-10-31 23:09:31 +0400 (In reply to comment #21) > Created an attachment (id=5181) [details] > патч который исправляет мемори проблемз фо ю Спасибо. > Мужчины, короче патч вот такой. А зачем эти манипуляции с blobsize? > Но я вам советую использовать rpmhdrcache, Опять на bdb? 126682 23 repository-robot 2011-10-31 23:28:13 +0400 rpmhdrmemcache-0.1.2-alt1 -> sisyphus: * Tue Nov 01 2011 Dmitry V. Levin <ldv@altlinux> 0.1.2-alt1 - Fixed potential memory corruption and memory leak (by Alexey Tourbin; closes: #26463). 126683 24 at 2011-10-31 23:49:55 +0400 Блоб может храниться в сжатом виде. Тогда подразумевается логика void *blob = ...; int blobsize = ....; if (сжатый) { void *ublob = ...; int ublobsize = ...; ... blob = ublob; blob = ublobsize; } ... blob, blobsize ... То есть это конечно так, педантизм, но всё же, логика состоит в том, что поскольку далее в функции сжатый блоб нас не интересует, то разжатый блоб просто подменяет собой сжатый. А ublob по идее должен существовать только на время разжатия (область видимости - в блоке if). Но ublob объявлен как массив на стеке, поэтому его нельзя внести в блок if. Поэтому получается такая полумера: blobsize в принципе мог бы потребоваться далее в функции (хотя для headerLoad он не требуется), а ublob нельзя внести в блок if. В чём преимущество memcached? То, что к памяти доступ памяти быстрее, чем к диску - это ну такое tongue-in-chick объяснение, если только поржать. bdb раньше глючила в режиме DB_INIT_CDB (либо из-за ошибок/допущений в реализации, либо из-за того, что использовался слишком маленький размер cachesize по умолчанию). Потом я просто оторвал CDB и прикрутил внешний flock на каталог. Долго ломал голову, можно ли реализовать rwlock с помощью futex'а или нет. Ничего не придумал. Вместо bdb можно реализовать какую-нибудь такую свою штуковину, которая делает ровно то, что нужно. Тем более что размер ключей у нас фиксированный (sha1). В книжке W. Richard Stevens'а прямо для дураков написано как сделать hash queues, free list и т.д. Но что-то бесплатно неохота упражняться, а больших денег за такое упраженение наверное никто не даст! 5180 2011-10-31 22:39:06 +0400 2011-10-31 22:39:06 +0400 показывает что блоб меняется после загрузки rpmhdrmemcache-diag.patch text/plain 1529 at ZGlmZiAtLWdpdCBhL2hkcmNhY2hlLmMgYi9oZHJjYWNoZS5jCmluZGV4IDViY2VmMWEuLmIwZTE2 YmMgMTAwNjQ0Ci0tLSBhL2hkcmNhY2hlLmMKKysrIGIvaGRyY2FjaGUuYwpAQCAtOTUsNiArOTUs MTUgQEAgaW50IG1ha2Vfa2V5KGNvbnN0IGNoYXIgKnBhdGgsIGNvbnN0IHN0cnVjdCBzdGF0ICpz dCwgY2hhciAqa2V5KQogc3RhdGljCiBjb25zdCBpbnQgaGRyc2l6ZV9tYXggPSAoMjU2IDw8IDEw KTsKIAorc3RhdGljCit1bnNpZ25lZCBoYXNoKGNvbnN0IHVuc2lnbmVkIGNoYXIgKmJsb2IsIGlu dCBzaXplKQoreworICAgIHVuc2lnbmVkIGggPSA1MzgxOworICAgIHdoaWxlIChzaXplLS0gPiAw KQorCWggPSBoICogMzMgKyAqYmxvYisrOworICAgIHJldHVybiBoOworfQorCiBIZWFkZXIgaGRy Y2FjaGVfZ2V0KGNvbnN0IGNoYXIgKnBhdGgsIGNvbnN0IHN0cnVjdCBzdGF0ICpzdCwgdW5zaWdu ZWQgKm9mZikKIHsKICAgICBpZiAoaW5pdGlhbGl6ZSgpIDwgMCkKQEAgLTExNyw5ICsxMjYsOSBA QCBIZWFkZXIgaGRyY2FjaGVfZ2V0KGNvbnN0IGNoYXIgKnBhdGgsIGNvbnN0IHN0cnVjdCBzdGF0 ICpzdCwgdW5zaWduZWQgKm9mZikKIAltY2RiX3B1dChlbnYsIGtleSwga2V5c2l6ZSwgZGF0YSwg ZGF0YXNpemUpOwogICAgIH0KICAgICB2b2lkICpibG9iID0gZGF0YS0+YmxvYjsKKyAgICBpbnQg YmxvYnNpemUgPSBkYXRhc2l6ZSAtIHNpemVvZihzdHJ1Y3QgY2FjaGVfZW50KSArIDE7CiAgICAg Y2hhciB1YmxvYltoZHJzaXplX21heF07CiAgICAgaWYgKGRhdGEtPnZmbGFncyAmIFZfTFpPKSB7 Ci0JaW50IGJsb2JzaXplID0gZGF0YXNpemUgLSBzaXplb2Yoc3RydWN0IGNhY2hlX2VudCkgKyAx OwogCWx6b191aW50IHVibG9ic2l6ZSA9IDA7CiAJaW50IHJjID0gbHpvMXhfZGVjb21wcmVzcyhi bG9iLCBibG9ic2l6ZSwgdWJsb2IsICZ1YmxvYnNpemUsIE5VTEwpOwogCWlmIChyYyAhPSBMWk9f RV9PSyB8fCB1YmxvYnNpemUgPCAxIHx8IHVibG9ic2l6ZSA+IGhkcnNpemVfbWF4KSB7CkBAIC0x MjcsOCArMTM2LDExIEBAIEhlYWRlciBoZHJjYWNoZV9nZXQoY29uc3QgY2hhciAqcGF0aCwgY29u c3Qgc3RydWN0IHN0YXQgKnN0LCB1bnNpZ25lZCAqb2ZmKQogCSAgICByZXR1cm4gTlVMTDsKIAl9 CiAJYmxvYiA9IHVibG9iOworCWJsb2JzaXplID0gdWJsb2JzaXplOwogICAgIH0KKyAgICBmcHJp bnRmKHN0ZGVyciwgImJsb2IgJXggKCVkKSBoYXNoIDE6ICV4XG4iLCAqKHVuc2lnbmVkICopIGJs b2IsIGJsb2JzaXplLCBoYXNoKGJsb2IsIGJsb2JzaXplKSk7CiAgICAgSGVhZGVyIGggPSBoZWFk ZXJMb2FkKGJsb2IpOworICAgIGZwcmludGYoc3RkZXJyLCAiYmxvYiAleCAoJWQpIGhhc2ggMjog JXhcbiIsICoodW5zaWduZWQgKikgYmxvYiwgYmxvYnNpemUsIGhhc2goYmxvYiwgYmxvYnNpemUp KTsKICAgICBpZiAoaCA9PSBOVUxMKSB7CiAJZnByaW50ZihzdGRlcnIsICIlcyAlczogaGVhZGVy TG9hZCBmYWlsZWRcbiIsIF9fZnVuY19fLCBrZXkpOwogCXJldHVybiBOVUxMOwo= 5181 2011-10-31 22:57:19 +0400 2011-10-31 22:57:19 +0400 патч который исправляет мемори проблемз фо ю rpmhdrmemcache-fix.patch text/plain 1046 at ZGlmZiAtLWdpdCBhL2hkcmNhY2hlLmMgYi9oZHJjYWNoZS5jCmluZGV4IDViY2VmMWEuLjljMDg2 YWQgMTAwNjQ0Ci0tLSBhL2hkcmNhY2hlLmMKKysrIGIvaGRyY2FjaGUuYwpAQCAtMTE3LDkgKzEx Nyw5IEBAIEhlYWRlciBoZHJjYWNoZV9nZXQoY29uc3QgY2hhciAqcGF0aCwgY29uc3Qgc3RydWN0 IHN0YXQgKnN0LCB1bnNpZ25lZCAqb2ZmKQogCW1jZGJfcHV0KGVudiwga2V5LCBrZXlzaXplLCBk YXRhLCBkYXRhc2l6ZSk7CiAgICAgfQogICAgIHZvaWQgKmJsb2IgPSBkYXRhLT5ibG9iOworICAg IGludCBibG9ic2l6ZSA9IGRhdGFzaXplIC0gc2l6ZW9mKHN0cnVjdCBjYWNoZV9lbnQpICsgMTsK ICAgICBjaGFyIHVibG9iW2hkcnNpemVfbWF4XTsKICAgICBpZiAoZGF0YS0+dmZsYWdzICYgVl9M Wk8pIHsKLQlpbnQgYmxvYnNpemUgPSBkYXRhc2l6ZSAtIHNpemVvZihzdHJ1Y3QgY2FjaGVfZW50 KSArIDE7CiAJbHpvX3VpbnQgdWJsb2JzaXplID0gMDsKIAlpbnQgcmMgPSBsem8xeF9kZWNvbXBy ZXNzKGJsb2IsIGJsb2JzaXplLCB1YmxvYiwgJnVibG9ic2l6ZSwgTlVMTCk7CiAJaWYgKHJjICE9 IExaT19FX09LIHx8IHVibG9ic2l6ZSA8IDEgfHwgdWJsb2JzaXplID4gaGRyc2l6ZV9tYXgpIHsK QEAgLTEyNywxNCArMTI3LDE2IEBAIEhlYWRlciBoZHJjYWNoZV9nZXQoY29uc3QgY2hhciAqcGF0 aCwgY29uc3Qgc3RydWN0IHN0YXQgKnN0LCB1bnNpZ25lZCAqb2ZmKQogCSAgICByZXR1cm4gTlVM TDsKIAl9CiAJYmxvYiA9IHVibG9iOworCWJsb2JzaXplID0gdWJsb2JzaXplOwogICAgIH0KLSAg ICBIZWFkZXIgaCA9IGhlYWRlckxvYWQoYmxvYik7CisgICAgSGVhZGVyIGggPSBoZWFkZXJDb3B5 TG9hZChibG9iKTsKICAgICBpZiAoaCA9PSBOVUxMKSB7CiAJZnByaW50ZihzdGRlcnIsICIlcyAl czogaGVhZGVyTG9hZCBmYWlsZWRcbiIsIF9fZnVuY19fLCBrZXkpOwogCXJldHVybiBOVUxMOwog ICAgIH0KICAgICBpZiAob2ZmKQogCSpvZmYgPSBkYXRhLT5vZmY7CisgICAgZnJlZShkYXRhKTsK ICAgICByZXR1cm4gaDsKIH0KIAo=