27059 2012-03-12 08:38:29 +0400 output debugging info if a test aborts with a strange exit status 2015-02-24 15:56:11 +0300 1 1 4 Development Sisyphus libshell unstable all Linux CLOSED FIXED https://gitorious.org/altlinux/libshell_imz/commits/unittest/debug-strange-status P3 enhancement --- 1 imz legion glebfm legion qa-sisyphus oldest_to_newest 129670 0 5375 imz 2012-03-12 08:38:29 +0400 Created attachment 5375 git diff upstream...unittest/debug-strange-status libshell-0.1.6-alt1 The motivation for the enhancement: ----------------------------------- I couldn't figure out why one of my tests for gear--when run in hasher--reported a strange exit status (whereas when done by a simple "rpm -bb", the test passed). It should be more convenient to see the reason for such an unexpected strange exit status of a test. So, to help myself understand the reason, I modified shell-unittest to output some debugging info in this case (simply, the output of "set -x"). With the debugging info now, the build of gear with the problematic test looks like this: make: Entering directory `/usr/src/RPM/BUILD/gear-1.7.2.6' cd tests && ./run [status=128, to be run again with debugging output] (gear_import_check_lost_cwd) + rc=0 ++ gear_import_check_lost_cwd ++ finalize_repo= ++ gear_import_check_lost ++ local v ++ mkdir -p .git/.work + msg= + rc=128 + set +x [status=128] (gear_import_check_lost_cwd) And I'm able to find the point in the script where this happens. (The explanation for the strange exit status in my test for gear was probably a bashism there.) The patch: ---------- My modifications are in branch "unittest/debug-strange-status" in git://gitorious.org/libshell/imz.git ( https://gitorious.org/libshell/imz/commits/unittest/debug-strange-status ); "git diff upstream...unittest/debug-strange-status" looks like displayed here: https://gitorious.org/libshell/imz/commit/8aa223336c7cc8a9b636ad12c57d87161bd84f73/diffs/e30f11e98849f47ff49f4142f9797d1c5305c4d5 . The patch is also attached below. 137139 1 imz 2013-01-22 19:19:27 +0400 New localtion of my code: https://gitorious.org/altlinux/libshell_imz/commits/unittest/debug-strange-status 137187 2 legion 2013-01-24 00:37:44 +0400 Этот бранч содержит не только финальные изменения, но и ваши искания; там содержится изменение спека, который менять можно лишь для релиза; в ваших содержатся примеры использования каких-то команд (этому не место в коде); у вас в коде присутствуют пробелы в конце строки. Бранч unittest/debug-strange-status не то, что можно смерджить. Кроме того, мне не понятна первопричина для этих изменений. Unittest на то и unit, чтобы было понятно что и где сломалось. Если какой-либо проект имеет невнятную диагностику, то стоит исправлять тест, а не фреймворк. Ещё меня смущает идея повторного выполнения теста. Некоторые тесты могут быть довольно длительные и их повтор может быть долгим. Делать это автоматически (без контроля пользователя) мне кажется неправильным. 150108 3 legion 2015-02-10 12:50:49 +0300 Реакции нет больше года. Закрываю, до появления заинтересованных. 150126 4 imz 2015-02-10 20:55:57 +0300 Прошу прощения за отсутствие своевременной реакции! Вот что подумалось к этому обсуждению: (В ответ на комментарий №2) > Кроме того, мне не понятна первопричина для этих изменений. Unittest на то и > unit, чтобы было понятно что и где сломалось. Если какой-либо проект имеет > невнятную диагностику, то стоит исправлять тест, а не фреймворк. Дело было в том, что было ничего непонятно: что с тестом (т.к. из-за особенностей окружения код возврата не соответствовал тому, что ожидал вот этот запсукатель тестов). > Ещё меня смущает идея повторного выполнения теста. Некоторые тесты могут быть > довольно длительные и их повтор может быть долгим. Делать это автоматически > (без контроля пользователя) мне кажется неправильным. Да, возражение понятно. Тогда можно остановиться на таком простом решении и ничего не городить: дать руками запустить ещё раз именно этот тест с загадочным status и, возможно, всяким включённым tracing. Это же лучше делать через shell-unittest; как самому запустить отдельный тест не очень понятно? По крайней мере, я бы предложил не проглатывать неожиданный status молча, а реагировать на него как на failed: case "$rc" in 0) passed=$(($passed+1)) ;; 1) failed=$(($failed+1)); retval=1; ;; 2) skipped=$(($skipped+1)) ;; + *) + # It's safer to fail in this case (to draw the attention of the maintainer). + failed=$(($failed+1)); retval=1; ;; esac run_or_exit messageTest "$1" "$msg" "$rc" run_or_exit tearDown и дать совет, как запустить конкретный тест самому руками. 150246 5 legion 2015-02-14 15:06:43 +0300 В этом есть смысл. Посмотрите в master. Я добавил переменную окружения TESTCASES, в которой можно перечислить юниттесты, которые нужно выполнить. Также если выставить переменную окружения TESTTRACE=1 каждый тест будет запускаться с set -x. 150441 6 repository-robot 2015-02-24 15:56:11 +0300 libshell-0.3.0-alt1 -> sisyphus: * Tue Feb 24 2015 Alexey Gladkov <legion@altlinux> 0.3.0-alt1 - New version (0.3.0). - Fix bootstrap (ALT#29584). - shell-ini-config changes: + Add ini_config_is_set() function. + Take care about lines without values (ALT#30713). - shell-unittest changes: + Add TESTCASES variable to list individual testcases (ALT#27059). + Add TESTTRACE variable to run testcase in debug mode (ALT#27059). 5375 2012-03-12 08:38:29 +0400 2012-03-12 08:38:29 +0400 git diff upstream...unittest/debug-strange-status libshell-unittest-debug-strange-status.patch text/plain 3493 imz ZGlmZiAtLWdpdCBhL2xpYnNoZWxsLnNwZWMgYi9saWJzaGVsbC5zcGVjCmluZGV4IDJlZmRiNGYu LjIzODA2MDEgMTAwNjQ0Ci0tLSBhL2xpYnNoZWxsLnNwZWMKKysrIGIvbGlic2hlbGwuc3BlYwpA QCAtMSw2ICsxLDYgQEAKIE5hbWU6IGxpYnNoZWxsCiBWZXJzaW9uOiAwLjEuNgotUmVsZWFzZTog YWx0MQorUmVsZWFzZTogYWx0MS5pbXoxCiAKIFN1bW1hcnk6ICBBIGxpYnJhcnkgb2Ygc2hlbGwg ZnVuY3Rpb25zCiBMaWNlbnNlOiBHUEwKQEAgLTI4LDYgKzI4LDExIEBAIFRoaXMgcGFja2FnZSBj b250YWlucyBjb21tb24gZnVuY3Rpb25zIGZvciBzaGVsbCBwcm9qZWN0cyB0byBpbmNyZWFzZSBj b2RlIHJldXNlCiAlZG9jIENPUFlJTkcgU1lNUwogCiAlY2hhbmdlbG9nCisqIEZyaSBNYXIgMDIg MjAxMiBJdmFuIFpha2hhcnlhc2NoZXYgPGltekBhbHRsaW51eC5vcmc+IDAuMS42LWFsdDEuaW16 MQorLSBzaGVsbC11bml0dGVzdCBjaGFuZ2VzOgorICArIE91dHB1dCBkZWJ1Z2dpbmcgaW5mbyBp ZiB0aGUgdGVzdCBhYm9ydHMgd2l0aCBhIHN0cmFuZ2UgZXhpdAorICAgIHN0YXR1cy4KKwogKiBX ZWQgSnVsIDI3IDIwMTEgQWxleGV5IEdsYWRrb3YgPGxlZ2lvbkBhbHRsaW51eC5vcmc+IDAuMS42 LWFsdDEKIC0gc2hlbGwtaW5pLWNvbmZpZyBjaGFuZ2VzIChBTFQjMjU5NDYpOgogICArIEZpeCBj b21tZW50IGZvcm1hdHRpbmcgKHRoeCBWbGFkaXNsYXYgWmF2amFsb3YpOwpkaWZmIC0tZ2l0IGEv bGlic2hlbGwvc2hlbGwtdW5pdHRlc3QgYi9saWJzaGVsbC9zaGVsbC11bml0dGVzdAppbmRleCA2 N2NiMGM1Li5iZmQzNWI4IDEwMDY0NAotLS0gYS9saWJzaGVsbC9zaGVsbC11bml0dGVzdAorKysg Yi9saWJzaGVsbC9zaGVsbC11bml0dGVzdApAQCAtMTkzLDcgKzE5Myw3IEBAIG1lc3NhZ2VUZXN0 KCkgewogCQkwKSBwcmludGYgJ1tkb25lXScgOzsKIAkJMSkgcHJpbnRmICdbRkFJTF0nIDs7CiAJ CTIpIHByaW50ZiAnW3NraXBdJyA7OwotCQkqKSBwcmludGYgJ1tzdGF0dXM9JXNdJyAkMyA7Owor CQkqKSBwcmludGYgJ1tzdGF0dXM9JXMlc10nICIkMyIgIiR7ZGVidWc6KywgdG8gYmUgcnVuIGFn YWluIHdpdGggZGVidWdnaW5nIG91dHB1dH0iIDs7CiAJZXNhYwogCXByaW50ZiAnICglcykgJXNc bicgIiQxIiAiJDIiCiB9CkBAIC0yMjUsMTkgKzIyNSw2MiBAQCBydW5Vbml0VGVzdHMoKSB7CiAJ X19zaGVsbF91bml0X3Rlc3RzPSIkKHByaW50ZiAnJXNcbicgIiRfX3NoZWxsX3VuaXRfdGVzdHMi IHxzb3J0IC11KSIKIAlzZXQgLS0gJHtfX3NoZWxsX3VuaXRfdGVzdHMtfQogCi0JbG9jYWwgcmV0 dmFsPTAgcmMgcGFzc2VkPTAgZmFpbGVkPTAgc2tpcHBlZD0wIHRvdGFsPSIkIyIKKwlsb2NhbCBy ZXR2YWw9MCByYyBkZWJ1ZyBwYXNzZWQ9MCBmYWlsZWQ9MCBza2lwcGVkPTAgdG90YWw9IiQjIgog CiAJd2hpbGUgWyAiJCMiIC1ndCAwIF07IGRvCiAJCXJ1bl9vcl9leGl0IHNldFVwCiAKKwkJaWYg WyAtbiAiJGRlYnVnIiBdOyB0aGVuCisJCSAgICBzZXQgLXgKKwkJZmkKIAkJcmM9MAogCQltc2c9 IiQoIiQxIikiIHx8IHJjPSQ/CisJCXNldCAreAogCiAJCWNhc2UgIiRyYyIgaW4KIAkJCTApIHBh c3NlZD0kKCgkcGFzc2VkKzEpKSA7OwogCQkJMSkgZmFpbGVkPSQoKCRmYWlsZWQrMSkpOyByZXR2 YWw9MTsgOzsKIAkJCTIpIHNraXBwZWQ9JCgoJHNraXBwZWQrMSkpIDs7CisJCSAgICAgICAgKikg CisJCQkjIFNtdGggdW5leHBlY3RlZCBoYXMgaGFwcGVuZWQgZHVyaW5nIHRoZSB0ZXN0LiBXZSBh cmUgYWJvdXQgdG8gb3V0cHV0IHRoZSBkZWJ1Z2dpbmcgaW5mby4KKwkJCSMgCisJCQkjIE1vdGl2 YXRpbmcgZXhhbXBsZToKKwkJCSMKKwkJCSMgSSBjb3VsZG4ndCBmaWd1cmUgb3V0IHdoeSBvbmUg b2YgbXkgdGVzdHMgZm9yIGdlYXItLXdoZW4gcnVuIGluIGhhc2hlci0tcmVwb3J0ZWQgdGhpcyBz dHJhbmdlCisJCQkjIGV4aXQgc3RhdHVzICh3aGVyZWFzIHdoZW4gZG9uZSBieSBhIHNpbXBsZSAi cnBtIC1iYiIsIHRoZSB0ZXN0IHBhc3NlZCkuCisJCQkjIAorCQkJIyBXaXRoIHRoZSBkZWJ1Z2dp bmcgaW5mbyBub3csIGl0IGxvb2tzIGxpa2UgdGhpczoKKwkJCSMKKyAgICAgICAgICAgICAgICAg ICAgICAgICMgbWFrZTogRW50ZXJpbmcgZGlyZWN0b3J5IGAvdXNyL3NyYy9SUE0vQlVJTEQvZ2Vh ci0xLjcuMi42JworICAgICAgICAgICAgICAgICAgICAgICAgIyBjZCB0ZXN0cyAmJiAuL3J1bgor ICAgICAgICAgICAgICAgICAgICAgICAgIyBbc3RhdHVzPTEyOCwgdG8gYmUgcnVuIGFnYWluIHdp dGggZGVidWdnaW5nIG91dHB1dF0gKGdlYXJfaW1wb3J0X2NoZWNrX2xvc3RfY3dkKSAKKyAgICAg ICAgICAgICAgICAgICAgICAgICMgKyByYz0wCisgICAgICAgICAgICAgICAgICAgICAgICAjICsr IGdlYXJfaW1wb3J0X2NoZWNrX2xvc3RfY3dkCisgICAgICAgICAgICAgICAgICAgICAgICAjICsr IGZpbmFsaXplX3JlcG89CisgICAgICAgICAgICAgICAgICAgICAgICAjICsrIGdlYXJfaW1wb3J0 X2NoZWNrX2xvc3QKKyAgICAgICAgICAgICAgICAgICAgICAgICMgKysgbG9jYWwgdgorICAgICAg ICAgICAgICAgICAgICAgICAgIyArKyBta2RpciAtcCAuZ2l0Ly53b3JrCisgICAgICAgICAgICAg ICAgICAgICAgICAjICsgbXNnPQorICAgICAgICAgICAgICAgICAgICAgICAgIyArIHJjPTEyOAor ICAgICAgICAgICAgICAgICAgICAgICAgIyArIHNldCAreAorICAgICAgICAgICAgICAgICAgICAg ICAgIyBbc3RhdHVzPTEyOF0gKGdlYXJfaW1wb3J0X2NoZWNrX2xvc3RfY3dkKSAKKwkJCSMgCisJ CQkjIEFuZCBJJ20gYWJsZSB0byBmaW5kIHRoZSBwb2ludCBpbiB0aGUgc2NyaXB0IHdoZXJlIHRo aXMgaGFwcGVucy4KKwkJCSMgKFRoZSBleHBsYW5hdGlvbiBmb3IgdGhlIHN0cmFuZ2UgZXhpdCBz dGF0dXMgd2FzIHByb2JhYmx5IGEgYmFzaGlzbSB0aGVyZS4pCisJCQlpZiBbIC16ICIkZGVidWci IF07IHRoZW4gCisJCQkgICAgZGVidWc9MQorCQkJICAgICMgbWVzc2FnZVRlc3Qgd2lsbCBleHBs YWluIHRoYXQgdGhlIHRlc3Qgd2lsbCBiZSByZS1ydW46CisJCQkgICAgcnVuX29yX2V4aXQgbWVz c2FnZVRlc3QgIiQxIiAiJG1zZyIgIiRyYyIKKwkJCSAgICBydW5fb3JfZXhpdCB0ZWFyRG93bgor CQkJICAgIGNvbnRpbnVlCisJCQllbHNlCisJCQkgICAgIyBJdCdzIHNhZmVyIHRvIGZhaWwgaW4g dGhpcyBjYXNlICh0byBkcmF3IHRoZSBhdHRlbnRpb24gb2YgdGhlIG1haW50YWluZXIpLgorCQkJ ICAgIGZhaWxlZD0kKCgkZmFpbGVkKzEpKTsgcmV0dmFsPTEKKwkJCWZpCisJCQk7OwogCQllc2Fj CisJCSMgQ2xlYXIgdGhlIGRlYnVnIGZsYWcsIGJlY2F1c2Ugd2UgaGF2ZSBqdXN0IHJ1biB0aGUg bGFzdCB0ZXN0IHdpdGggdGhlIGRlYnVnIHN3aXRjaGVkIG9uLCBpZiBuZWVkZWQuCisJCWRlYnVn PQogCQlydW5fb3JfZXhpdCBtZXNzYWdlVGVzdCAiJDEiICIkbXNnIiAiJHJjIgogCiAJCXJ1bl9v cl9leGl0IHRlYXJEb3duCg==