15359 2008-04-15 14:19:35 +0400 неэффективная работа с дисковым пространством 2008-04-21 13:40:17 +0400 1 1 4 Development Sisyphus sisyphus-mirror unstable all Linux CLOSED FIXED P2 enhancement --- 1 azol nobody mike qa-sisyphus oldest_to_newest 68344 0 azol 2008-04-15 14:19:35 +0400 Я понимаю, что это всё можно и наконфигурить самому, указав в качестве LIST просто ALTLinux и КУЧУ exclud-ов, но всё же, это не очень удобно (из-за количесва exclud-ов) указывая LIST: Sisyphus 4.0/branch итд теряем некоторое место на там, что отсутствуют хардлинки (между Sisyphus и 4.0/branch) Как фичреквест ставлю. Можно просто указать эту особенность в доку, а можно и подумать над более эффективным способом зеркалирования. (что-то вроде проверки на такие пересечения значений LIST?) 68345 1 wrar 2008-04-15 14:21:08 +0400 О чём баг-то? 68348 2 azol 2008-04-15 14:42:27 +0400 (In reply to comment #1) > О чём баг-то? Хм... как бы это более понятно... А наверное никак. Так и повторю: указывая LIST: Sisyphus 4.0/branch итд теряем некоторое место на том, что отсутствуют хардлинки (между Sisyphus и 4.0/branch) Так понятнее? 68349 3 wrar 2008-04-15 14:59:21 +0400 А, понятно. Ну, хм, не представляю, как это решать. 68352 4 vvk 2008-04-15 15:04:12 +0400 Бага вполне понятна. Мы ещё и трафик теряем, т.к. хардлинки не передаются когда мы по-отдельности миррорим 4.0 бранч и сизиф. Есть вариант заexclude-ить всё, и include-ить только то что нужно. Подумаю над реализацией такого режима работы. 68353 5 azol 2008-04-15 15:10:00 +0400 (In reply to comment #4) > Есть вариант заexclude-ить всё, и include-ить только то что нужно. Подумаю над > реализацией такого режима работы. Вот вот. Уже теплеет. :-) В самописном скрипте синхронизации я так и делал. и плясял от конрня - ALTLinux/ Сейчас же начал использовать sisyphus-mirror и выходу из положения так. LIST ALTLinux и оооогромный exclude 68356 6 dottedmag 2008-04-15 15:32:07 +0400 FYI: Я начал было писать другую утилитку для мирроринга, пересоздающую репозитории по типу dists/pool у debian и качающую каждый файл ровно один раз, вне зависимости от количества его в разных репозиториях, но пока она даже не дышит. 68363 7 vvk 2008-04-15 16:32:03 +0400 Кажется достаточно добавить --link-dest=. в опции rsync. 68366 8 vvk 2008-04-15 16:44:49 +0400 Поправка: --link-dest=$DESTROOT 68424 9 vvk 2008-04-16 14:04:20 +0400 Просьба протестировать версию из http://git.altlinux.org/people/vvk/packages/sisyphus-mirror.git 68466 10 vvk 2008-04-16 18:54:00 +0400 В общем проверил уже сам, решение с --link-dest работает отлично. Указывать --link-dest=$DESTROOT нельзя, т.к. rsync в таком случае ничего сканировать не будет. Как я понял, нельзя в --link-dest указывать вышележащую директорию. Поэтому я сделал вот что: теперь автоматическим образом формируется множество --link-dest, куда передаются все имеющиеся директории в $DESTROOT. Т.о. мы получаем экономию на хардлинках как будьто бы зеркалили весь ALTLinux. На всякий случай уточню - самостоятельно --link-dest прописывать не надо. Есть одна особенность: уже имеющиеся файлы rsync не будет заменять на хардлинки, но можно сделать так: $ pwd /var/ftp/ALTLinux mv 4.0/branch . sisyphus-mirror -i -l 4.0/branch rm -rf branch 68484 11 mike 2008-04-16 20:51:14 +0400 (In reply to comment #3) > А, понятно. > Ну, хм, не представляю, как это решать. (In reply to comment #10) > В общем проверил уже сам, решение с --link-dest работает отлично. Указывать > --link-dest=$DESTROOT нельзя, т.к. rsync в таком случае ничего сканировать не > будет. Как я понял, нельзя в --link-dest указывать вышележащую директорию. > > Поэтому я сделал вот что: теперь автоматическим образом формируется множество > --link-dest, куда передаются все имеющиеся директории в $DESTROOT. > > Т.о. мы получаем экономию на хардлинках как будьто бы зеркалили весь ALTLinux. > > На всякий случай уточню - самостоятельно --link-dest прописывать не надо. > > Есть одна особенность: уже имеющиеся файлы rsync не будет заменять на хардлинки, > но можно сделать так: > $ pwd > /var/ftp/ALTLinux > mv 4.0/branch . > sisyphus-mirror -i -l 4.0/branch > rm -rf branch 68594 12 vvk 2008-04-18 13:59:22 +0400 Fixed in 0.5-alt1 68614 13 azol 2008-04-18 18:57:16 +0400 нет. решение не работает. попробовал сегодня. имеем: ls -i /EXPORT/ftp/pub/ALTLinux/Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm /EXPORT/ftp/pub/ALTLinux/4.0/Desktop/4.0.3/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm 1982526 /EXPORT/ftp/pub/ALTLinux/4.0/Desktop/4.0.3/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm 1982526 /EXPORT/ftp/pub/ALTLinux/Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm стираю rm /EXPORT/ftp/pub/ALTLinux/Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm запуcкаю sisyphus-mirror (на удалённой стороне всё хардлинки) имею в итоге ls -i /EXPORT/ftp/pub/ALTLinux/Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm /EXPORT/ftp/pub/ALTLinux/4.0/Desktop/4.0.3/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm 1982526 /EXPORT/ftp/pub/ALTLinux/4.0/Desktop/4.0.3/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm 991233 /EXPORT/ftp/pub/ALTLinux/Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm пробовалость все версией из git c4953dffc92cf4e6373d0c5d178551d595d695a6 68621 14 vvk 2008-04-18 21:36:29 +0400 УМВР. $ ls -i ./Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm ./4.0/branch/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm 199622704 ./4.0/branch/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm 199622704 ./Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm У вас похоже local misconfiguration. Нужно посмотреть конфиг, может быть вывод запуска под bash -x. 68625 15 2578 azol 2008-04-18 22:50:04 +0400 Created attachment 2578 config config 68626 16 azol 2008-04-18 22:51:46 +0400 (In reply to comment #14) > УМВР. > $ ls -i ./Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm > ./4.0/branch/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm > 199622704 ./4.0/branch/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm > 199622704 ./Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm > > У вас похоже local misconfiguration. Нужно посмотреть конфиг, может быть вывод > запуска под bash -x. попробуйте _убить_ ./Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm и запустить sisyphus-mirror и посмотреть на итог 68627 17 azol 2008-04-18 22:56:30 +0400 > попробуйте > _убить_ ./Sisyphus/files/noarch/RPMS/alt-docs-genextras-0.3-alt4.noarch.rpm и > запустить sisyphus-mirror и посмотреть на итог > Хотя это плохой пример. этот пакет как раз обновился. но думаю идея ясна: * имеем локальные Sisyphus/file1 и 4.0/branch/file1 (иноды одинаковые.) * убиваем Sisyphus/file1 * запускаем sisyphus-mirror * если sisyphus-mirror достаточно интеллектуален, то Sisyphus/file1 создастся в первозданном виде (с той же инодой, что и 4.0/branch/file1), если нет, то я неверно переоткрыл багу. у меня с моим конфигом Sisyphus/file1 создался как отдельный файл. 68629 18 vvk 2008-04-18 23:32:09 +0400 Угу, таким образом действительно воспроизводится. 68704 19 vvk 2008-04-21 10:53:04 +0400 Всё ясно, rsync ищет файлы по пути link-dest + путь/от/корня/синхронизируемой/директории: lstat64("/var/ftp/ALTLinux/4.0/files/noarch/RPMS/update-kernel-0.3-alt4.noarch.rpm", 0xbfd06cc8) = -1 ENOENT (No such file or directory) lstat64("/var/ftp/ALTLinux/archive/files/noarch/RPMS/update-kernel-0.3-alt4.noarch.rpm", 0xbfd06cc8) = -1 ENOENT (No such file or directory) В общем нужно несколько переписать алгоритм вычисления списка для --link-dest. 68720 20 vvk 2008-04-21 13:40:17 +0400 Для репозиториев, структура которых отличается от Sisyphus, --link-dest вычисляться не будет. В эту категорию попадают updates и backports. Для поддержки --link-dest для не-sisyphus-like репозиториев нужно значительно переделать основной алгоритм синхронизации. А так, fixed in 0.6-alt1. 2578 2008-04-18 22:50:04 +0400 2008-04-18 22:50:04 +0400 config config text/plain 1343 azol IyBkaXIgZm9yIGxvZ3MgYW5kIGxvY2tzClJTSE9NRT1+Ly5zaXN5cGh1cy1taXJyb3IKCiMgbnVt YmVyIG9mIHRyaWVzCk1BWEFUVEVNUFRTPTUKCiMgcnN5bmMgcHJvdG9jb2wgdGltZW91dCAoLS10 aW1lb3V0KQpUTU9VVDE9NTAwCgojIHBhdXNlIGJldHdlZW4gYXR0ZW1wdHMKVE1PVVQyPTE1Cgoj IGh0dHAgcHJveHkgc2VydmVyIHdpdGggSFRUUCBDT05ORUNUIChob3N0OnBvcnQpCiNSU1lOQ19Q Uk9YWT1sb2NhbGhvc3Q6MzEyOAoKIyBzb3VyY2UgbWlycm9yClNSQ1JPT1Q9cnN5bmM6Ly8xOTIu MTY4LjEuMS9BTFRMaW51eAojU1JDUk9PVD1yc3luYzovL21pcnJvci55YW5kZXgucnUvYWx0bGlu dXgKI1NSQ1JPT1Q9cnN5bmM6Ly9pYmlibGlvLm9yZy9MaW51eC9kaXN0cmlidXRpb25zL2FsdGxp bnV4CiNTUkNST09UPXJzeW5jOi8vZnRwLmxpbnV4LmtpZXYudWEvQUxUTGludXgKIwoKIyBkaXN0 aW5hdGlvbiBkaXJlY3RvcnkKREVTVFJPT1Q9L0VYUE9SVC9mdHAvcHViL0FMVExpbnV4CiMgZXhh bXBsZTogd2UgY2FuIHVzZSBzaXN5cGh1cy1taXJyb3IgZm9yIHN5bmNocm9uaXplIHJlcG9zIHRv IHJlbW92YWJsZSBtZWRpYQojREVTVFJPT1Q9L21lZGlhL2Rpc2svQUxUTGludXgKCiMgdGVtcCBk aXJlY3RvcnkgZm9yIHN5bmNocm9uaXphdGlvbgpUTVBERVNUPS5uZXcKCiMgYmFja3VwIHR5cGUg LSBSRUFEIFJFQURNRS5VVEY4CiNCQUNLVVBfVFlQRT1vbmUKI0JBQ0tVUF9UWVBFPXNuYXBzaG90 cwoKIyBkaXJlY3RvcnkgZm9yIGJhY2t1cHMKI0JBQ0tVUF9ESVI9L3Zhci9mdHAvQUxUTGludXgv cHJldmlvdXMtc3RhdGUKI0JBQ0tVUF9ESVI9L3Zhci9mdHAvQUxUTGludXgvYXJjaGl2ZQoKIyBy ZXBvcyBmb3Igc3luYwpMSVNUPSJTaXN5cGh1cyA0LjAvYnJhbmNoIHVwZGF0ZXMiCiNMSVNUPSJT aXN5cGh1cyA0LjAvYnJhbmNoIHVwZGF0ZXMgYmFja3BvcnRzIHBlb3BsZS9zaHJlayIKCiMgZXhj ZXB0aW9ucyBmaWxlICgtLWV4Y2x1ZGUtZnJvbT0pCkVYQ0xVREVfRklMRT0vZXRjL3Npc3lwaHVz LW1pcnJvci9leGNsdWRlCgojIHRlbXAgZGlyIGZvciByc3luYyAoLS1wYXJ0aWFsLWRpcikKUEFS VElBTD1+Ly5zaXN5cGh1cy1taXJyb3IKCiMgc3BlZWQgbGltaXQgaW4gS2IvcyAoLS1id2xpbWl0 PSkKI1NQRUVEPTUxMgojU1BFRUQ9CgojIG90aGVyIGFyZ3VtZXRzIGZvciByc3luYwpBUkdTPSIt cmx0Y3ZIUCAtLWRlbGV0ZS1hZnRlciAtLXN0YXRzIgoKIyBpZiAxLCBwcmludCBvdXRwdXQgdG8g c3Rkb3V0CklOVEVSQUNUSVZFPTEKCiMgYWRtaW4ncyBlbWFpbCAoZm9yIHJlcG9ydGluZyBwcm9i bGVtcykKTUFJTlRBSU5FUj1yb290QGxvY2FsaG9zdAo=