22606 2009-12-23 17:38:10 +0300 ошибка блокировки файлов 2013-07-16 12:32:57 +0400 1 1 4 Development Sisyphus squidmill unstable all Linux CLOSED FIXED P3 normal --- 1 erthad manowar admin cas manowar mark35 sproutella webdigi qa-sisyphus oldest_to_newest 104717 0 erthad 2009-12-23 17:38:10 +0300 Если при запущенном в резидентном режиме squidmill на сколько нибудь нагруженном squid-е делать запросы к базе, очень скоро они перестают проходить с ошибкой: # squidmill -d /var/log/squid/squidmill.db -r -i *** ERROR IN ##execute-program -- This object was raised: "database is locked" После перезапуска резидентной части все снова начинает работать до повтора этой ситуации. После выпадения ошибки файл .db расти перестает, рядом с базой возникает файл с расширением .db-journal, после чего продолжает расти только он, но толку от этого мало -- после перезапуска резидентной части размер файла .db остается тем же, что был до перезапуска -- расти начинает уже потом. Система: p5 [root@alterator squid]# rpm -q squidmill libsqlite3 squidmill-2.0-alt4 libsqlite3-3.6.19-alt1 [root@alterator squid]# cat /etc/sysconfig/squidmill SQUIDLOGUSER=squid SQUIDLOGFILE=/var/log/squid/access.log Squid и squidmill запускаются в отдельных контейнерах. Каталог с логами сквида подмонтирован между контейнерами через -o bind. Все запуски squidmill (резидентный и ручной для отчета) производятся в одном и том же контейнере. 104722 1 manowar 2009-12-23 22:34:46 +0300 Я исправил эксклюзивную транзакцию на разделяемую. Надеюсь, что это поможет. Исправление лежит тут: git://git.altlinux.org/people/manowar/packages/squidmill.git В Сизиф пока не собирается, а без него нельзя обновить и в ветках. 104734 2 erthad 2009-12-24 12:05:33 +0300 Нет, такая же ситуация. По-моему, дело не в этом: Ключ -R (округление) в инитскрипте не используется, а приведенный патч меняет поведение только функции round-log. bulk-insert же отрабатывает без отдельной транзакции, а он и становится проблемой. В доказательство этого можно запустить squidmill в follow mode без ключа -B 1. В этом случае запись на диск (и выполнение bulk-insert) производится гораздо реже, и у меня воспроизвести ошибку описанным образом сходу не получилось. 104735 3 erthad 2009-12-24 12:10:47 +0300 (В ответ на комментарий №2) > В доказательство этого можно запустить squidmill в follow mode без ключа -B 1. > В этом случае запись на диск (и выполнение bulk-insert) производится гораздо > реже, и у меня воспроизвести ошибку описанным образом сходу не получилось. Ну точнее, воспроизводится все-таки, но вероятность этого падения становится гораздо меньше, т.к. пишет на диск реже. 104736 4 manowar 2009-12-24 12:25:21 +0300 Слушай, а можешь запустить сборщик в foreground и посмотреть, есть ли сообщение об ошибке, когда возникает .db-journal? 106222 5 repository-robot 2010-02-01 15:50:52 +0300 squidmill-2.0-alt5 -> sisyphus: * Wed Dec 23 2009 Paul Wolneykien <manowar@altlinux> 2.0-alt5 - Use immediate transactions (closes: 22606) 109620 6 sproutella 2010-06-01 20:11:21 +0400 Положите squidmill-2.0-alt5 в p5/5.1, пожалуйста. 109645 7 manowar 2010-06-02 13:32:08 +0400 Я собрал для 5.1. Попросите cas@ скопировать в p5 -- у меня прав на это нет. 129235 8 mark35 2012-02-27 11:42:34 +0400 # uname -a В 6 платформе ошшибка вернулась Linux rasib-srv.rasib 2.6.32-el-smp-alt27 #1 SMP Tue Sep 20 19:38:45 UTC 2011 x86_64 GNU/Linux # squidmill -d /var/log/squid/squidmill.db -r -i *** ERROR IN ##execute-program -- This object was raised: (sqlite3-err 5 "database is locked") # rpm -q squidmill libsqlite3 squidmill-2.1-alt0.M60P.1 libsqlite3-3.7.6.2-alt2 После перезапуска работает, но валится с завидной периодичностью. 129241 9 manowar 2012-02-27 15:10:31 +0400 Да, я в курсе, что проблема есть. Единственный способ её побороть, как мне кажется, — это самостоятельно организовать доступ к БД через единственный поток. Сейчас между делом занимаюсь .тем, что добавляю поддержку доменных сокетов в Gambit. После этого можно будет через такой сокет обслуживать несколько клиентов, и ошибок блокировки не будет. 129790 10 manowar 2012-03-16 03:02:21 +0400 Тестируем осторожно http://git.altlinux.org/tasks/66371/ . Пока без доменных сокетов, но зато с небольшим исправлением в gambit-sqlite3 и самом squidmill. 129793 11 manowar 2012-03-16 03:08:25 +0400 Пакет gambit-sqlite3 тоже нужно обновить. Из Сизифа. 129794 12 manowar 2012-03-16 05:13:51 +0400 Также можно попробовать новый alterator-squidmill и новые переводы интерфейса к нему (alterator-l10n). 129796 13 manowar 2012-03-16 05:21:28 +0400 *** Bug 26192 has been marked as a duplicate of this bug. *** 129855 14 mark35 2012-03-19 09:07:08 +0400 (В ответ на комментарий №10) > Тестируем осторожно http://git.altlinux.org/tasks/66371/ . Пока без доменных > сокетов, но зато с небольшим исправлением в gambit-sqlite3 и самом squidmill. Обновил из сизифа, теперь часто в альтераторе стало вылетать: "key=wrong-type-arg, args=(#f "Wrong type (expecting ~A): ~S" ("pair" ()) (()))" При # squidmill -d /var/log/squid/squidmill.db -r -i бывает задумывается на долго, но в итоге показывает статистику. 129980 15 manowar 2012-03-22 17:34:33 +0400 (В ответ на комментарий №14) > (В ответ на комментарий №10) > > Тестируем осторожно http://git.altlinux.org/tasks/66371/ . Пока без доменных > > сокетов, но зато с небольшим исправлением в gambit-sqlite3 и самом squidmill. > > Обновил из сизифа, теперь часто в альтераторе стало вылетать: > "key=wrong-type-arg, args=(#f "Wrong type (expecting ~A): ~S" ("pair" ()) > (()))" Совсем забыл, что в Альтераторе у нас нельзя писать сообщение об ошибке, если часть данных уже ушла… Исправлено в alterator-squidmill.git=v2.0-alt5. Теперь, в случае ошибки squidmill, должно появляться нормально сообщение с кодом ошибки, а в /var/log/alteratord.log должно быть записана её причина. > При # squidmill -d /var/log/squid/squidmill.db -r -i бывает задумывается на > долго, но в итоге показывает статистику. Вот на это «задумывается, но показывает» я и понадеялся. Через Альтератор вызывается та же самая функция. Посмотрите, на всякий случай. 129981 16 manowar 2012-03-22 17:36:54 +0400 И версии gambit-sqlite и squidmill, какие у вас установлены, напишите, пожалуйста. 130006 17 mark35 2012-03-23 05:50:18 +0400 (В ответ на комментарий №16) > И версии gambit-sqlite и squidmill, какие у вас установлены, напишите, > пожалуйста. gambit-4.6.3-alt1 gambit-sqlite3-1.2-alt1 squidmill-2.2-alt1 130036 18 manowar 2012-03-23 15:41:36 +0400 (В ответ на комментарий №17) > (В ответ на комментарий №16) > > И версии gambit-sqlite и squidmill, какие у вас установлены, напишите, > > пожалуйста. > > gambit-4.6.3-alt1 > gambit-sqlite3-1.2-alt1 > squidmill-2.2-alt1 Ага. С новым alterator-squidmill, в случае неудачной выборки из БД, вместо непереводимой игры слов, должно появляться сообщение «Squidmill error (<код>)». У вас так (и какой код)? 135567 19 cas 2012-11-29 11:56:49 +0400 В p6 надо бэкпортировать в нынешнем виде? 135584 20 manowar 2012-11-29 23:26:59 +0400 Пока деваться некуда: до реализации unit-сокетов для Gambit я ещё не добрался. Но сизифная версия не должна быть хуже p6, может быть даже она чем-то лучше: я добавил переоткрытие БД в случае ошибки. 135596 21 cas 2012-11-30 11:00:52 +0400 (В ответ на комментарий №20) > Пока деваться некуда: до реализации unit-сокетов для Gambit я ещё не добрался. > Но сизифная версия не должна быть хуже p6, может быть даже она чем-то лучше: я > добавил переоткрытие БД в случае ошибки. Хорошо, бэкпортирую пока что есть, ждём полной реализации. 137702 22 admin 2013-02-08 12:07:31 +0400 Ребят, может перенесете в основной репозиторий исправленные пакеты? А то ведь приходится вручную из сизифа подтаскивать. 137703 23 manowar 2013-02-08 13:15:05 +0400 А что, сизифная версия работает стабильно? 137704 24 admin 2013-02-08 13:47:24 +0400 Ну она хотя бы работает. На одном сервере аптайм уже 67 дней. Версия лежащая в репозитории через каждые 5 минут умирает. Мне только одна проблема мешает - левые IP в статистике, а остальное - работает. 137705 25 manowar 2013-02-08 13:51:53 +0400 Хорошо, сейчас отправлю в p6. А с "левыми" адресами нужно разобраться: вы утверждаете, что в /var/log/squid/access.log таких адресов нет, а в squidmill они есть? 137706 26 manowar 2013-02-08 14:00:04 +0400 Позвольте, но версии "v2.2-alt0.M60P.2" и "v2.2-alt3" отличаются только адаптацией к systemd, а она не нужна в p6. Ну плюс ещё сизифная версия собрана более новым gambit, но это вряд ли принципиально. Расскажите, пожалуйста, что и как вы перенесли из Сизифа на ту машинку, которая уже 67 дней работает. 137708 27 admin 2013-02-08 14:23:27 +0400 (В ответ на комментарий №26) > Позвольте, но версии "v2.2-alt0.M60P.2" и "v2.2-alt3" отличаются только > адаптацией к systemd, а она не нужна в p6. Ну плюс ещё сизифная версия собрана > более новым gambit, но это вряд ли принципиально. Расскажите, пожалуйста, что и > как вы перенесли из Сизифа на ту машинку, которая уже 67 дней работает. Сервер, раздающий интернет. Проблема: постоянно падает squidmill, не работает статистика. Решение: В репозитории прописываю sisyphus, устанавливаю оттуда squidmill alterator-squidmill gambit-4.6.3-alt1 gambit-sqlite3-1.2-alt1 Все начинает работать отлично. 137709 28 admin 2013-02-08 14:24:41 +0400 (В ответ на комментарий №25) > Хорошо, сейчас отправлю в p6. > > А с "левыми" адресами нужно разобраться: вы утверждаете, что в > /var/log/squid/access.log таких адресов нет, а в squidmill они есть? Верное замечание, сейчас детально смотрю логи - там есть упоминания об этих адресах. Теперь надо понять как они там оказались. 137901 29 admin 2013-02-14 16:28:26 +0400 Ну так как на счет обновления библиотек в репозитариях? 137904 30 cas 2013-02-14 17:02:19 +0400 (В ответ на комментарий №29) > Ну так как на счет обновления библиотек в репозитариях? Тестирую. 137977 31 cas 2013-02-18 14:20:50 +0400 Так как gambit собирается бустрапом, с каждой предыдущей версии, собрать быстро не получится. 141186 32 manowar 2013-06-28 22:32:45 +0400 squidmill 2.4 141547 33 cas 2013-07-16 12:32:57 +0400 (В ответ на комментарий №29) > Ну так как на счет обновления библиотек в репозитариях? Пакет отправлен в p6 и p7. Во время тестирования выяснилось, что в случае запуска и сразу же остановки службы squidmill: # service squidmill status squidmill is dead, but subsystem is locked нужно удалить файл с базой данных: rm -f /var/log/squid/squidmill.db (при этом старые данные статистики будут утеряны!). Обычно это не критично.