Прошу обновить
Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, а против полного обновления java выступил Дмитрий (ldv@). Пусть уже спокойно отбранчуется.
А вот я тоже за то, что бы обновить. ЧТо б потом бранч не ломать.
(В ответ на комментарий №2) > А вот я тоже за то, что бы обновить. ЧТо б потом бранч не ломать. Я тут соглашусь с Игорем и ldv@ Сейчас не стоит заниматься обновлением java.
А что, потом бэкпортировать будет лучше ?
(В ответ на комментарий №4) > А что, потом бэкпортировать будет лучше ? В данном случае -- да, так как ввязываться в эпопею обновления java сейчас поздновато. Сейчас на очереди python, но там нет революций и до конца недели, возможно, уложимся. Прежде, чем ввязываться в java, надо хорошо оценить масштаб бедствия.
ну так надо начинать оценивать маштаб бедствия. Просто с моей точки зрения бэкпорт тонны java пакетов выглядит намного страшнее, чем задержка выпуска бранча на недельку. И у нас ещё не все важные системные компоненты обновлены (помимо Python).
(В ответ на комментарий №6) > ну так надо начинать оценивать маштаб бедствия. Просто с моей точки зрения > бэкпорт тонны java пакетов выглядит намного страшнее, чем задержка выпуска > бранча на недельку. Вот я и прошу Игоря -- оценить масштаб. >
По прежним обновлениям это от месяца. В этот раз в полтора раза больше, так как надо еще собрать java 11 и провести на нее миграцию.
Лучше, всё-таки, получить оценку сверху. А почему так долго ?
(В ответ на комментарий №9) > А почему так долго ? Официальная сборочница слишком медленная. Я думаю написать распараллеленную сборочницу, на замену нынешней, чтобы закрыть эту тему. Думаю, что оно сразу окупится. Одно дело ждать taska обновления perl часы, другое дело недели. В случае питона, там и месяц(ы) были. Помню, собрал мелкопорезанный texlive, там из-за неоптимизированности пришлось бы ждать от трех месяцев до полгода до завершения таска.
Игорь, проблема явно не в сборочнице. У нас не так много java пакетов, к сожалению.
Я не понимаю другое. В Debian Sid openjdk 8 и tomcat 9.0.16. То есть обновлять openjdk не обязательно, так?
(В ответ на комментарий №12) > Я не понимаю другое. > В Debian Sid openjdk 8 и tomcat 9.0.16. То есть обновлять openjdk не > обязательно, так? Подчеркну, что я прошу обновить не java, в именно tomcat.
(В ответ на комментарий №11) > Игорь, проблема явно не в сборочнице. > У нас не так много java пакетов, к сожалению. Это не так. Я в феврале начал заливать, начал с самых безобидных. В день сборочница могла обработать 20-40 пакетов. В итоге за 2 недели в Сизиф прошло около 300 пакетов, и при этом они достаточно чувствительно растягивали очередь сборочницы, что Дима в итоге лично начал править приоритеты и т.д. и в итоге обратился ко мне и попросил остановить. В моей сборочнице я бы за пару часов залил бы месячную норму нашей сборочницы и сосредоточился бы на починке несобирающихся пакетов.
(В ответ на комментарий №12) > Я не понимаю другое. > В Debian Sid openjdk 8 и tomcat 9.0.16. То есть обновлять openjdk не > обязательно, так? Нет, для точечного обновления tomcat не нужно. openjdk 11 всплыл в связи с общим обновлением пакетов java, там он нужен, чтобы обновить tika. В вопросах сломать, а потом починить, Debian-у легче, у них там на java целый коллектив https://salsa.debian.org/groups/java-team/-/group_members
Давайте попробуем обновить tomcat, хотя бы до версии Debian, точечно. А новую java -- в новый Сизиф.
Возвращаясь к теме обновления java. Наверное, всё-таки неправильно сваливать проблему обновления Java на сборочницу. Ведь у нас другие, намного более тяжёлые пакеты собираются и проблем с этим нет. Дима, можешь прокомментировать историю с тем, что Java не обновляем потому что сборочница не справляется ?
(In reply to comment #17) > Возвращаясь к теме обновления java. > > Наверное, всё-таки неправильно сваливать проблему обновления Java на > сборочницу. Ведь у нас другие, намного более тяжёлые пакеты собираются и > проблем с этим нет. > > Дима, можешь прокомментировать историю с тем, что Java не обновляем потому что > сборочница не справляется ? Дайте номера тасков, я посмотрю.
(In reply to comment #14) > (В ответ на комментарий №11) > > Игорь, проблема явно не в сборочнице. > > У нас не так много java пакетов, к сожалению. > > Это не так. > Я в феврале начал заливать, начал с самых безобидных. И я завернул многие из этих пакетов, поскольку их обновление не содержало ничего, кроме Fedora_29_Mass_Rebuild. Вот что я написал месяц назад: "Я сделал diff всех тех пакетов, которые сейчас висят в очереди от qa_viy. Это чистой воды Fedora_29_Mass_Rebuild, там больше ничего нет. Прилагаю этот diff, смотрите сами. Нам перед бранчеванием следует пересобрать те пакеты, которые при пересборке существенно меняются. Это несколько тысяч пакетов. Но Fedora_29_Mass_Rebuild к ним, по видимому, не относится - я выборочно проверил, там на выходе получаются точно такие же пакеты с другим релизом. Я думаю, что нам не следует собирать Fedora_29_Mass_Rebuild, пока мы не пересобрали то, что действительно нуждается в пересборке."
Created attachment 8060 [details] diff тех пакетов, которые я завернул
(In reply to comment #10) > (В ответ на комментарий №9) > > А почему так долго ? > > Официальная сборочница слишком медленная. > > Я думаю написать распараллеленную сборочницу, на замену > нынешней, чтобы закрыть эту тему. > Думаю, что оно сразу окупится. Одно дело ждать taska обновления perl > часы, другое дело недели. В случае питона, там и месяц(ы) были. > > Помню, собрал мелкопорезанный texlive, там из-за неоптимизированности > пришлось бы ждать от трех месяцев до полгода до завершения таска. Эта ваша распараллеленная сборочница будет так же халтурить, как и скрипты, которые гонят Fedora_29_Mass_Rebuild не глядя в Сизиф? Может, для autoimports это и годится, но не для Сизифа.
(In reply to comment #21) > Эта ваша распараллеленная сборочница будет так же халтурить, как и скрипты, > которые гонят Fedora_29_Mass_Rebuild не глядя в Сизиф? Может, для autoimports > это и годится, но не для Сизифа. Вы почитайте, пожалуйста, и укажите конкретно, где вы видите в предложенных алгоритмах халтуру. Это будет предметный разговор. В идеале я хочу и референсную реализацию написать.
(In reply to comment #19) > "Я сделал diff всех тех пакетов, которые сейчас висят в очереди от qa_viy. "висят". Много суток. Почти неделю. Т.е. есть все-таки проблемы со соборочницей? Далее. Это java подсистема. Она единственная, для которой я не включил пропуск changelogов. Почему? Потому что Чтобы перегенерацией очищать спеки от устаревших добавленных мной вручную одноразовых костылей, а робот этого не умеет. Дмитрий посмотрел глазами 32 diff'а и выдохся. А слабо пробежать глазами 842 diff'а? Антон, вы лучше поймете. У вас в отделе тестирования есть регламент тестирования. ... Поднять образ p8 kde8.2 - обновить пакет. Поднять образ p8 edu - обновить пакет. ... ... Большая часть этих операций тупые. Вы их стараетесь автоматизировать, внедрять различные системы и т.д. Что еще не автоматизированно, приходится делать руками. Нужно ли их делать? Если выполнили операцию, а баг не найден? По регламенту - нужно, так как есть шанс выявить баг. Для обновления java есть свой регламент, написанный горьким опытом хождения по граблям. В этом регламенте прописана натоптанная безопасная тропинка. > Это чистой воды Fedora_29_Mass_Rebuild, там больше ничего нет. > Прилагаю этот diff, смотрите сами. да, у этих 32-х пакетов не было моих костылей. Вы смотрели _все_? А мне предлагаете потратить неделю на ручной поиск? Вместо этого я сгенерировал первую партию, самую безопасную, где версия не менялась и не менялись пакеты со сторны Федоры. Играли роль только мои изменения. сделал на ее основе форк Сизифа и пересобрал с ней все java пакеты Сизифа. Часть пакетов СЛОМАЛАСЬ! Бинарным поиском, разбивая обновление на части, вычленил и вернул 2 моих существенных костыля на место. Остальные свои костыли списал как устаревшие. На это у меня ушло два дня напряженной работы. При чем когда я (понемногу! чтобы не перегрузить нашу сборочницу!) начал заливать пакеты, залитые я удалял. Я не ожидал, что проблемы со сборочницей дошли до такой остроты, что администратор начнет УДАЛЯТЬ! лишние, по его мнению, пакеты. Теперь все заново начинать :( Я даже себе копий
(In reply to comment #22) > (In reply to comment #21) > > Эта ваша распараллеленная сборочница будет так же халтурить, как и скрипты, > > которые гонят Fedora_29_Mass_Rebuild не глядя в Сизиф? Может, для autoimports > > это и годится, но не для Сизифа. > > Вы почитайте, пожалуйста, и укажите конкретно, где вы видите в предложенных > алгоритмах халтуру. Это будет предметный разговор. У нас фундаментальные разногласия по поводу того, что важно, а что не важно. Из этого следуют противоположные выводы о том, что можно оптимизировать, а что нельзя.
Еще раз прошу обновить tomcat.
(In reply to comment #23) > (In reply to comment #19) > > "Я сделал diff всех тех пакетов, которые сейчас висят в очереди от qa_viy. > > "висят". Много суток. Почти неделю. Т.е. есть все-таки проблемы со > соборочницей? В данном случае я их заподозрил, проверил, и заблокировал вручную. По принципиальным соображениям. Иначе бы они собрались. > Далее. > > Это java подсистема. Она единственная, для которой я не включил > пропуск changelogов. Почему? Потому что Извините, это не аргумент. > Чтобы перегенерацией очищать спеки от устаревших добавленных мной > вручную одноразовых костылей, а робот этого не умеет. Почему? > Дмитрий посмотрел глазами 32 diff'а и выдохся. > А слабо пробежать глазами 842 diff'а? Я не считаю целесообразным тратить своё время на вычитку изменений за вашим скриптом. > Антон, вы лучше поймете. У вас в отделе тестирования есть > регламент тестирования. > ... > Поднять образ p8 kde8.2 - обновить пакет. > Поднять образ p8 edu - обновить пакет. > ... > ... > > Большая часть этих операций тупые. Вы их стараетесь автоматизировать, > внедрять различные системы и т.д. Что еще не автоматизированно, > приходится делать руками. > Нужно ли их делать? Если выполнили операцию, > а баг не найден? > По регламенту - нужно, так как есть шанс выявить баг. > > Для обновления java есть свой регламент, написанный горьким > опытом хождения по граблям. В этом регламенте прописана > натоптанная безопасная тропинка. Я уже говорил: это не безопасная тропинка, а карго-культ. > > Это чистой воды Fedora_29_Mass_Rebuild, там больше ничего нет. > > Прилагаю этот diff, смотрите сами. > > да, у этих 32-х пакетов не было моих костылей. Вы смотрели _все_? > А мне предлагаете потратить неделю на ручной поиск? Это не в первый, не во второй, и не в третий раз уже. Неужели так сложно написать скрипт? > Вместо этого я сгенерировал первую партию, > самую безопасную, где версия не менялась и не менялись пакеты > со сторны Федоры. Играли роль только мои изменения. > сделал на ее основе форк Сизифа и пересобрал с ней > все java пакеты Сизифа. > Часть пакетов СЛОМАЛАСЬ! > Бинарным поиском, разбивая обновление на части, > вычленил и вернул 2 моих существенных костыля на место. > Остальные свои костыли списал как устаревшие. > > На это у меня ушло два дня напряженной работы. > При чем когда я (понемногу! чтобы не перегрузить > нашу сборочницу!) > начал заливать пакеты, залитые я удалял. > Я не ожидал, что проблемы со сборочницей > дошли до такой остроты, что администратор > начнет УДАЛЯТЬ! лишние, по его мнению, > пакеты. > Теперь все заново начинать :( Это не проблемы со сборочницей, это организационная проблема. Я из раза в раз прошу вас не отправлять в Сизиф мусор, а вы меня не слышите. Ну что я могу ещё поделать?
(In reply to comment #23) > (In reply to comment #19) > > "Я сделал diff всех тех пакетов, которые сейчас висят в очереди от qa_viy. > > "висят". Много суток. Почти неделю. Т.е. есть все-таки проблемы со > сборочницей? Точнее в феврале висели, висели, висели, и потом кто-то их удалил. Если в сборочнице пакеты висят неделями, дошло до ругани, ручной росстановки приоритетов и даже удаления пакетов, то нужно признать, проблемы со сборочницей есть. И эти проблемы имеют техническое решение - более производительная сборочница, и те пакеты и пол часа бы не провисели.
(In reply to comment #1) > Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, > а против полного обновления java выступил Дмитрий (ldv@). > Пусть уже спокойно отбранчуется. (In reply to comment #25) > Еще раз прошу обновить tomcat. Если для обновления tomcat необходимо сделать такое полное обновление java, о котором пишет Игорь, то я против.
(In reply to comment #25) > Еще раз прошу обновить tomcat. Я попробую подготовить обновление, и потом проверю обновление пересборкой других пакетов. Это займет время. По итогу можно будет думать.
(In reply to comment #28) > (In reply to comment #1) > > Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, > > а против полного обновления java выступил Дмитрий (ldv@). > > Пусть уже спокойно отбранчуется. > > (In reply to comment #25) > > Еще раз прошу обновить tomcat. > > Если для обновления tomcat необходимо сделать такое полное обновление java, о > котором пишет Игорь, то я против. я еще не знаю о необходимости полного обновления, это покажет тестовая пересборка. там обновление не мажорное, а минорное, шанс, что ничего не сломается есть.
(In reply to comment #27) > (In reply to comment #23) > > (In reply to comment #19) > > > "Я сделал diff всех тех пакетов, которые сейчас висят в очереди от qa_viy. > > > > "висят". Много суток. Почти неделю. Т.е. есть все-таки проблемы со > > сборочницей? > > Точнее в феврале висели, висели, висели, и потом кто-то их удалил. Повторяю, я их заблокировал вручную, потому что они не нужны. > Если в сборочнице пакеты висят неделями, > дошло до ругани, ручной росстановки приоритетов и даже удаления пакетов, > то нужно признать, проблемы со сборочницей есть. > > И эти проблемы имеют техническое решение - более производительная > сборочница, и те пакеты и пол часа бы не провисели. У нас фундаментальные разногласия по поводу того, чем должна заниматься сборочница. Вы считаете, что сборочница должна быть более производительной для того, чтобы справляться с потоком мусора, который генерят скрипты. Я считаю, что надо минимизировать поток мусора, а сборочница должна быть более производительной для того, чтобы выявлять больше ошибок.
(In reply to comment #28) > (In reply to comment #1) > > Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, > > а против полного обновления java выступил Дмитрий (ldv@). > > Пусть уже спокойно отбранчуется. > > (In reply to comment #25) > > Еще раз прошу обновить tomcat. > > Если для обновления tomcat необходимо сделать такое полное обновление java, о > котором пишет Игорь, то я против. Я уже написал, что в Debian sid при openjdk 8 свежий tomcat. Игорь, почему у нас с этим могут быть проблемы? Что у нас иначе?
(In reply to comment #26) > В данном случае я их заподозрил, проверил, и заблокировал вручную. > По принципиальным соображениям. Иначе бы они собрались. Ужас. а как же пересборки в случае ldv@: "я считаю очевидным, что если свежесобранный пакет входит в сборочную среду других пакетов, то все они должны быть незамедлительно пересобраны и перепроверены." Или что позволено Юпитеру, не позволено быку? > > А слабо пробежать глазами 842 diff'а? > Я не считаю целесообразным тратить своё время на вычитку изменений за вашим > скриптом. а МОЕ время вы считаете целесообразным тратить :( Так бы я спихнул эту задачу на сборочницу. Это нормально -- для того и железо придумано. > Это не проблемы со сборочницей, это организационная проблема. > Я из раза в раз прошу вас не отправлять в Сизиф мусор, а вы меня не слышите. Я просил не лепить ярлык мусор. Но в чем проблема? Не в том ли, что сборочница не справляется с нагрузкой?
(In reply to comment #32) > (In reply to comment #28) > > (In reply to comment #1) > > > Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, > > > а против полного обновления java выступил Дмитрий (ldv@). > > > Пусть уже спокойно отбранчуется. > > > > (In reply to comment #25) > > > Еще раз прошу обновить tomcat. > > > > Если для обновления tomcat необходимо сделать такое полное обновление java, о > > котором пишет Игорь, то я против. > > Я уже написал, что в Debian sid при openjdk 8 свежий tomcat. > Игорь, почему у нас с этим могут быть проблемы? Что у нас иначе? Я сейчас еще не знаю ответ на этот вопрос. Надо подоготовить обновление, протестировать его пересборкой других пакетов с ним и будет ясно. В Debian больше людей, они могут быстрее починить, если что в процессе сломается.
(In reply to comment #31) > У нас фундаментальные разногласия по поводу того, чем должна заниматься > сборочница. > Вы считаете, что сборочница должна быть более производительной для того, чтобы > справляться с потоком мусора, который генерят скрипты. > Я считаю, что надо минимизировать поток мусора, а сборочница должна быть более > производительной для того, чтобы выявлять больше ошибок. А в чем здесь разногласия? Надо улучшать и то, и другое. Чем эти задачи мешают друг другу? Наоброт, нужно вместе работать, а не ругаться.
(В ответ на комментарий №34) > (In reply to comment #32) > > (In reply to comment #28) > > > (In reply to comment #1) > > > > Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, > > > > а против полного обновления java выступил Дмитрий (ldv@). > > > > Пусть уже спокойно отбранчуется. > > > > > > (In reply to comment #25) > > > > Еще раз прошу обновить tomcat. > > > > > > Если для обновления tomcat необходимо сделать такое полное обновление java, о > > > котором пишет Игорь, то я против. > > > > Я уже написал, что в Debian sid при openjdk 8 свежий tomcat. > > Игорь, почему у нас с этим могут быть проблемы? Что у нас иначе? > > Я сейчас еще не знаю ответ на этот вопрос. > Надо подоготовить обновление, протестировать его пересборкой > других пакетов с ним и будет ясно. > > В Debian больше людей, они могут быстрее починить, если что в процессе > сломается. Можно посмотреть их changelog. Кроме того, Debian sid сейчас несколько отстаёт от Сизифа по свежести основных пакетов.
(In reply to comment #36) > Можно посмотреть их changelog. > Кроме того, Debian sid сейчас несколько отстаёт от Сизифа по свежести основных > пакетов. Лучше не спешить, все таки бранчевание. Я хотел бы потратить дополнительное время на пересборки до отправки в Сизиф, чтобы убедиться, что ничего не сломаю.
(In reply to comment #37) > Лучше не спешить, все таки бранчевание. Я хотел бы потратить дополнительное > время на пересборки до отправки в Сизиф, чтобы убедиться, что ничего не сломаю. точечным обновлением tomcat, конечно.
(In reply to comment #37) > (In reply to comment #36) > > Можно посмотреть их changelog. > > Кроме того, Debian sid сейчас несколько отстаёт от Сизифа по свежести основных > > пакетов. > > Лучше не спешить, все таки бранчевание. Я хотел бы потратить дополнительное > время на пересборки до отправки в Сизиф, чтобы убедиться, что ничего не сломаю. Вот именно потому, что бранчеввание, то сразу после него пойдет подготовка решений, а именно tomcat из java -- одно из наиболее востребованных, если не самое восребованное.
(In reply to comment #39) > Вот именно потому, что бранчеввание, то сразу после него пойдет подготовка > решений, а именно tomcat из java -- одно из наиболее востребованных, если не > самое восребованное. Да, я готовлю обновление.
(В ответ на комментарий №40) > (In reply to comment #39) > > Вот именно потому, что бранчеввание, то сразу после него пойдет подготовка > > решений, а именно tomcat из java -- одно из наиболее востребованных, если не > > самое восребованное. > > Да, я готовлю обновление. Ok, ждём.
(In reply to comment #41) Обновление уже есть, а результ - сломает ли оно чего или нет, узнаем не ранее, чем завтра.
(В ответ на комментарий №39) > Вот именно потому, что бранчеввание, то сразу после него пойдет подготовка > решений, а именно tomcat из java -- одно из наиболее востребованных, если не > самое восребованное. Не самое. ELK тоже важен, а он у нас ещё и не собран. На самом деле попытка следовать за Java в Fedora - не самая удачная идея. Не факт что в федоре Java собран лучше и консистентнее. Тут нужен свой путь, как с perl'ом.
(В ответ на комментарий №32) > > Я уже написал, что в Debian sid при openjdk 8 свежий tomcat. > Игорь, почему у нас с этим могут быть проблемы? Что у нас иначе? В Debian sid есть JDK-8, но дефолт у них - JDK-11. https://packages.debian.org/ru/sid/default-jdk
(In reply to comment #42) > Обновление уже есть, а результ - сломает ли оно чего или нет, узнаем не ранее, > чем завтра. Тестовая пересборка прошла успешно, отправил в Сизиф. [#225655] DONE srpm=tomcat-9.0.13-alt1_2jpp8.src.rpm
Игорь, спасибо!
