Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, 
а против полного обновления java выступил Дмитрий (ldv@).
Пусть уже спокойно отбранчуется.

А вот я тоже за то, что бы обновить. ЧТо б потом бранч не ломать.

(В ответ на комментарий №2)
> А вот я тоже за то, что бы обновить. ЧТо б потом бранч не ломать.

Я тут соглашусь с Игорем и ldv@ Сейчас не стоит заниматься обновлением java.

А что, потом бэкпортировать будет лучше ?

(В ответ на комментарий №4)
> А что, потом бэкпортировать будет лучше ?

В данном случае -- да, так как ввязываться в эпопею обновления  java сейчас поздновато. Сейчас на очереди  python, но там нет революций и до конца недели, возможно, уложимся.
Прежде, чем ввязываться в java, надо хорошо оценить масштаб бедствия.

ну так надо начинать оценивать маштаб бедствия. Просто с моей точки зрения бэкпорт тонны java пакетов выглядит намного страшнее, чем задержка выпуска бранча на недельку.

И у нас ещё не все важные системные компоненты обновлены (помимо Python).

(В ответ на комментарий №6)
> ну так надо начинать оценивать маштаб бедствия. Просто с моей точки зрения
> бэкпорт тонны java пакетов выглядит намного страшнее, чем задержка выпуска
> бранча на недельку.

Вот я и прошу Игоря -- оценить масштаб.
>

По прежним обновлениям это от месяца. В этот раз в полтора раза больше, так как надо еще собрать java 11 и провести на нее миграцию.

Лучше, всё-таки, получить оценку сверху.
А почему так долго ?

(В ответ на комментарий №9)
> А почему так долго ?

Официальная сборочница слишком медленная.

Я думаю написать распараллеленную сборочницу, на замену
нынешней, чтобы закрыть эту тему.
Думаю, что оно сразу окупится. Одно дело ждать taska обновления perl
часы, другое дело недели. В случае питона, там и месяц(ы) были.

Помню, собрал мелкопорезанный texlive, там из-за неоптимизированности 
пришлось бы ждать от трех месяцев до полгода до завершения таска.

Игорь, проблема явно не в сборочнице.
У нас не так много java пакетов, к сожалению.

Я не понимаю другое.
В Debian Sid openjdk 8 и tomcat 9.0.16. То есть обновлять openjdk не обязательно, так?

(В ответ на комментарий №12)
> Я не понимаю другое.
> В Debian Sid openjdk 8 и tomcat 9.0.16. То есть обновлять openjdk не
> обязательно, так?

Подчеркну, что я прошу обновить не java, в именно tomcat.

(В ответ на комментарий №11)
> Игорь, проблема явно не в сборочнице.
> У нас не так много java пакетов, к сожалению.

Это не так.
Я в феврале начал заливать, начал с самых безобидных.
В день сборочница могла обработать 20-40 пакетов. 
В итоге за 2 недели в Сизиф прошло около 300 пакетов, и при этом
они достаточно чувствительно растягивали очередь сборочницы,
что Дима в итоге лично начал править приоритеты и т.д.
и в итоге обратился ко мне и попросил остановить.

В моей сборочнице я бы за пару часов залил бы месячную норму нашей
сборочницы и сосредоточился бы на починке несобирающихся пакетов.

(В ответ на комментарий №12)
> Я не понимаю другое.
> В Debian Sid openjdk 8 и tomcat 9.0.16. То есть обновлять openjdk не
> обязательно, так?

Нет, для точечного обновления tomcat не нужно. 
openjdk 11 всплыл в связи с общим обновлением пакетов java, там он нужен, чтобы обновить tika.

В вопросах сломать, а потом починить, Debian-у легче, у них там
на java целый коллектив
https://salsa.debian.org/groups/java-team/-/group_members

Давайте попробуем обновить tomcat, хотя бы до версии  Debian, точечно.
А новую java --  в новый Сизиф.

Возвращаясь к теме обновления java.

Наверное, всё-таки неправильно сваливать проблему обновления Java на сборочницу. Ведь у нас другие, намного более тяжёлые пакеты собираются и проблем с этим нет.

Дима, можешь прокомментировать историю с тем, что Java не обновляем потому что сборочница не справляется ?

(In reply to comment #17)
> Возвращаясь к теме обновления java.
> 
> Наверное, всё-таки неправильно сваливать проблему обновления Java на
> сборочницу. Ведь у нас другие, намного более тяжёлые пакеты собираются и
> проблем с этим нет.
> 
> Дима, можешь прокомментировать историю с тем, что Java не обновляем потому что
> сборочница не справляется ?

Дайте номера тасков, я посмотрю.

(In reply to comment #14)
> (В ответ на комментарий №11)
> > Игорь, проблема явно не в сборочнице.
> > У нас не так много java пакетов, к сожалению.
> 
> Это не так.
> Я в феврале начал заливать, начал с самых безобидных.

И я завернул многие из этих пакетов, поскольку их обновление не содержало ничего, кроме Fedora_29_Mass_Rebuild.

Вот что я написал месяц назад:

"Я сделал diff всех тех пакетов, которые сейчас висят в очереди от qa_viy.
Это чистой воды Fedora_29_Mass_Rebuild, там больше ничего нет.
Прилагаю этот diff, смотрите сами.

Нам перед бранчеванием следует пересобрать те пакеты, которые при
пересборке существенно меняются.  Это несколько тысяч пакетов.

Но Fedora_29_Mass_Rebuild к ним, по видимому, не относится -
я выборочно проверил, там на выходе получаются точно такие же пакеты
с другим релизом.

Я думаю, что нам не следует собирать Fedora_29_Mass_Rebuild, пока мы не
пересобрали то, что действительно нуждается в пересборке."

Created attachment 8060 [details]
diff тех пакетов, которые я завернул

(In reply to comment #10)
> (В ответ на комментарий №9)
> > А почему так долго ?
> 
> Официальная сборочница слишком медленная.
> 
> Я думаю написать распараллеленную сборочницу, на замену
> нынешней, чтобы закрыть эту тему.
> Думаю, что оно сразу окупится. Одно дело ждать taska обновления perl
> часы, другое дело недели. В случае питона, там и месяц(ы) были.
> 
> Помню, собрал мелкопорезанный texlive, там из-за неоптимизированности 
> пришлось бы ждать от трех месяцев до полгода до завершения таска.

Эта ваша распараллеленная сборочница будет так же халтурить, как и скрипты, которые гонят Fedora_29_Mass_Rebuild не глядя в Сизиф?  Может, для autoimports это и годится, но не для Сизифа.

(In reply to comment #21)
> Эта ваша распараллеленная сборочница будет так же халтурить, как и скрипты,
> которые гонят Fedora_29_Mass_Rebuild не глядя в Сизиф?  Может, для autoimports
> это и годится, но не для Сизифа.

Вы почитайте, пожалуйста, и укажите конкретно, где вы видите в предложенных
алгоритмах халтуру. Это будет предметный разговор.

В идеале я хочу и референсную реализацию написать.

(In reply to comment #19)
> "Я сделал diff всех тех пакетов, которые сейчас висят в очереди от qa_viy.

"висят". Много суток. Почти неделю. Т.е. есть все-таки проблемы со соборочницей?

Далее.

Это java подсистема. Она единственная, для которой я не включил
пропуск changelogов. Почему? Потому что
Чтобы перегенерацией очищать спеки от устаревших добавленных мной
вручную одноразовых костылей, а робот этого не умеет.
Дмитрий посмотрел глазами 32 diff'а и выдохся.
А слабо пробежать глазами 842 diff'а?

Антон, вы лучше поймете. У вас в отделе тестирования есть 
регламент тестирования.
...
Поднять образ p8 kde8.2 - обновить пакет.
Поднять образ p8 edu - обновить пакет.
...
...

Большая часть этих операций тупые. Вы их стараетесь автоматизировать,
внедрять различные системы и т.д. Что еще не автоматизированно,
приходится делать руками. 
Нужно ли их делать? Если выполнили операцию,
а баг не найден?
По регламенту - нужно, так как есть шанс выявить баг.

Для обновления java есть свой регламент, написанный горьким
опытом хождения по граблям. В этом регламенте прописана
натоптанная безопасная тропинка.

> Это чистой воды Fedora_29_Mass_Rebuild, там больше ничего нет.
> Прилагаю этот diff, смотрите сами.

да, у этих 32-х пакетов не было моих костылей. Вы смотрели _все_?
А мне предлагаете потратить неделю на ручной поиск?

Вместо этого я сгенерировал первую партию,
самую безопасную, где версия не менялась и не менялись пакеты
со сторны Федоры. Играли роль только мои изменения.
сделал на ее основе форк Сизифа и пересобрал с ней
все java пакеты Сизифа.
Часть пакетов СЛОМАЛАСЬ!
Бинарным поиском, разбивая обновление на части,
вычленил и вернул 2 моих существенных костыля на место.
Остальные свои костыли списал как устаревшие.

На это у меня ушло два дня напряженной работы.
При чем когда я (понемногу! чтобы не перегрузить
нашу сборочницу!)
начал заливать пакеты, залитые я удалял.
Я не ожидал, что проблемы со сборочницей 
дошли до такой остроты, что администратор
начнет УДАЛЯТЬ! лишние, по его мнению,
пакеты.
Теперь все заново начинать :(

Я даже себе копий

(In reply to comment #22)
> (In reply to comment #21)
> > Эта ваша распараллеленная сборочница будет так же халтурить, как и скрипты,
> > которые гонят Fedora_29_Mass_Rebuild не глядя в Сизиф?  Может, для autoimports
> > это и годится, но не для Сизифа.
> 
> Вы почитайте, пожалуйста, и укажите конкретно, где вы видите в предложенных
> алгоритмах халтуру. Это будет предметный разговор.

У нас фундаментальные разногласия по поводу того, что важно, а что не важно.
Из этого следуют противоположные выводы о том, что можно оптимизировать, а что нельзя.

Еще раз прошу обновить tomcat.

(In reply to comment #23)
> (In reply to comment #19)
> > "Я сделал diff всех тех пакетов, которые сейчас висят в очереди от qa_viy.
> 
> "висят". Много суток. Почти неделю. Т.е. есть все-таки проблемы со
> соборочницей?

В данном случае я их заподозрил, проверил, и заблокировал вручную.
По принципиальным соображениям.  Иначе бы они собрались.

> Далее.
> 
> Это java подсистема. Она единственная, для которой я не включил
> пропуск changelogов. Почему? Потому что

Извините, это не аргумент.

> Чтобы перегенерацией очищать спеки от устаревших добавленных мной
> вручную одноразовых костылей, а робот этого не умеет.

Почему?

> Дмитрий посмотрел глазами 32 diff'а и выдохся.
> А слабо пробежать глазами 842 diff'а?

Я не считаю целесообразным тратить своё время на вычитку изменений за вашим скриптом.

> Антон, вы лучше поймете. У вас в отделе тестирования есть 
> регламент тестирования.
> ...
> Поднять образ p8 kde8.2 - обновить пакет.
> Поднять образ p8 edu - обновить пакет.
> ...
> ...
> 
> Большая часть этих операций тупые. Вы их стараетесь автоматизировать,
> внедрять различные системы и т.д. Что еще не автоматизированно,
> приходится делать руками. 
> Нужно ли их делать? Если выполнили операцию,
> а баг не найден?
> По регламенту - нужно, так как есть шанс выявить баг.
> 
> Для обновления java есть свой регламент, написанный горьким
> опытом хождения по граблям. В этом регламенте прописана
> натоптанная безопасная тропинка.

Я уже говорил: это не безопасная тропинка, а карго-культ.

> > Это чистой воды Fedora_29_Mass_Rebuild, там больше ничего нет.
> > Прилагаю этот diff, смотрите сами.
> 
> да, у этих 32-х пакетов не было моих костылей. Вы смотрели _все_?
> А мне предлагаете потратить неделю на ручной поиск?

Это не в первый, не во второй, и не в третий раз уже.
Неужели так сложно написать скрипт?

> Вместо этого я сгенерировал первую партию,
> самую безопасную, где версия не менялась и не менялись пакеты
> со сторны Федоры. Играли роль только мои изменения.
> сделал на ее основе форк Сизифа и пересобрал с ней
> все java пакеты Сизифа.
> Часть пакетов СЛОМАЛАСЬ!
> Бинарным поиском, разбивая обновление на части,
> вычленил и вернул 2 моих существенных костыля на место.
> Остальные свои костыли списал как устаревшие.
> 
> На это у меня ушло два дня напряженной работы.
> При чем когда я (понемногу! чтобы не перегрузить
> нашу сборочницу!)
> начал заливать пакеты, залитые я удалял.
> Я не ожидал, что проблемы со сборочницей 
> дошли до такой остроты, что администратор
> начнет УДАЛЯТЬ! лишние, по его мнению,
> пакеты.
> Теперь все заново начинать :(

Это не проблемы со сборочницей, это организационная проблема.
Я из раза в раз прошу вас не отправлять в Сизиф мусор, а вы меня не слышите.
Ну что я могу ещё поделать?

(In reply to comment #23)
> (In reply to comment #19)
> > "Я сделал diff всех тех пакетов, которые сейчас висят в очереди от qa_viy.
> 
> "висят". Много суток. Почти неделю. Т.е. есть все-таки проблемы со
> сборочницей?

Точнее в феврале висели, висели, висели, и потом кто-то их удалил.
Если в сборочнице пакеты висят неделями,
дошло до ругани, ручной росстановки приоритетов и даже удаления пакетов,
то нужно признать, проблемы со сборочницей есть.

И эти проблемы имеют техническое решение - более производительная
сборочница, и те пакеты и пол часа бы не провисели.

(In reply to comment #1)
> Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, 
> а против полного обновления java выступил Дмитрий (ldv@).
> Пусть уже спокойно отбранчуется.

(In reply to comment #25)
> Еще раз прошу обновить tomcat.

Если для обновления tomcat необходимо сделать такое полное обновление java, о котором пишет Игорь, то я против.

(In reply to comment #25)
> Еще раз прошу обновить tomcat.

Я попробую подготовить обновление, и потом проверю обновление пересборкой других
пакетов. Это займет время. По итогу можно будет думать.

(In reply to comment #28)
> (In reply to comment #1)
> > Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, 
> > а против полного обновления java выступил Дмитрий (ldv@).
> > Пусть уже спокойно отбранчуется.
> 
> (In reply to comment #25)
> > Еще раз прошу обновить tomcat.
> 
> Если для обновления tomcat необходимо сделать такое полное обновление java, о
> котором пишет Игорь, то я против.

я еще не знаю о необходимости полного обновления,
это покажет тестовая пересборка.
там обновление не мажорное, а минорное, шанс,
что ничего не сломается есть.

(In reply to comment #27)
> (In reply to comment #23)
> > (In reply to comment #19)
> > > "Я сделал diff всех тех пакетов, которые сейчас висят в очереди от qa_viy.
> > 
> > "висят". Много суток. Почти неделю. Т.е. есть все-таки проблемы со
> > сборочницей?
> 
> Точнее в феврале висели, висели, висели, и потом кто-то их удалил.

Повторяю, я их заблокировал вручную, потому что они не нужны.

> Если в сборочнице пакеты висят неделями,
> дошло до ругани, ручной росстановки приоритетов и даже удаления пакетов,
> то нужно признать, проблемы со сборочницей есть.
> 
> И эти проблемы имеют техническое решение - более производительная
> сборочница, и те пакеты и пол часа бы не провисели.

У нас фундаментальные разногласия по поводу того, чем должна заниматься сборочница.
Вы считаете, что сборочница должна быть более производительной для того, чтобы справляться с потоком мусора, который генерят скрипты.
Я считаю, что надо минимизировать поток мусора, а сборочница должна быть более производительной для того, чтобы выявлять больше ошибок.

(In reply to comment #28)
> (In reply to comment #1)
> > Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, 
> > а против полного обновления java выступил Дмитрий (ldv@).
> > Пусть уже спокойно отбранчуется.
> 
> (In reply to comment #25)
> > Еще раз прошу обновить tomcat.
> 
> Если для обновления tomcat необходимо сделать такое полное обновление java, о
> котором пишет Игорь, то я против.

Я уже написал, что в Debian sid при openjdk 8 свежий tomcat.
Игорь, почему у нас с этим могут быть проблемы? Что у нас иначе?

(In reply to comment #26)
> В данном случае я их заподозрил, проверил, и заблокировал вручную.
> По принципиальным соображениям.  Иначе бы они собрались.

Ужас. а как же пересборки в случае
ldv@: 
"я считаю очевидным, что если свежесобранный пакет входит в
 сборочную среду других пакетов, то все они должны быть незамедлительно
 пересобраны и перепроверены."

Или что позволено Юпитеру, не позволено быку?
 
> > А слабо пробежать глазами 842 diff'а?
> Я не считаю целесообразным тратить своё время на вычитку изменений за вашим
> скриптом.

а МОЕ время вы считаете целесообразным тратить :(

Так бы я спихнул эту задачу на сборочницу.
Это нормально -- для того и железо придумано.
 
> Это не проблемы со сборочницей, это организационная проблема.
> Я из раза в раз прошу вас не отправлять в Сизиф мусор, а вы меня не слышите.

Я просил не лепить ярлык мусор.

Но в чем проблема? Не в том ли, что сборочница не справляется с нагрузкой?

(In reply to comment #32)
> (In reply to comment #28)
> > (In reply to comment #1)
> > > Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, 
> > > а против полного обновления java выступил Дмитрий (ldv@).
> > > Пусть уже спокойно отбранчуется.
> > 
> > (In reply to comment #25)
> > > Еще раз прошу обновить tomcat.
> > 
> > Если для обновления tomcat необходимо сделать такое полное обновление java, о
> > котором пишет Игорь, то я против.
> 
> Я уже написал, что в Debian sid при openjdk 8 свежий tomcat.
> Игорь, почему у нас с этим могут быть проблемы? Что у нас иначе?

Я сейчас еще не знаю ответ на этот вопрос.
Надо подоготовить обновление, протестировать его пересборкой
других пакетов с ним и будет ясно.

В Debian больше людей, они могут быстрее починить, если что в процессе
сломается.

(In reply to comment #31)
> У нас фундаментальные разногласия по поводу того, чем должна заниматься
> сборочница.
> Вы считаете, что сборочница должна быть более производительной для того, чтобы
> справляться с потоком мусора, который генерят скрипты.
> Я считаю, что надо минимизировать поток мусора, а сборочница должна быть более
> производительной для того, чтобы выявлять больше ошибок.

А в чем здесь разногласия? Надо улучшать и то, и другое.
Чем эти задачи мешают друг другу?
Наоброт, нужно вместе работать, а не ругаться.

(В ответ на комментарий №34)
> (In reply to comment #32)
> > (In reply to comment #28)
> > > (In reply to comment #1)
> > > > Точечное обновление tomcat часто сопровождается поломкой сборки других пакетов, 
> > > > а против полного обновления java выступил Дмитрий (ldv@).
> > > > Пусть уже спокойно отбранчуется.
> > > 
> > > (In reply to comment #25)
> > > > Еще раз прошу обновить tomcat.
> > > 
> > > Если для обновления tomcat необходимо сделать такое полное обновление java, о
> > > котором пишет Игорь, то я против.
> > 
> > Я уже написал, что в Debian sid при openjdk 8 свежий tomcat.
> > Игорь, почему у нас с этим могут быть проблемы? Что у нас иначе?
> 
> Я сейчас еще не знаю ответ на этот вопрос.
> Надо подоготовить обновление, протестировать его пересборкой
> других пакетов с ним и будет ясно.
> 
> В Debian больше людей, они могут быстрее починить, если что в процессе
> сломается.

Можно посмотреть их changelog.
Кроме того, Debian sid сейчас несколько отстаёт от Сизифа по свежести основных пакетов.

(In reply to comment #36)
> Можно посмотреть их changelog.
> Кроме того, Debian sid сейчас несколько отстаёт от Сизифа по свежести основных
> пакетов.

Лучше не спешить, все таки бранчевание. Я хотел бы потратить дополнительное 
время на пересборки до отправки в Сизиф, чтобы убедиться, что ничего не сломаю.

(In reply to comment #37)
> Лучше не спешить, все таки бранчевание. Я хотел бы потратить дополнительное 
> время на пересборки до отправки в Сизиф, чтобы убедиться, что ничего не сломаю.

точечным обновлением tomcat, конечно.

(In reply to comment #37)
> (In reply to comment #36)
> > Можно посмотреть их changelog.
> > Кроме того, Debian sid сейчас несколько отстаёт от Сизифа по свежести основных
> > пакетов.
> 
> Лучше не спешить, все таки бранчевание. Я хотел бы потратить дополнительное 
> время на пересборки до отправки в Сизиф, чтобы убедиться, что ничего не сломаю.

Вот именно потому, что бранчеввание, то сразу после него пойдет подготовка решений, а именно tomcat из java -- одно из наиболее востребованных, если не самое восребованное.

(In reply to comment #39)
> Вот именно потому, что бранчеввание, то сразу после него пойдет подготовка
> решений, а именно tomcat из java -- одно из наиболее востребованных, если не
> самое восребованное.

Да, я готовлю обновление.

(В ответ на комментарий №40)
> (In reply to comment #39)
> > Вот именно потому, что бранчеввание, то сразу после него пойдет подготовка
> > решений, а именно tomcat из java -- одно из наиболее востребованных, если не
> > самое восребованное.
> 
> Да, я готовлю обновление.
Ok, ждём.

(In reply to comment #41)

Обновление уже есть, а результ - сломает ли оно чего или нет, узнаем не ранее, чем завтра.

(В ответ на комментарий №39)
> Вот именно потому, что бранчеввание, то сразу после него пойдет подготовка
> решений, а именно tomcat из java -- одно из наиболее востребованных, если не
> самое восребованное.

Не самое. ELK тоже важен, а он у нас ещё и не собран.

На самом деле попытка следовать за Java в Fedora - не самая удачная идея. Не факт что в федоре Java собран лучше и консистентнее.

Тут нужен свой путь, как с perl'ом.

(В ответ на комментарий №32)
> 
> Я уже написал, что в Debian sid при openjdk 8 свежий tomcat.
> Игорь, почему у нас с этим могут быть проблемы? Что у нас иначе?

В Debian sid есть JDK-8, но дефолт у них - JDK-11.

https://packages.debian.org/ru/sid/default-jdk

(In reply to comment #42)
> Обновление уже есть, а результ - сломает ли оно чего или нет, узнаем не ранее,
> чем завтра.

Тестовая пересборка прошла успешно, отправил в Сизиф.
[#225655] DONE srpm=tomcat-9.0.13-alt1_2jpp8.src.rpm

Игорь, спасибо!