Bug 54416 - Новая версия сломала DPC++
Summary: Новая версия сломала DPC++
Status: REOPENED
Alias: None
Product: Sisyphus
Classification: Development
Component: openimagedenoise (show other bugs)
Version: unstable
Hardware: all Linux
: P5 major
Assignee: Konstantin A Lepikhov (L.A. Kostis)
QA Contact: qa-sisyphus
URL:
Keywords:
Depends on: 56361
Blocks:
  Show dependency tree
 
Reported: 2025-05-22 16:25 MSK by Konstantin A Lepikhov (L.A. Kostis)
Modified: 2025-10-15 13:57 MSK (History)
3 users (show)

See Also:


Attachments

Note You need to log in before you can comment on or make changes to this bug.
Description Konstantin A Lepikhov (L.A. Kostis) 2025-05-22 16:25:01 MSK
Привет! 

Новая версия из таска #384700 сломала dpcpp и потенциально все, что от него зависит:

https://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/error/openimagedenoise-2.3.3-alt1

Более, того, пересборка пакетов в таске была организована неправильно, т.к. dpcpp собирался в конце и проблема была незамечена. Сейчас dpcpp похоже сломан и это блокирует сборку всех sycl зависимых пакетов.
Comment 1 Konstantin A Lepikhov (L.A. Kostis) 2025-05-22 22:18:41 MSK
Точная команда, где воспроизводится проблема:
 "/usr/lib/llvm-dpcpp/bin/sycl-post-link" -O2 -device-globals -properties -spec-const=emulation -split=auto -emit-only-kernels-as-entry-points -emit-param-info -symbols -emit-exported-symbols -emit-imported-symbols -split-esimd -lower-esimd -o /usr/src/tmp/sycl_conv_xelp-5e5f46.table /usr/src/tmp/sycl_conv_xelp-94c296.bc
 "/usr/lib/llvm-dpcpp/bin/file-table-tform" -extract=Code -drop_titles -o /usr/src/tmp/sycl_conv_xelp-7cf91b.txt /usr/src/tmp/sycl_conv_xelp-5e5f46.table
 "/usr/lib/llvm-dpcpp/bin/llvm-foreach" --in-file-list=/usr/src/tmp/sycl_conv_xelp-7cf91b.txt --in-replace=/usr/src/tmp/sycl_conv_xelp-7cf91b.txt --out-ext=spv --out-file-list=/usr/src/tmp/sycl_conv_xelp-6da07c.txt --out-replace=/usr/src/tmp/sycl_conv_xelp-6da07c.txt -- /usr/lib/llvm-dpcpp/bin/llvm-spirv -o /usr/src/tmp/sycl_conv_xelp-6da07c.txt -spirv-max-version=1.5 -spirv-debug-info-version=nonsemantic-shader-200 -spirv-allow-unknown-intrinsics=llvm.genx. -spirv-ext=-all,+SPV_EXT_shader_atomic_float_add,+SPV_EXT_shader_atomic_float_min_max,+SPV_KHR_no_integer_wrap_decoration,+SPV_KHR_float_controls,+SPV_KHR_expect_assume,+SPV_KHR_linkonce_odr,+SPV_INTEL_subgroups,+SPV_INTEL_media_block_io,+SPV_INTEL_device_side_avc_motion_estimation,+SPV_INTEL_fpga_loop_controls,+SPV_INTEL_unstructured_loop_controls,+SPV_INTEL_fpga_reg,+SPV_INTEL_blocking_pipes,+SPV_INTEL_function_pointers,+SPV_INTEL_kernel_attributes,+SPV_INTEL_io_pipes,+SPV_INTEL_inline_assembly,+SPV_INTEL_arbitrary_precision_integers,+SPV_INTEL_float_controls2,+SPV_INTEL_vector_compute,+SPV_INTEL_fast_composite,+SPV_INTEL_arbitrary_precision_fixed_point,+SPV_INTEL_arbitrary_precision_floating_point,+SPV_INTEL_variable_length_array,+SPV_INTEL_fp_fast_math_mode,+SPV_INTEL_long_composites,+SPV_INTEL_arithmetic_fence,+SPV_INTEL_global_variable_decorations,+SPV_INTEL_cache_controls,+SPV_INTEL_fpga_buffer_location,+SPV_INTEL_fpga_argument_interfaces,+SPV_INTEL_fpga_invocation_pipelining_attributes,+SPV_INTEL_fpga_latency_control,+SPV_KHR_shader_clock,+SPV_INTEL_bindless_images,+SPV_INTEL_task_sequence,+SPV_INTEL_bfloat16_conversion,+SPV_INTEL_joint_matrix,+SPV_INTEL_hw_thread_queries,+SPV_KHR_uniform_group_instructions,+SPV_INTEL_masked_gather_scatter,+SPV_INTEL_tensor_float32_conversion,+SPV_INTEL_optnone,+SPV_KHR_non_semantic_info,+SPV_KHR_cooperative_matrix,+SPV_EXT_shader_atomic_float16_add,+SPV_INTEL_fp_max_error /usr/src/tmp/sycl_conv_xelp-7cf91b.txt
 "/usr/lib/llvm-dpcpp/bin/llvm-foreach" --out-ext=out --in-file-list=/usr/src/tmp/sycl_conv_xelp-6da07c.txt --in-replace=/usr/src/tmp/sycl_conv_xelp-6da07c.txt --out-file-list=/usr/src/tmp/sycl_conv_xelp-34cc5e.out --out-replace=/usr/src/tmp/sycl_conv_xelp-34cc5e.out -- /usr/bin/ocloc -output /usr/src/tmp/sycl_conv_xelp-34cc5e.out -file /usr/src/tmp/sycl_conv_xelp-6da07c.txt -output_no_suffix -spirv_input -options -g -device tgllp,rkl,adl-s,adl-p,adl-n,dg1,mtl-u,mtl-h,pvc-vg --format zebin
Compilation from IR - skipping loading of FCL
Build succeeded for : tgllp.
Compilation from IR - skipping loading of FCL
Build succeeded for : rkl.
Compilation from IR - skipping loading of FCL
Build succeeded for : adl-s.
Compilation from IR - skipping loading of FCL
Build succeeded for : adl-p.
Compilation from IR - skipping loading of FCL
Build succeeded for : adl-n.
Compilation from IR - skipping loading of FCL
Build succeeded for : dg1.
Compilation from IR - skipping loading of FCL
Build succeeded for : mtl-u.
Compilation from IR - skipping loading of FCL
Build succeeded for : mtl-h.
Compilation from IR - skipping loading of FCL
Build succeeded for : pvc-vg.
terminate called after throwing an instance of 'std::future_error'
  what():  std::future_error: Future already retrieved
llvm-foreach: Aborted
clang++: error: gen compiler command failed with exit code 254 (use -v to see invocation)
ALT Linux Team clang version 21.0.0dpcpp
Target: x86_64-unknown-linux-gnu
Thread model: posix
InstalledDir: /usr/lib/llvm-dpcpp/bin
Build config: +assertions
clang++: note: diagnostic msg: Error generating preprocessed source(s).

т.е. процесс /usr/bin/ocloc генерит ошибку
Comment 2 Andrey Kovalev 2025-05-27 15:16:33 MSK
У меня не получается воспроизвести проблему, что локально, что пересобирая пакет на сборочнице, точнее в пятницу (23.05) у меня пакет то собирался, то не собирался. 26.05 у меня постоянно собирался пакет и сегодня (27.05) он тоже у меня собирается. И также FTBFS тоже то происходит у openimagedenoise, то пропадает. У вас есть больше информации о проблеме?
Comment 3 Konstantin A Lepikhov (L.A. Kostis) 2025-05-28 21:59:51 MSK
(In reply to Andrey Kovalev from comment #2)
> У меня не получается воспроизвести проблему, что локально, что пересобирая
> пакет на сборочнице, точнее в пятницу (23.05) у меня пакет то собирался, то
> не собирался. 26.05 у меня постоянно собирался пакет и сегодня (27.05) он
> тоже у меня собирается. И также FTBFS тоже то происходит у openimagedenoise,
> то пропадает. У вас есть больше информации о проблеме?

У меня информации нет, если проблема не воспроизводится, нужно понять, что изменилось в сборочных зависимостях.
Comment 4 Konstantin A Lepikhov (L.A. Kostis) 2025-05-28 22:17:48 MSK
(In reply to Konstantin A Lepikhov (L.A. Kostis) from comment #3)
> (In reply to Andrey Kovalev from comment #2)
> > У меня не получается воспроизвести проблему, что локально, что пересобирая
> > пакет на сборочнице, точнее в пятницу (23.05) у меня пакет то собирался, то
> > не собирался. 26.05 у меня постоянно собирался пакет и сегодня (27.05) он
> > тоже у меня собирается. И также FTBFS тоже то происходит у openimagedenoise,
> > то пропадает. У вас есть больше информации о проблеме?
> 
> У меня информации нет, если проблема не воспроизводится, нужно понять, что
> изменилось в сборочных зависимостях.

Что известно по проблеме: 
- 14го мая я собрал новую версию llvm-spirv-14 https://packages.altlinux.org/en/tasks/383413/ все еще собиралось нормально (таск прокрутился 9 раз, ничего не упало).

- 21го вы собрали таск 384700, но там уже spirv-15, и непонятен результат сборки, т.к. если падал ocloc, то он уже был собран новым spirv-15 (таск также прокрутился несколько раз, ничего не упало).

- 22го мая мне пришел первый отчет что сборка упала - http://git.altlinux.org/beehive/logs/Sisyphus/x86_64/archive/2025/0522/error/openimagedenoise-2.3.3-alt1

- 27го мая тестовая пересборка опять упала - http://git.altlinux.org/beehive/logs/Sisyphus/x86_64/archive/2025/0527/error/openimagedenoise-2.3.3-alt1

т.е. нужно отследить, что именно поменялось в сборочных зависимостях, что все стало собираться сегодня.
Comment 5 Konstantin A Lepikhov (L.A. Kostis) 2025-06-04 01:50:05 MSK
http://git.altlinux.org/beehive/logs/Sisyphus/x86_64/archive/2025/0603/error/openimagedenoise-2.3.3-alt1 проблемы все еще продолжаются.
Comment 6 Andrey Kovalev 2025-06-10 14:39:44 MSK
У меня есть предположения по этому пакету, почему он может не собираться. Первое, я все же думаю, что проблема не в моем пакете, хотя странное совпадение, что после обновления моего пакета начала воспроизводится проблема. Ну и второе может быть решением уменьшить количество потоков для сборки до -j4, пытался у себя воспроизвезти проблему на -j4 воспроизвести не получилось, с -j8 воспроизвелась. Но честно, пока точно сказать, в чем проблема не могу, если есть еще идеи, то буду рад услышать
Comment 7 Konstantin A Lepikhov (L.A. Kostis) 2025-06-13 09:33:45 MSK
(In reply to Andrey Kovalev from comment #6)
> У меня есть предположения по этому пакету, почему он может не собираться.
> Первое, я все же думаю, что проблема не в моем пакете, хотя странное
> совпадение, что после обновления моего пакета начала воспроизводится
> проблема. Ну и второе может быть решением уменьшить количество потоков для
> сборки до -j4, пытался у себя воспроизвезти проблему на -j4 воспроизвести не
> получилось, с -j8 воспроизвелась. Но честно, пока точно сказать, в чем
> проблема не могу, если есть еще идеи, то буду рад услышать

так где потоки уменьшили? В oidn?
Comment 8 Repository Robot 2025-06-18 15:13:53 MSK
openimagedenoise-2.3.3-alt3 -> sisyphus:

 Wed Jun 18 2025 L.A. Kostis <lakostis@altlinux.ru> 2.3.3-alt3
 - oneapi: limit nprocs to 4 to fix intermittent build failures
   (closes #54416).
 Thu May 22 2025 L.A. Kostis <lakostis@altlinux.ru> 2.3.3-alt2
 - sycl: add more Xe2HPG devices (patch from blender).
 - sycl: fix deprecated warning.
Comment 9 Konstantin A Lepikhov (L.A. Kostis) 2025-06-21 00:57:04 MSK
https://git.altlinux.org/beehive/logs/Sisyphus/x86_64/archive/2025/0620/error/openimagedenoise-2.3.3-alt3 все равно падает, даже с 4мя потоками.
Comment 10 Konstantin A Lepikhov (L.A. Kostis) 2025-09-13 22:22:49 MSK
(In reply to Konstantin A Lepikhov (L.A. Kostis) from comment #9)
> https://git.altlinux.org/beehive/logs/Sisyphus/x86_64/archive/2025/0620/
> error/openimagedenoise-2.3.3-alt3 все равно падает, даже с 4мя потоками.

Поигрался с опциями сборки oidn, похоже clang-dpcpp/ocloc становится плохо при включении отладки (-g), если этот флаг не передавать, то сборка проходит без проблем (проверял и с максимальным и с минимальным количеством потоков). Теперь вопрос, что с этим делать? Отключать отладку глобально как-то не хочется, хотя в ней нет особого смысла при генерации биткода (это применительно и для CUDA/HIP).