Bug 38914 - Через несколько дней после запуска заметно замедляется работа
Summary: Через несколько дней после запуска заметно замедляется работа
Status: RESOLVED WORKSFORME
Alias: None
Product: Branch p9
Classification: Distributions
Component: pve-qemu-system (show other bugs)
Version: не указана
Hardware: x86_64 Linux
: P5 normal
Assignee: qa-team@altlinux.org
QA Contact: qa-p9@altlinux.org
URL:
Keywords:
Depends on:
Blocks:
 
Reported: 2020-09-10 10:50 MSK by Vitaly Lipatov
Modified: 2024-04-12 10:29 MSK (History)
5 users (show)

See Also:

Attachments
Add an attachment (proposed patch, testcase, etc.)

Note You need to log in before you can comment on or make changes to this bug.
Description Vitaly Lipatov 2020-09-10 10:50:30 MSK 
После перезагрузки хоста всё работает быстро, но со временем виртуалки начинают тормозить всё больше и больше, причём похоже на что дисковом IO, причём не по скорости чтения/записи, а по random access.

Через неделю ситуация такая, что в top на хосте каждая система (не загруженная внутри) занимает по 100 и более процентов CPU:

   4479 root      20   0   25,6g  24,7g   5580 R 201,4  39,4  31420:31 qemu-system-x86                                                                                                                                                                         
 683110 root      20   0   20,9g  11,8g   7196 R 128,4  18,8  10047:51 qemu-system-x86                                                                                                                                                                         
 683338 root      20   0   16,7g   4,4g   6964 S  73,0   7,0   9537:26 qemu-system-x86                                                                                                                                                                         
   4935 root      20   0 9070676   3,7g   3676 R 101,4   6,0  32253:57 qemu-system-x86                                                                                                                                                                         
   4552 root      20   0   17,2g   2,7g   5468 R 191,9   4,2  17771:18 qemu-system-x86                                                                                                                                                                         
   4405 root      20   0 3015504   2,3g   5248 S  89,2   3,6  17129:37 qemu-system-x86 

Давайте что-нибудь придумаем, работать невозможно, перезагружать сервер каждое утро тоже.
Comment 1 Valery Inozemtsev 2020-09-22 16:09:34 MSK 
диски на хосте или какой то СХД по FC/iscsi?
Comment 2 Vitaly Lipatov 2020-09-22 23:22:29 MSK 
(Ответ для Valery Inozemtsev на комментарий #1)
> диски на хосте или какой то СХД по FC/iscsi?
Диски на хосте, и я обнаружил проблему с одним из них, который я использую под /tmp.
Никакого iowait по дискам на хосте не видно, внутри виртуалок нагрузки нет (то есть и дискового обмена по идее), ну там просто ничего не запущено можно сказать. При этом на хосте ситуация как в top, каждая виртуалка ест около 100% процессора. Я предполагаю, что раз это учитывается, значит эти ресурсы действительно тратятся.

Проблема очень актуальная для всех задач, которыми я занимаюсь, потому что на этой машине основные работы по сборке пакетов происходят...
Comment 3 Alexey Shabalin 2020-09-23 00:57:38 MSK 
А какой тип хранилища используется? fs(qcow2 образа виртуалок), lvm(блочный доступ), или zfs?
Какой тип кэширования в свойствах диска виртуалки?
Включен ли discard в свойствах диска виртуалки?
Можно просто приложить конфиг виртуалки из /etc/pve.
Comment 4 Vitaly Lipatov 2024-04-12 10:29:02 MSK 
(Ответ для Alexey Shabalin на комментарий #3)
> А какой тип хранилища используется? fs(qcow2 образа виртуалок), lvm(блочный
> доступ), или zfs?
> Какой тип кэширования в свойствах диска виртуалки?
> Включен ли discard в свойствах диска виртуалки?
> Можно просто приложить конфиг виртуалки из /etc/pve.

К сожалению, в какой-то момент воспроизводимость проблемы пропало. Видимо, не актуально.