Bug 53400

Summary: [FR] Реализация проверок, доступных для выбора при определении плана тестирования
Product: Sisyphus Reporter: Ivan Alekseev <qwetwe>
Component: pc-testAssignee: Leonid Krivoshein <klark>
Status: REOPENED --- QA Contact: qa-sisyphus
Severity: normal    
Priority: P5 CC: klark, rider
Version: unstable   
Hardware: x86_64   
OS: Linux   

Description Ivan Alekseev 2025-03-11 16:20:11 MSK 
- Стенд:
Ноутбук Lenovo Thinkpad T15 с системами установленными из следующих образов с обновлением до Sisyphus:
* alt-workstation-11.0beta2-x86_64.iso (от 20250213)
* kworkstation-install-11.0-beta20250221-x86_64.iso
* alt-server-11-beta1-x86_64.iso (от 20250213)

- Версия пакета:
pc-test-2.1.4-alt2

- Шаги для воспроизведения:
1) Запустить тестирование:
$ pc-test
2) Выполнить запрашиваемые действия до момента, когда откроется меню определения плана тестирования.
3) Выбрать следующие проверки и продолжить тестирование:
* 10.4. Проверка звуковой подсистемы
* 10.10.3. Проверка встроенной камеры (при наличии)
* 10.6.2. Управление питанием из консоли
* 10.10.7. Проверка работы сканера отпечатка пальца (при наличии)
* 10.10.10. Проверка Bluetooth (при наличии)
* 10.10.12. Проверка разъёма для смарт-карт (при наличии)

- Фактический результат:
Перечисленные проверки не выполняются.

- Ожидаемый результат: 
Проверки выполняются или же изначально недоступны для выбора при определении плана тестирования..

===

Ошибка также воспроизводится в p11 с версией pc-test-2.1.4-alt2.
Comment 1 Leonid Krivoshein 2025-03-12 00:26:21 MSK 
Можно это рассматривать как фичреквест для будущих версий. Первоначально галки в плане тестирования нужны были для того, чтобы подтянуть весь необходимый софт для тестирования, так как изначально это был просто скрипт для снятия логов и обновления системы. Но потом подумалось, что даже ручные тесты можно будет отчасти автоматизировать, да хотя бы выводить в HTML нужную часть методики и спрашивать результат по ходу -- задел для этого уже сделан. К сожалению, до сих пор требуют существенной доработки тесты по разделам 9 и 10.1. Да и вообще хорошо бы этот pc-test передать целиком отделу тестирования для актуализации и доработки. Ну, хотя бы патчи присылайте, что ли. :-)
Comment 2 Anton Farygin 2025-03-12 08:54:02 MSK 
если FR, то не NOTABUG
Comment 3 Ivan Alekseev 2025-03-14 15:05:08 MSK 
Пользователь запустил программу, открылось окно плана тестирования. Думает - хочу протестировать разъем для смарт-карт, раз предлагают. Выбирает, запускает, в итоге ничего не протестировано. Я считаю, что это ошибка.

Нельзя ли просто заблокировать возможность выбора проверок, функционал которых еще не реализован?
Comment 4 Leonid Krivoshein 2025-03-14 20:13:30 MSK 
Программа делалась для тестировщиков. План тестирования по методике -- что вы планируете проверить, а не программа, в ней изначально автоматизировались лишь самые командоёмкие операции. Пользуясь тем, что на шаге установки ПО под root'ом можно сразу поставить всё необходимое, так было задумано:

1. Проверить, что есть из железа, может сразу включить какие-то галки.
2. Спросить, что вы хотите проверить, что включить или выключить.
3. Установить всё необходимое до начала основного тестирования.

То есть, это не ошибка, поскольку описано даже в документации.

Другое дело, что "аппетит приходит во время еды". Уже появились тесты по разделам 9 и 10.1, аналогичная программа "конкурентов" покрывает всё тестирование и формирует сама отчёт. Правда, из неё всё ручное тестирование периферии вынесено в отдельную методику.

Не спорю с тем, что надо (хорошо бы), тем более, что движения в эту сторону начались. Вопрос приоритетов и времени...
Comment 5 Ivan Alekseev 2025-03-15 13:35:31 MSK 
(Ответ для Leonid Krivoshein на комментарий #4)
> План тестирования по методике -- что вы планируете проверить

В целом, я согласен, вы правы.
При тестировании компьютера, у которого есть ридер смарт-карт, данная проверка планируется (по методике), но не факт, что будет выполняться с помощью pc-test.

В таком случае FR.