ALT Linux Bugzilla – Full Text Bug Listing
| Summary: | Не справляется с поиском некоторых пакетов | ||
|---|---|---|---|
| Product: | Sisyphus | Reporter: | Anton Zhukharev <ancieg> |
| Component: | python3-module-pypi-search | Assignee: | Andrey Cherepanov <cas> |
| Status: | NEW --- | QA Contact: | qa-sisyphus |
| Severity: | normal | ||
| Priority: | P5 | CC: | cas |
| Version: | unstable | ||
| Hardware: | all | ||
| OS: | Linux | ||
Немного изучил исходный код и вот что выяснил:
- модуль опирается на парсинг исходного кода страниц пакетов на pypi.org
- ошибка стала возникать после изменения исходного кода страниц на pypi.org
(добавлен JavaScript)
- в исходном коде страницы при отключенном JavaScript необходимых значений
уже нет
- скорее всего необходимо будет переписать большую часть кода модуля и
использовать не BeautifulSoup4, а, допустим, Selenium
(Ответ для Anton Zhukharev на комментарий #1) > Немного изучил исходный код и вот что выяснил: > > - модуль опирается на парсинг исходного кода страниц пакетов на pypi.org > > - ошибка стала возникать после изменения исходного кода страниц на pypi.org > (добавлен JavaScript) > > - в исходном коде страницы при отключенном JavaScript необходимых значений > уже нет > > - скорее всего необходимо будет переписать большую часть кода модуля и > использовать не BeautifulSoup4, а, допустим, Selenium Скорее, не его надо править, а https://github.com/openSUSE/py2pack/blob/master/py2pack/__init__.py#L83 (Ответ для Andrey Cherepanov на комментарий #2) > Скорее, не его надо править, а > https://github.com/openSUSE/py2pack/blob/master/py2pack/__init__.py#L83 Его тоже необходимо править, поскольку он использует pypi-search. Тем не менее, если установить просто python3-module-pypi-search и использовать скрипт pypisearch из него, то эта ошибка воспроизводится. Здесь забыл описать то, что ошибка воспроизводится только если в результате поиска находится 1 пакет - тогда модуль пытается получить из pypi.org ссылку на репозиторий на github.com и по этой ссылке запросить более подробную информацию о пакете. (Ответ для Anton Zhukharev на комментарий #3) > (Ответ для Andrey Cherepanov на комментарий #2) > > Скорее, не его надо править, а > > https://github.com/openSUSE/py2pack/blob/master/py2pack/__init__.py#L83 > Его тоже необходимо править, поскольку он использует pypi-search. Если pypi-search не реанимировать* |
Пакет: python3-module-pypi-search-1.2.1-alt1 Не справляется с поиском некоторых пакетов, например django: -------------------------------------------------------------------------------- $ pypisearch django [INFO] :: Searching for package `django`... Traceback (most recent call last): File "/usr/bin/pypisearch", line 33, in <module> sys.exit(load_entry_point('pypi-search==1.2.1', 'console_scripts', 'pypisearch')()) File "/usr/lib/python3/site-packages/pypi_search/main.py", line 37, in main github_stats = pypi.get_github_stats() File "/usr/lib/python3/site-packages/pypi_search/utils.py", line 69, in get_github_stats github_data_url = github_stats['data-url'] File "/usr/lib/python3/site-packages/bs4/element.py", line 1406, in __getitem__ return self.attrs[key] KeyError: 'data-url' -------------------------------------------------------------------------------- Ошибка также есть в P10 (версия та же: 1.2.1-alt1). Также ошибка воспроизводится при установке в чистое виртуальное окружение. Можно сделать вывод, что проблема в апстриме.