По мотивам текущего обсуждения в devel@ предлагаю по возможности перевести пакет на параллельную сборку -- сейчас он собирается ~20 мин на x86 и ~2 ч на e2k
(максимум в один поток и там, и там).

Пишут, что numpy умеет параллельно собираться с 1.10.0:

---
From NumPy 1.10.0 on it’s also possible to do a parallel build with:

python setup.py build -j 4 install --prefix $HOME/.local

This will compile numpy on 4 CPUs and install it into the specified prefix. to perform a parallel in-place build, run:

python setup.py build_ext --inplace -j 4

The number of build jobs can also be specified via the environment variable NPY_NUM_BUILD_JOBS.
--- https://docs.scipy.org/doc/numpy-1.15.0/user/building.html#parallel-builds

Проверил -- помогает добавить после %add_optflags такое:

export NPY_NUM_BUILD_JOBS=%__nprocs

(пакет начинает собираться примерно вдвое быстрее в целом)