The fftw3 library is licensed under the GPL-2.0-or-later. https://www.gnu.org/licenses/gpl-faq.html#IfLibraryIsGPL
А откуда информация о несовместимости лицензий ? Я вижу что RH и Debian включают fftw.
лицензии ImageMagick и fftw3 совместимы, т.к. лицензия ImageMagick совместима с GPLv3 а fftw3 распраняется под лицензией GPLv2 и старше (т.е. можно применять GPLv3).
Соответственно нужно проверить все репорты, сделанные по этому поводу на предмет совместимости лицензий.