Патч можно убрать, т.к. при сборке можно передать qmake-у этот параметр, это же видно из самого файла, который правится патчем. Только-что проверил, вот такая конструкция в спеке: qmake-qt4 "QMAKE_CFLAGS+=%optflags" "QMAKE_CXXFLAGS+=%optflags" PREFIX=%prefix myagent.pro прекрасно собралась, корректно упаковалось в пакет в нужном каталоге.
Поправил SPEC-файл. Патч совсем не выкинул, а сделал новый, т.к. там ещё desktop-файл правится (теперь только он патчем и правится).