Приведем подобные члены многочлена:$$2ab + b^2 - 3b^4 - 5ab + b^4 = (2ab - 5ab) + b^2 + (-3b^4 + b^4) = -3ab + b^2 - 2b^4$$
Ответ: $$-3ab + b^2 - 2b^4$$