Для выполнения умножения многочленов, нужно каждый член первого многочлена умножить на каждый член второго многочлена.
5) в) $$(a+b-1)(b+a) = a \cdot b + b \cdot b + (-1) \cdot b + a \cdot a + b \cdot a + (-1) \cdot a = ab + b^2 - b + a^2 + ab - a = a^2 + b^2 + 2ab - a - b$$
Ответ: $$a^2 + b^2 + 2ab - a - b$$