Для выполнения умножения многочленов, нужно каждый член первого многочлена умножить на каждый член второго многочлена.
5) а) $$(x+3)(x^2-x-1) = x \cdot x^2 + 3 \cdot x^2 + x \cdot (-x) + 3 \cdot (-x) + x \cdot (-1) + 3 \cdot (-1) = x^3 + 3x^2 - x^2 - 3x - x - 3 = x^3 + 2x^2 - 4x - 3$$
Ответ: $$x^3 + 2x^2 - 4x - 3$$