Сгруппируем слагаемые:
$$(x^3 - 5x^2) + (y^3 - 5y^2) + 5xy$$
Вынесем общие множители:
$$x^2(x - 5) + y^2(y - 5) + 5xy$$
Данное выражение не раскладывается на множители в таком виде. Возможно, в условии опечатка.