Сначала сгруппируем подобные члены:
$$4b^2 - 11b^2 + a^2 + 6ab - 6ab$$
Теперь сложим коэффициенты при $$b^2$$:
$$(4 - 11)b^2 = -7b^2$$
Сложим коэффициенты при $$ab$$:
$$(6 - 6)ab = 0$$
В итоге получаем:
$$-7b^2 + a^2$$