Прежде чем упростить выражение, необходимо раскрыть скобки, умножив -а на каждый член в скобках:
$$5a^3b^2 - a(5a^2b^2 - 6b) = 5a^3b^2 - 5a^3b^2 + 6ab$$
Теперь приведем подобные слагаемые:
$$5a^3b^2 - 5a^3b^2 + 6ab = (5-5)a^3b^2 + 6ab = 0a^3b^2 + 6ab = 6ab$$
Ответ: 6ab