Приведем дроби к общему знаменателю, который равен 36b:
$$\frac{(a-b)^2}{18b} - \frac{(a^2-b^2)}{12b} = \frac{2(a-b)^2}{36b} - \frac{3(a^2-b^2)}{36b} = \frac{2(a^2 - 2ab + b^2) - 3(a^2 - b^2)}{36b} = \frac{2a^2 - 4ab + 2b^2 - 3a^2 + 3b^2}{36b} = \frac{-a^2 - 4ab + 5b^2}{36b}$$Ответ: $$\frac{-a^2 - 4ab + 5b^2}{36b}$$