5. Разложите на множители: a) a²-b² - 2bc-c²; б) b²(a+1)-a²(b + 1).

Решение:

а) \( a^2 - b^2 - 2bc - c^2 \)

1. Сгруппируем члены:

\[ a^2 - (b^2 + 2bc + c^2) \]

2. Свернём выражение в скобках по формуле квадрата суммы:

\[ a^2 - (b+c)^2 \]

3. Применим формулу разности квадратов: \( (x-y)(x+y) \)

\[ (a - (b+c))(a + (b+c)) \]

\[ (a - b - c)(a + b + c) \]

б) \( b^2(a+1) - a^2(b + 1) \)

1. Раскроем скобки:

\[ ab^2 + b^2 - a^2b - a^2 \]

2. Сгруппируем члены:

\[ (ab^2 - a^2b) + (b^2 - a^2) \]

3. Вынесем общие множители из каждой группы:

\[ ab(b - a) + (b - a)(b + a) \]

4. Вынесем общий множитель \( (b-a) \):

\[ (b - a)(ab + b + a) \]

Ответ: а) \( (a - b - c)(a + b + c) \); б) \( (b - a)(ab + a + b) \).