Так как \( \frac{\pi}{2} < \alpha < \pi \) (второй квадрант), \( \cos \alpha < 0 \).
\( \cos \alpha = -\sqrt{1 - \sin^2 \alpha} = -\sqrt{1 - (\frac{9}{13})^2} = -\sqrt{1 - \frac{81}{169}} = -\sqrt{\frac{88}{169}} = -\frac{\sqrt{88}}{13} = -\frac{2\sqrt{22}}{13} \).
\( \sin 2\alpha = 2 \sin \alpha \cos \alpha = 2 \cdot \frac{9}{13} \cdot (-\frac{2\sqrt{22}}{13}) = -\frac{36\sqrt{22}}{169} \).
\( \frac{\sin \alpha \sin \beta - \cos (\alpha - \beta)}{\operatorname{ctg} \alpha} = \frac{\sin \alpha \sin \beta - (\cos \alpha \cos \beta - \sin \alpha \sin \beta)}{\frac{\cos \alpha}{\sin \alpha}} = \frac{2 \sin \alpha \sin \beta - \cos \alpha \cos \beta}{\frac{\cos \alpha}{\sin \alpha}} \)
\( = (2 \sin \alpha \sin \beta - \cos \alpha \cos \beta) \frac{\sin \alpha}{\cos \alpha} = 2 \sin^2 \alpha \sin \beta - \sin \alpha \cos \beta \)
В задании, вероятно, опечатка. Если выражение в числителе \( \cos(\alpha - \beta) - \sin\alpha \sin\beta \), то:
\( \frac{\cos(\alpha - \beta) - \sin\alpha \sin\beta}{\operatorname{ctg} \alpha} = \frac{\cos\alpha\cos\beta - \sin\alpha\sin\beta - \sin\alpha\sin\beta}{\operatorname{ctg} \alpha} = \frac{\cos\alpha\cos\beta - 2\sin\alpha\sin\beta}{\operatorname{ctg} \alpha} \).
Если выражение в числителе \( \cos(\alpha + \beta) \):
\( \frac{\cos(\alpha + \beta)}{\operatorname{ctg} \alpha} = \frac{\cos\alpha\cos\beta - \sin\alpha\sin\beta}{\frac{\cos \alpha}{\sin \alpha}} = (\cos\alpha\cos\beta - \sin\alpha\sin\beta) \frac{\sin \alpha}{\cos \alpha} = \sin\alpha\cos\beta - \operatorname{tg}\alpha\sin\alpha\sin\beta \).
Примем, что в числителе \( \cos(\alpha + \beta) \) и в знаменателе \( \operatorname{tg} \alpha \).
\( \frac{\cos(\alpha + \beta)}{\operatorname{tg} \alpha} = \frac{\cos \alpha \cos \beta - \sin \alpha \sin \beta}{\frac{\sin \alpha}{\cos \alpha}} = \frac{\cos \alpha (\cos \alpha \cos \beta - \sin \alpha \sin \beta)}{\sin \alpha} = \operatorname{ctg} \alpha \cos \alpha \cos \beta - \sin \alpha \sin \beta \).
Исходное выражение упрощается до:
\( \frac{\sin \alpha \sin \beta - \cos (\alpha - \beta)}{\operatorname{ctg} \alpha} = \frac{\sin \alpha \sin \beta - (\cos \alpha \cos \beta - \sin \alpha \sin \beta)}{\frac{\cos \alpha}{\sin \alpha}} = \frac{2\sin\alpha\sin\beta - \cos\alpha\cos\beta}{\frac{\cos \alpha}{\sin \alpha}} \)
\( = (2\sin\alpha\sin\beta - \cos\alpha\cos\beta) \frac{\sin\alpha}{\cos\alpha} = 2\sin^2\alpha\sin\beta - \sin\alpha\cos\beta \).
Без верной формулировки задания точное упрощение невозможно.
Левая часть:
\( \frac{\sin^2 (\pi - \alpha) + \cos 2\alpha + \sin (\frac{\pi}{2} - \alpha)}{\sin 2\alpha + \cos (\frac{3\pi}{2} - \alpha)} = \frac{(\sin \alpha)^2 + (1 - 2\sin^2 \alpha) + \cos \alpha}{2 \sin \alpha \cos \alpha + (-\sin \alpha)} \)
\( = \frac{\sin^2 \alpha + 1 - 2\sin^2 \alpha + \cos \alpha}{2 \sin \alpha \cos \alpha - \sin \alpha} = \frac{1 - \sin^2 \alpha + \cos \alpha}{\sin \alpha (2 \cos \alpha - 1)} \)
\( = \frac{\cos^2 \alpha + \cos \alpha}{\sin \alpha (2 \cos \alpha - 1)} = \frac{\cos \alpha (\cos \alpha + 1)}{\sin \alpha (2 \cos \alpha - 1)} \).
Правая часть:
\( \frac{1}{2} \operatorname{ctg} \alpha = \frac{1}{2} \frac{\cos \alpha}{\sin \alpha} \).
Тождество не доказывается. Есть вероятность ошибки в задании.
Если в числителе \( \sin^2(\pi-\alpha) = \cos^2\alpha \) и \( \cos 2\alpha \) как \( 2\cos^2\alpha - 1 \)
\( \frac{\cos^2 \alpha + 2\cos^2 \alpha - 1 + \cos \alpha}{2 \sin \alpha \cos \alpha - \sin \alpha} = \frac{3\cos^2 \alpha + \cos \alpha - 1}{\sin \alpha (2 \cos \alpha - 1)} \).
Если в числителе \( \sin^2(\pi-\alpha) \) как \( \cos^2\alpha \), и \( \cos 2\alpha \) как \( 1-2\sin^2\alpha \), и \( \sin(\pi/2-\alpha) = \cos\alpha \), а в знаменателе \( 2\sin\alpha\cos\alpha - \sin\alpha \)
\( \frac{\cos^2\alpha + 1 - 2\sin^2\alpha + \cos\alpha}{2\sin\alpha\cos\alpha - \sin\alpha} = \frac{\cos^2\alpha + 1 - 2(1-\cos^2\alpha) + \cos\alpha}{\sin\alpha(2\cos\alpha-1)} = \frac{\cos^2\alpha + 1 - 2 + 2\cos^2\alpha + \cos\alpha}{\sin\alpha(2\cos\alpha-1)} = \frac{3\cos^2\alpha + \cos\alpha - 1}{\sin\alpha(2\cos\alpha-1)} \).
Тождество не доказывается.
Перенесём всё в одну сторону:
\( \cos 5x \cos 3x + \sin 5x \sin 3x = 1 \)
Используем формулу косинуса разности углов: \( \cos (A - B) = \cos A \cos B + \sin A \sin B \).
\( \cos (5x - 3x) = 1 \)
\( \cos 2x = 1 \)
\( 2x = 2\pi k \), где \( k \) — целое число.
\( x = \pi k \), где \( k \) — целое число.
Ответ: \( x = \pi k \), где \( k ℤ \).