Ответ:

Пусть стороны длиной 5 и 10 заключают угол \(60^\circ\), а третья сторона равна \(c\). По теореме косинусов:

\(c^2=5^2+10^2-2\cdot5\cdot10\cos60^\circ=75\), поэтому \(c=5\sqrt3\).

Обозначим через \(I\) центр вписанной окружности, а через \(D,E\) концы третьей стороны. Искомая окружность проходит через \(D,E,I\). Её центр лежит на серединном перпендикуляре к \(DE\). Расположим \(D=(0,0)\), \(E=(5\sqrt3,0)\). Тогда центр вписанной окружности имеет координаты \(I=(x,r)\), где \(r\) — радиус вписанной окружности.

Площадь треугольника равна \(S=\frac12\cdot5\cdot10\sin60^\circ=\frac{25\sqrt3}{2}\), а полупериметр \(s=\frac{15+5\sqrt3}{2}\). Поэтому \(r=S/s=\frac{5\sqrt3}{3+\sqrt3}=\frac{5(\sqrt3-1)}{2}\).

По формуле координат центра вписанной окружности как взвешенного среднего вершин, его горизонтальная координата относительно конца \(D\), лежащего напротив стороны длиной 10, равна \(x=\frac{10\cdot5\sqrt3}{5+10+5\sqrt3}=\frac{5\sqrt3}{3+\sqrt3}\). Центр окружности через \(D,E,I\) имеет координаты \((c/2,k)\). Из равенства расстояний до \(D\text{ и }I\): \((c/2)^2+k^2=(x-c/2)^2+(r-k)^2\), откуда \(k=\frac{x^2+r^2-cx}{2r}\). Подставляя \(x=r=\frac{5(\sqrt3-1)}2\) и \(c=5\sqrt3\), получаем \(k=-\frac{5}{2}\).

Радиус искомой окружности: \(R=\sqrt{(c/2)^2+k^2}=\sqrt{\frac{75}{4}+\frac{25}{4}}=5\).

Ответ: 5.