Ответ:

Обозначим вершины треугольника так, что сторонам длины 6 и 8 противоположны вершины A и B соответственно, а третья сторона — AB.

Расположим начало координат в точке пересечения медиан — центре тяжести треугольника. Пусть радиус-векторы вершин A и B равны \(\vec A\) и \(\vec B\). Медиана из вершины A имеет направление \(\vec A\), а медиана из B — направление \(\vec B\). Поэтому из перпендикулярности медиан следует \(\vec A\cdot\vec B=0\).

Положим \(|\vec A|^2=u\), \(|\vec B|^2=v\). Радиус-вектор третьей вершины равен \(-\vec A-\vec B\). Тогда сторона длины 8 равна \(|2\vec A+\vec B|\), а сторона длины 6 — \(|\vec A+2\vec B|\). С учётом перпендикулярности:

\(4u+v=64,\quad u+4v=36.\)

Из первого уравнения \(v=64-4u\). Подставим во второе: \(u+4(64-4u)=36\), откуда \(u=\frac{220}{15}\), а \(v=\frac{53}{3}\). Следовательно, \(AB^2=|\vec A-\vec B|^2=u+v=\frac{91}{4}\).

Ответ: \(\frac{\sqrt{91}}{2}\).