Ответ:

Подкоренное выражение должно быть неотрицательным: \(x\ge3\). Поскольку левая часть неотрицательна, для строгого неравенства также необходимо \(x-5>0\), то есть \(x>5\).

При \(x>5\) обе части неотрицательны, поэтому возводим в квадрат: \(x-3<(x-5)^2\). Переносим всё в одну сторону: \(x^2-11x+28>0\), или \((x-4)(x-7)>0\). Это выполняется при \(x<4\) или \(x>7\). С учётом условия \(x>5\) остаётся \(x>7\).

Ответ: \(x\in(7; +\infty)\).