Задание 4. Токен — это: 1) готовый ответ, сохранённый в памяти модели; 2) часть текста, для которой известны координаты в многомерном пространстве смыслов; 3) числовая оценка правильности ответа; 4) ссылка на интернет-источник.

Токен — это единица текста, на которые языковая модель разбивает входные данные и генерируемый текст. В данном тесте наиболее подходящий вариант — 2) часть текста, для которой известны координаты в многомерном пространстве смыслов: из предложенных ответов он ближе всего к понятию токена, хотя координаты в смысловом пространстве относятся скорее к его представлению в модели, а не к определению токена.

Ответ: вариант 2.