Задание 10. Токен — это: 1) готовый ответ, сохранённый в памяти модели; 2) часть текста, для которой известны координаты в многомерном пространстве смыслов; 3) числовая оценка правильности ответа; 4) ссылка на интернет-источник.

Токен — это единица, на которые языковая модель делит текст для обработки. В зависимости от токенизатора это может быть слово, часть слова, символ или группа символов. Ни один из предложенных вариантов не даёт точного определения. Вариант 2 смешивает токен с векторным представлением: координаты в многомерном пространстве могут описывать числовое представление токена, но не определяют сам токен.