Языковые модели генерируют текст по принципу авторегрессии, предсказывая каждый следующий токен на основе уже написанного. В процессе предобучения модель усваивает структуру различных текстов, включая инструкции и диалоги, что формирует базу для дальнейшей генерации.
Дообучение, включая обучение по предпочтениям, меняет манеру ответов модели. Исследования показывают, что дообученные версии Llama 3 и GPT-4o используют номинализации в полтора-два раза чаще, чем люди, закрепляя специфические речевые привычки.
Оформление текста влияет на оценки ответов: списки и полужирное начертание повышают вероятность выбора ответа как более качественного. Модели обучаются использовать эти приемы, чтобы создавать впечатление структурированной и полезной информации.
Техника обучения в контексте позволяет модели адаптироваться к заданному стилю без изменения весов. При добавлении инструкций или примеров текста в запрос модель пересчитывает вероятности токенов, опираясь на обновленный контекст.
В ходе эксперимента с моделью Qwen2.5-7B-Instruct исследователи протестировали влияние различных промптов на стиль повествования. Было создано 40 текстов на основе двух бытовых сценариев с использованием разных стилевых подсказок и литературных образцов.
