Разработка студенческой модели с 29 млн параметров базируется на использовании единого энкодера Turbo с 3 слоями и скрытым состоянием 312 dim. Для агрегации векторов токенов в единое представление предложения применяется механизм Attention Pooling с 4 головами, которые обучаются взвешенному усреднению.
Архитектура поддерживает два режима работы через метод проекции. В продакшен-режиме модель выдает вектор размерностью 312 dim. Для дистилляции предусмотрен линейный слой, который проецирует выход в 768-dim пространство, что позволяет сравнивать эмбеддинги студента с учителем.
Система включает проверки на корректность маскирования padding-токенов и детерминизм вычислений. Четыре головы пулинга позволяют модели анализировать текст с разных сторон, включая термины и именованные сущности, при этом размер итогового вектора остается неизменным.
Компания Intel отчиталась о прибыли 52 цента на акцию при прогнозе аналитиков в 41 цент. Несмотря на это, на следующий день акции компании упали почти на 29%. Это стало крупнейшим падением котировок Intel за всю историю наблюдений с 1973 года.
За одну торговую сессию капитализация Intel сократилась более чем на 100 миллиардов долларов. Компания прогнозирует сокращение рынка ПК на 12% в 2026 году и на 10% в 2027 году, связывая это с ростом цен на память и снижением спроса на обновление ноутбуков.
