Компания Zyphra выпустила промежуточную версию модели ZAYA1-74B-Preview с расширенным контекстом до 256k токенов и новыми архитектурными решениями. Модель уже прошла этапы претрейн и мидтрейн, но ещё не прошла финальное RL-постобучение. Доступна под лицензией Apache 2.0.
- Zyphra выпустила чекпоинт ZAYA1-74B-Preview всего через два дня после релиза модели ZAYA1-8B, что подчеркивает темпы развития компании
- Модель ZAYA1-74B-Preview прошла этапы претрейн и мидтрейн, но ещё не прошла RL-постобучение и инстракт-тунинг, что объясняет текущие показатели
- В архитектуре модели применено комбинированное внимание: стандартное CCA и скользящее окно размером 4K, что сокращает KV-кеш почти вдвое без потери качества на длинном контексте
- Контекстное окно модели расширено поэтапно до 256k токенов, а обучение включало 15T токенов в претрейне и 3T в мидрейне с акцентом на математику, код и агентные задачи
- Zyphra добавила больше агентного материала в корпус для ZAYA1-74B-Preview, что улучшило первые результаты на τ-bench, но финальные показатели появятся только после агентного RL
- Модель распространяется под лицензией Apache 2.0 и находится в открытом доступе
Компания Zyphra анонсировала предварительную версию своей новой модели ZAYA1-74B-Preview всего через два дня после релиза ZAYA1-8B. Новая модель уже прошла этапы претрейн и мидтрейн, но ещё не прошла финальное RL-постобучение, что объясняет текущие показатели её работы.
По данным разработчиков, ZAYA1-74B-Preview демонстрирует улучшенные метрики pass@4, приближаясь к лидерам рынка, тогда как показатель pass@1 пока отстаёт. В архитектуре модели применено комбинированное внимание: каждый второй слой использует внимание со скользящим окном размером 4K, что позволяет сократить KV-кеш почти вдвое без потерь на длинном контексте. Для этого в слоях со скользящим окном сохранили исходное основание RoPE, а в глобальных слоях — растянули. Контекстное окно модели расширено поэтапно: от 32k до 128k и затем до 256k токенов.
Обучение модели включало 15T токенов в претрейне (две фазы: общие веб-данные и специализированные на математике, коде и науке) и 3T токенов в мидрейне (расширение контекста, ввод reasoning-трасс и фокус на агентных задачах).
Zyphra добавила больше агентного материала в корпус для ZAYA1-74B-Preview, что улучшило первые результаты на бенчмарке τ-bench. Однако разработчики отмечают, что показатель pass@k плохо отражает многошаговые сценарии, где важнее следование инструкциям, удержание состояния и устойчивость к промежуточным ошибкам. Эти способности, по их словам, появятся только после агентного RL.
Обучение старшей версии модели ZAYA1 также велось исключительно на оборудовании AMD. Финальная версия ZAYA1-74B, как ожидается, будет выпущена в ближайшие недели после завершения RL-постобучения.
Модель ZAYA1-74B-Preview распространяется под лицензией Apache 2.0 и доступна для тестирования и использования.
