Microsoft объявила о доступности оптимизированных моделей DeepSeek-R1 7B и 14B для устройств Copilot+, работающих на процессорах Qualcomm Snapdragon X. Это важный шаг в развитии локальных возможностей искусственного интеллекта, который открывает новые горизонты для разработчиков.
Новые возможности с DeepSeek 7B и 14B
Основные преимущества
- Локальное выполнение: Модели 7B и 14B запускаются непосредственно на устройствах Copilot+, что позволяет разработчикам создавать приложения с использованием ИИ, которые ранее были невозможны.
- Оптимизация под NPU: Благодаря работе на нейронных процессорах (NPU), модели обеспечивают стабильную вычислительную мощность с минимальным влиянием на время автономной работы и тепловыделение.
- Ресурсы системы: Процессор и графический процессор остаются свободными для выполнения других задач, что повышает общую производительность устройства.
Текущие ограничения
Несмотря на значительные улучшения, скорость обработки токенов пока остается низкой:
- Модель 14B: около 8 токенов в секунду.
- Модель 1.5B: около 40 токенов в секунду.
Microsoft активно работает над дальнейшими оптимизациями, чтобы повысить производительность и сделать модели еще более эффективными.
Технические детали и доступность
Квантование моделей
Microsoft использовала внутренний инструмент автоматического квантования Aqua для преобразования всех вариантов модели DeepSeek в формат весов Int4. Это обеспечивает высокую эффективность работы моделей на устройствах.
Поддерживаемые платформы
На данный момент модели доступны для устройств Copilot+ с процессорами Qualcomm Snapdragon X. В будущем поддержка будет расширена на устройства с процессорами Intel Core Ultra 200V и AMD Ryzen.
Как начать работу
Разработчики могут скачать и запустить модели DeepSeek 1.5B, 7B и 14B через расширение Code vs Code. Модели доступны в формате ONNX QDQ и загружаются непосредственно с Azure AI Foundry.
Значение нововведения
Этот шаг демонстрирует стремление Microsoft к развитию возможностей искусственного интеллекта на устройстве. Локальное выполнение моделей открывает новые возможности для создания инновационных приложений, управляемых ИИ, и делает технологии более доступными для широкого круга пользователей.
Источник: https://blogs.windows.com/windowsdeveloper/2025/03/03/available-today-deepseek-r1-7b-14b-distilled-models-for-copilot-pcs-via-azure-ai-foundry-further-expanding-ai-on-the-edge/
