В июне Google впервые анонсировала Gemma 2, следующее поколение моделей открытого языка, построенных на новой архитектуре, разработанной для высокой производительности и эффективности. До вчерашнего дня Gemma 2 была доступна в двух размерах: 9 миллиардов (9B) и 27 миллиардов (27B) параметров. Вчера Google расширила семейство Gemma 2, анонсировав Gemma 2 2B с 2 миллиардами параметров.
Новый Gemma 2 2B, как утверждается, обеспечивает лучшую в своем классе производительность, даже опережая все модели GPT-3.5 на Chatbot Arena с результатом 1126. Он также может эффективно работать на различном оборудовании, от ПК и периферийных устройств до облачных развертываний на Google Cloud Vertex AI. Google оптимизировал модель с помощью библиотеки NVIDIA TensorRT-LLM, и разработчики могут использовать ее как NVIDIA NIM (Nvidia Inference Microservices). Поскольку он оптимизирован для библиотеки NVIDIA TensorRT-LLM, он может работать на различных платформах с использованием графических процессоров NVIDIA RTX, NVIDIA GeForce RTX и модулей NVIDIA Jetson. Кроме того, Gemma 2 2B интегрируется с Keras, JAX, Hugging Face, NVIDIA NeMo, Ollama, Gemma.cpp и вскоре MediaPipe для легкой разработки.
Веса моделей Gemma 2 доступны для загрузки с Kaggle, Hugging Face и Vertex AI Model Garden. В отличие от моделей Google Gemini, Gemma 2 доступна по коммерчески выгодной лицензии. Вместе с Gemma 2 Google также анонсировала ShieldGemma модели классификатора безопасности контента и область применения Джеммы инструмент интерпретируемости модели.
В апреле Microsoft анонсировала семейство языковых моделей Phi-3, которые напрямую конкурируют с семейством моделей Gemma от Google. Семейство Phi-3 состоит из трех моделей: Phi-3-mini — это языковая модель 3,8 Б, доступная в двух вариантах длины контекста, токены 4 К и 128 К. Phi-3-Small — это языковая модель 7 Б, доступная в двух вариантах длины контекста, токены 8 К и 128 К. Phi-3-medium — это языковая модель 14 Б, также доступная в тех же двух вариантах длины контекста.
Появление меньших, но мощных языковых моделей, таких как Gemini 2 2B от Google и семейство Phi-3 от Microsoft, свидетельствует о растущей тенденции в индустрии ИИ. Этот сдвиг в сторону меньших моделей ставит во главу угла доступность и эффективность, позволяя развертывание на более широком спектре устройств и снижая вычислительные затраты.
