NVIDIA представляет TensorRT-LLM для Windows, увеличивая производительность LLM в 4 раза с графическими процессорами RTX
NVIDIA уже является своего рода генеративным искусственным интеллектом, с точки зрения аппаратного обеспечения. Её графические процессоры используются в центрах обработки данных Microsoft, OpenAI и других для запуска сервисов искусственного интеллекта, таких как Bing Chat, ChatGPT и другие. Сегодня NVIDIA объявила о выпуске нового программного инструмента, предназначенного для увеличения производительности больших языковых моделей (LLM) на локальных ПК с операционной системой Windows.
В своем блоге NVIDIA объявила, что её библиотека с открытым исходным кодом TensorRT-LLM, ранее предназначенная для центров обработки данных, теперь доступна и для ПК с Windows. Одной из важных особенностей TensorRT-LLM является возможность увеличения производительности LLM до четырех раз на ПК с Windows, оснащенных графическими процессорами NVIDIA GeForce RTX.
NVIDIA описывает преимущества TensorRT-LLM как для разработчиков, так и для конечных пользователей:
При обработке больших объемов данных это ускорение значительно расширяет возможности более сложного использования LLM. Например, помощники по написанию и кодированию могут одновременно предлагать несколько уникальных вариантов автозаполнения, повышая производительность и качество и обеспечивая пользователям выбор наилучшего варианта из множества.
В сообщении блога был продемонстрирован пример работы TensorRT-LLM. Был задан вопрос: «Как NVIDIA ACE генерирует эмоциональные реакции?» стандартному LLaMa 2 LLM, и ответ был не слишком точным.
Однако, когда LLM взаимодействует с векторной библиотекой или базой данных векторов, и вопрос повторяется, он создает не только более точный ответ, но и библиотека TensorRT-LLM делает это гораздо быстрее. TensorRT-LLM скоро будет доступен на сайте разработчиков NVIDIA.
Кроме того, NVIDIA внесла несколько функций, основанных на искусственном интеллекте, в сегодняшнее обновление драйвера GeForce. Это включает в себя новую версию функции RTX Video Super Resolution 1.5, предоставляющую лучшее масштабирование и уменьшение искажений при онлайн-просмотре видео. Также было добавлено ускорение искусственного интеллекта TensorRT для веб-интерфейса Stable Diffusion, что позволяет пользователям с графическими процессорами GeForce RTX получать изображения от создателя искусственного интеллекта быстрее, чем когда-либо.
