LM Studio — это удобное настольное приложение, позволяющее загружать, устанавливать и запускать большие языковые модели (LLM) локально на вашей машине под управлением Linux.
Используя LM Studio, вы можете избавиться от ограничений и проблем с конфиденциальностью, связанных с облачными моделями ИИ, и при этом наслаждаться знакомым интерфейсом, похожим на ChatGPT.
В этой статье мы расскажем вам, как установить LM Studio на Linux, используя формат AppImage, и приведем пример локального запуска конкретной LLM-модели.
Системные требования
Минимальные требования к аппаратному и программному обеспечению для работы LM Studio в Linux следующие:
- Выделенная видеокарта NVIDIA или AMD с не менее чем 8 ГБ VRAM.
- Необходим процессор, совместимый с AVX2, и не менее 16 ГБ оперативной памяти.
Установка LM Studio в Linux
Для начала вам необходимо загрузить последнюю версию LM Studio AppImage с официального сайта или из репозитория.
После загрузки AppImage необходимо сделать его исполняемым и извлечь содержимое AppImage, которое распакуется в каталог с именем squashfs-root.
chmod u+x LM_Studio-*.AppImage
./LM_Studio-*.AppImage --appimage-extractТеперь перейдите в извлеченный каталог squashfs-root и установите соответствующие разрешения на файл chrome-sandbox, который представляет собой вспомогательный двоичный файл, необходимый приложению для безопасного запуска.
cd squashfs-root
sudo chown root:root chrome-sandbox
sudo chmod 4755 chrome-sandboxТеперь вы можете запустить приложение LM Studio прямо из извлеченных файлов.
./lm-studio
Вот и все! Теперь LM Studio установлена в вашей системе Linux, и вы можете приступить к изучению и запуску локальных LLM.
Запуск локальной языковой модели в Linux
После успешной установки и запуска LM Studio вы можете начать использовать ее для локального запуска языковых моделей.
Например, чтобы запустить предварительно обученную языковую модель GPT-3, нажмите на строку поиска вверху, введите «GPT-3» и загрузите ее.
После завершения загрузки перейдите на вкладку «Чат» в левой панели. На вкладке «Чат» нажмите на выпадающее меню в верхней части и выберите загруженную модель GPT-3.
Теперь вы можете начать общаться с моделью GPT-3, вводя свои сообщения в поле ввода в нижней части окна чата.
Модель GPT-3 будет обрабатывать ваши сообщения и выдавать ответы, основываясь на своем обучении. Имейте в виду, что время ответа может варьироваться в зависимости от аппаратного обеспечения вашей системы и размера загруженной модели.
Заключение
Установив LM Studio в систему Linux с помощью формата AppImage, вы сможете легко загружать, устанавливать и запускать большие языковые модели локально, не прибегая к облачным сервисам.
Это позволит вам лучше контролировать свои данные и конфиденциальность, наслаждаясь преимуществами продвинутых моделей ИИ. Не забывайте соблюдать права на интеллектуальную собственность и придерживаться условий использования LLM, которые вы загружаете и запускаете с помощью LM Studio.
