LM Studio – це зручний настільний застосунок, що дає змогу завантажувати, встановлювати та запускати великі мовні моделі (LLM) локально на вашій машині під керуванням Linux.
Використовуючи LM Studio, ви можете позбутися обмежень і проблем із конфіденційністю, пов’язаних із хмарними моделями ШІ, і при цьому насолоджуватися знайомим інтерфейсом, схожим на ChatGPT.
У цій статті ми розповімо вам, як встановити LM Studio на Linux, використовуючи формат AppImage, і наведемо приклад локального запуску конкретної LLM-моделі.
Системні вимоги
Мінімальні вимоги до апаратного та програмного забезпечення для роботи LM Studio в Linux такі:
- Виділена відеокарта NVIDIA або AMD з не менш ніж 8 ГБ VRAM.
- Необхідний процесор, сумісний з AVX2, і щонайменше 16 ГБ оперативної пам’яті.
Встановлення LM Studio в Linux
Для початку вам необхідно завантажити останню версію LM Studio AppImage з офіційного сайту або з репозиторію.
Після завантаження AppImage необхідно зробити його виконуваним і витягти вміст AppImage, який розпакується в каталог з ім’ям squashfs-root.
chmod u+x LM_Studio-*.AppImage
./LM_Studio-*.AppImage --appimage-extractТепер перейдіть у витягнутий каталог squashfs-root і встановіть відповідні дозволи на файл chrome-sandbox, який є допоміжним двійковим файлом, необхідним застосунку для безпечного запуску.
cd squashfs-root
sudo chown root:root chrome-sandbox
sudo chmod 4755 chrome-sandboxТепер ви можете запустити додаток LM Studio прямо з витягнутих файлів.
./lm-studio
Ось і все! Тепер LM Studio встановлена у вашій системі Linux, і ви можете приступити до вивчення і запуску локальних LLM.
Запуск локальної мовної моделі в Linux
Після успішного встановлення та запуску LM Studio ви можете почати використовувати її для локального запуску мовних моделей.
Наприклад, щоб запустити попередньо навчену мовну модель GPT-3, натисніть на рядок пошуку вгорі, введіть “GPT-3” і завантажте її.
Після завершення завантаження перейдіть на вкладку “Чат” у лівій панелі. На вкладці “Чат” натисніть на меню, що випадає у верхній частині, і виберіть завантажену модель GPT-3.
Тепер ви можете почати спілкуватися з моделлю GPT-3, вводячи свої повідомлення в поле введення в нижній частині вікна чату.
Модель GPT-3 оброблятиме ваші повідомлення і видаватиме відповіді, ґрунтуючись на своєму навчанні. Майте на увазі, що час відповіді може варіюватися залежно від апаратного забезпечення вашої системи і розміру завантаженої моделі.
Висновок
Інсталювавши LM Studio в систему Linux за допомогою формату AppImage, ви зможете легко завантажувати, встановлювати та запускати великі мовні моделі локально, не вдаючись до хмарних сервісів.
Це дасть вам змогу краще контролювати свої дані та конфіденційність, насолоджуючись перевагами просунутих моделей ШІ. Не забувайте дотримуватися прав на інтелектуальну власність і дотримуватися умов використання LLM, які ви завантажуєте і запускаєте за допомогою LM Studio.
