В одной из предыдущих статей была рассмотрена нейросеть Llama3 с чатом в терминале. Через некоторое время появились интерфейсы для более удобного обращения с моделью.

Установка FlatPak в Ubuntu:

sudo apt install flatpak
flatpak remote-add --if-not-exists flathub https://flathub.org/repo/flathub.flatpakrepo

Установка Alpaca:

flatpak install flathub com.jeffser.Alpaca

Ссылка на flathub-страницу проекта: https://flathub.org/apps/com.jeffser.Alpaca

Установка моделей в alpaca:

Приложение позволяет устанавливать около 50 различных языковых моделей, включая те, которые умеют распознавать и описывать изображения. Вот некоторые доступные для загрузки:

• Llama 3.2 от Meta
• Llama 3.1 от Meta
• Llama 3 от Meta
• Gemma 2 от Google
• Phi 3.5 от Microsoft
• Nemotron mini от Nvidia
• Mistral small от Mistral AI
• Deepseek coder V2 - хороший выбор для написания программ
• CodeGemma от Google - хороший выбор для написания программ
• CodeLlama - хороший выбор для написания программ
• LLava - умеет распознавать изображения

Заметьте, что вес модели должен умещаться в вашу оперативную память