BitPage

Какие нейросети потянет ваш компьютер — проверяем за минуту

Короткий ответ: утилита llmfit сканирует ваш CPU, RAM и GPU, затем из базы в 157 моделей показывает, какие реально запустятся и с какой скоростью.

Зачем запускать нейросети локально

Проблема: непонятно, какую модель выбрать под своё железо. 7B? 13B? 70B? Хватит ли памяти?

llmfit решает эту проблему

Одна команда — и видишь полную картину:

1
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

Или через Homebrew:

1
2
brew tap AlexsJones/llmfit
brew install llmfit

Как использовать

Просто запусти:

1
llmfit

Откроется интерактивное меню. Модели уже отсортированы по совместимости с твоим железом.

Управление:

Что показывает

Для каждой модели — четыре параметра:

ПараметрЧто значит
QualityКачество модели (репутация, бенчмарки)
SpeedПрогноз скорости (токенов/сек)
FitНасколько эффективно использует память
ContextРазмер контекстного окна

Плюс сразу видно:

157 моделей от 30 провайдеров

В базе: Llama, Mistral, Qwen, Gemma, Phi, DeepSeek, Cohere и другие.

Категории:

Минимальные требования

Параметры моделиRAM / VRAM
7-8B (Q4)6-8 GB
13B (Q4)10-12 GB
30B (Q4)20-24 GB
70B (Q4)40+ GB

Q4 — это квантование до 4 бит. Сжимает модель в 4 раза с минимальной потерей качества.

Быстрый старт после llmfit

Если llmfit показал, что модель подходит — качай через Ollama:

1
2
3
4
5
# Установить Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Скачать и запустить модель
ollama run llama3.2

Или прямо из llmfit: нажми d на нужной модели.

Итог

Перед тем как качать 40 GB модель, которая не запустится — проверь через llmfit. Минута на установку, и сразу видно, что реально потянет твоё железо.

GitHub: github.com/AlexsJones/llmfit

<< Previous Post

|

Next Post >>

#ИИ #Нейросети #Локальные Модели #Ollama