Как запустить свою нейросеть на ноутбуке
Обновлено:
Установите программу для запуска моделей, например Ollama, скачайте открытую модель под объём вашей памяти (модель на 7–8 миллиардов параметров помещается в 16 ГБ) и начинайте общаться. Всё работает без интернета, данные не покидают компьютер.
Сколько нужно памяти
Грубое правило: сжатой (квантованной) модели нужно чуть больше половины гигабайта памяти на миллиард параметров. 8 ГБ хватит на маленькие модели 3B, 16 ГБ — на 7–8B, от 32 ГБ — на 14B и больше.
Видеокарта ускоряет ответы в несколько раз, но для начала она не обязательна.
Какую модель выбрать
Выбирайте под задачу, а не по рейтингу. Для общения и текстов подойдёт универсальная instruct-модель, для кода — модель для кода. Для русского и казахского проверьте, что модель на них обучалась: часть маленьких моделей пишет на них плохо.
В чём локальная модель хороша
Она закрытая, бесплатная после настройки и работает без интернета. В свободном разговоре она слабее лучших облачных моделей, зато сильна, когда подключена к вашим документам: отвечает ровно по вашим файлам.