Оснащаем VScode мозгами локально

Вопрос стоит именно локально одарить VScode прокачанными мозгами. Мозгов своих всегда мало, на всё не хватает, поэтому прибавим чужих мозгов в редактор кода VScode. Это поможет поправить уже имеющийся код, или ваять новый свежий вайб-код. Я бы для начала перепроверил все свои bash-скрипты. А то их накопилось малая кучка, кто за что отвечает, но ни кто ни за что, ну как всегда.

Не бойтесь экспериментировать. всё что будет сделано в процессе эксперимента — легко удалить и вычистить. Об этом в конце статьи.

Важные моменты перед стартом эксперимента

Перед тем, как напихать в свой комп (который лично у меня под Debian 13) дополнительных мозгов, для этого понадобиться поделиться оперативкой и диском. Минимально это примерно так:

• Требования к системе: Модели требуют ресурсов. Для комфортной работы с моделью на 7B параметров рекомендуется иметь минимум 8 ГБ ОЗУ (а лучше 16 ГБ и больше), а для модели 1.5B будет достаточно 4-6 ГБ ОЗУ.
• Работа на процессоре (CPU): Если у вас нет мощной видеокарты NVIDIA, Ollama всё равно будет работать, используя ресурсы процессора. Это будет медленнее, но для небольших задач и модели 1.5B вполне терпимо.

Установка Ollama на Debian

Скрипт установки всё сделает сам: скачает Ollama, установит его и настроит как системную службу (systemd), которая будет автоматически запускаться при старте системы. Для завершения установки скрипту может понадобиться ваш пароль, введите его, когда система запросит.

curl -fsSL https://ollama.com/install.sh | sh

# и поехало
>>> Installing ollama to /usr/local 
[sudo] пароль для morikoff: 
>>> Downloading ollama-linux-amd64.tar.zst
################################################################ 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink '/etc/systemd/system/default.target.wants/ollama.service' → '/etc/systemd/system/ollama.service'.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

# и поехало
>>> Installing ollama to /usr/local 
[sudo] пароль для morikoff: 
>>> Downloading ollama-linux-amd64.tar.zst
################################################################ 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink '/etc/systemd/system/default.target.wants/ollama.service' → '/etc/systemd/system/ollama.service'.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

По окончанию установки предупреждающее сообщение, что без хорошего графического процессора NVIDIA/AMD будет использован основной процессор системы. Ну да ладно, как-нить переживём.

Проверка установки и запуск

Проверь версию:

ollama --version

# ответ примерно такой:
ollama version is 0.24.0

Проверьте статус службы, должно работать:

# Проверяйте статус службы 
sudo systemctl status ollama

# Запустить
sudo systemctl start ollama

# Перезапуск
sudo systemctl restart ollama 

# Остановить
sudo systemctl stop ollama

Покажет, типа так работает сервис:

● ollama.service - Ollama Service

     Loaded: loaded (/etc/systemd/system/ollama.service; enabled; preset: enabled)
     Active: active (running) since Thu 2026-05-21 19:55:27 MSK; 6min ago
 Invocation: 0212320d2a594332a35f76324a39bc50
   Main PID: 869231 (ollama)
      Tasks: 13 (limit: 76776)
     Memory: 19.3M (peak: 46.6M)
        CPU: 221ms
     CGroup: /system.slice/ollama.service
             └─869231 /usr/local/bin/ollama serve

мая 21 19:55:27 T480 ollama[869231]: time=2026-05-21T19:55:27.884+03:00 level=INFO source=images.go:524 msg="total unus>
мая 21 19:55:27 T480 ollama[869231]: time=2026-05-21T19:55:27.885+03:00 level=INFO source=routes.go:1864 msg="Listening>
мая 21 19:55:27 T480 ollama[869231]: time=2026-05-21T19:55:27.885+03:00 level=INFO source=runner.go:67 msg="discovering>
мая 21 19:55:27 T480 ollama[869231]: time=2026-05-21T19:55:27.887+03:00 level=INFO source=runner.go:106 msg="experiment>
мая 21 19:55:27 T480 ollama[869231]: time=2026-05-21T19:55:27.887+03:00 level=INFO source=server.go:433 msg="starting r>
мая 21 19:55:27 T480 ollama[869231]: time=2026-05-21T19:55:27.919+03:00 level=INFO source=server.go:433 msg="starting r>
мая 21 19:55:27 T480 ollama[869231]: time=2026-05-21T19:55:27.951+03:00 level=INFO source=types.go:60 msg="inference co>
мая 21 19:55:27 T480 ollama[869231]: time=2026-05-21T19:55:27.951+03:00 level=INFO source=routes.go:1914 msg="vram-base>
мая 21 19:55:28 T480 ollama[869231]: time=2026-05-21T19:55:28.202+03:00 level=INFO source=model_recommendations.go:177 >
мая 21 19:59:48 T480 ollama[869231]: [GIN] 2026/05/21 - 19:59:48 | 200 |      68.669µs |       127.0.0.1 | GET

Скачивание моделей Qwen

Ещё немного гигабайтов на диск. Первая модель до 5Гб, и надо ждать пока закачает:

# Скачать модель для чата (7B)
ollama pull qwen2.5-coder:7b

# Скачать модель для автодополнения (1.5B)
ollama pull qwen2.5-coder:1.5b

Вы можете хранить несколько моделей и запускать ту, которая лучше подходит под ваши задачи. Или оставить своего фаворита. Это как иметь на компьютере несколько разных инструментов: один для быстрых задач, другой — для сложных, третий ещё для чего-то.

Посмотрите, какие модели уже установлены:

ollama list

Удали, что не надо:

ollama rm llama3.1:8b

Проверьте, что место освободилось. Снова выполни ollama list, чтобы убедиться, что модели больше нет. Имейте в виду, что в редких случаях может потребоваться перезапустить сервис Ollama, чтобы изменения вступили в силу (об этом было выше).

Установите расширение Continue в VS Code

При первом запуске Continue предложит настройку, где нужно будет выбрать провайдера (Ollama) и указать скачанные модели. Вы также можете вручную отредактировать файл конфигурации (~/.continue/config.json) для тонкой настройки.

Пример конфигурации вы найдете в официальной документации Continue.

Начните с CTRL+L и выбирайте локальную вариант. Можно закачать модели, которые предложит Continue, или те, что я порекомендовал в начале статьи. Но придётся конфиг Continue поправить.

Сравнение моделей

Должно быть главное понимание, что моделей многое количество. Все модели имеют свои особенности. Но я дам сравнительную таблицу по тем моделькам, которые здесь упоминались.

Этот список покрывает все нужды — от понимания контекста до дописывания кода. Для начала просто попробуйте скачать и запустить одну из основных моделей из плана, которые предлагает Continue, а остальные добавляйте по мере необходимости.

Теперь вы знаете как Страшиле набить мозгов.

Что можно делать локально с этими моделями в VScode?

• Чат (Chat): Поддерживает разговорные взаимодействия с кодом и предоставляет подробные рекомендации
• Редактирование (Edit): Обработка сложных преобразований кода и задач рефакторинга
• Применение (Apply): Выполнение целевых изменений кода с высокой точностью
• Автозаполнение (Autocomplete): Предоставление предложений в реальном времени при наборе кода разработчиком
• Вложение (Embedding): Преобразование кода в векторные представления для семантического поиска
• Реранкер (Reranker): Улучшение релевантности поиска, упорядочивая результаты по семантическому смыслу

Резюме эксперимента

Если честно, то на моём дохленьком ноутбуке всё это «мудовые рыдания» — процессор напрягается, вентиляторы гудят, память по 16 ГБ захвачена ))

Единственное, можно как-то использовать автодополнение при написании кода. Но если полностью давать корректировать код, то на несколько минут задумается, можно успеть и чайку попить. Надо машину по мощнее.

Проверка bash-скрипта на 150 строк, времени ушло несколько минут. Вот и рассказал с «похвалой» как здорово локально использовать языковые модели. Но! Запустить можно. Работает. Но использовать с комфортом на слабом железе смысла нет. Вот.

sudo systemctl stop ollama
sudo systemctl disable ollama

sudo apt-get remove --purge ollama
sudo apt-get autoremove remove --purge 

sudo rm /etc/systemd/system/ollama.service
sudo rm $(which ollama) 

sudo userdel ollama
sudo groupdel ollama

rm -rf ~/.ollama

sudo rm -rf /usr/share/ollama 

sudo rm -rf /usr/local/lib/ollama /usr/lib/ollama /lib/ollama
rm -rf ~/.cache/ollama 

command -v ollama 

rm -rf ~/.continue

Возможно локальные модели можно устроить на работу агентами. Но только на отдельной железке, пусть себе там ковыряются. Например с маркетинговыми целями сеть изучают. Или может быть логи им дать изучать от fail2ban? А может и ещё какие идеи придумаются.

Наверно, всегда интересно узнать что-то новенькое от читателей в комментариях ))