Тег: LLM
Создание гибридной системы ИИ с локальным запуском и доступом к Claude
Автор создал гибридную систему ИИ, объединяющую локальные модели на базе Ollama для повседневных задач и облачный сервис Claude для обработки сложных запросов.
Разработка Mistake Memory: как обучить локальную LLM на собственных ошибках
Автор создал инструмент Mistake Memory для локальных языковых моделей. Система позволяет сохранять исправленные ответы, чтобы ИИ мог учитывать их в дальнейшей работе.
Ускорение локальных LLM с помощью метода speculative decoding
Метод speculative decoding позволяет значительно увеличить скорость генерации локальных языковых моделей, используя связку из основной модели и более компактной модели-помощника.
Local AI Weekly #2: Агентные системы и тренды локального ИИ
Второй выпуск дайджеста локального ИИ: обзор агентных систем, фреймворков для обучения моделей, новых архитектур MoE и ключевых событий в индустрии.
Локальная модель Qwen 3.5-9B заменила Claude в рабочих задачах
Автор эксперимента заменил облачную нейросеть Claude на локальную модель Qwen 3.5-9B. В течение недели она успешно справилась с 95% повседневных задач по поддержке SaaS-инструментов.
5 Docker-контейнеров для расширения возможностей локальных языковых моделей
Узнайте, как пять Docker-приложений помогают интегрировать локальные LLM в повседневные задачи: от управления документами до мониторинга серверов.
Запуск современных ИИ-моделей на старых видеокартах
Локальный запуск нейросетей перестал требовать флагманского железа благодаря архитектуре Mixture-of-Experts и новым компактным моделям, работающим даже на устаревших GPU.
Как использовать Devin Desktop с локальными нейросетями для программирования
Devin Desktop теперь позволяет подключать локальные LLM через протокол ACP, обеспечивая работу с кодом без необходимости постоянно использовать платные облачные сервисы.
Миф о «беспорядочном» мышлении локальных LLM
Разбор эксперимента с локальными нейросетями: почему хаотичные цепочки рассуждений не всегда означают ошибочный ответ и стоит ли прерывать «неуверенную» модель.
Переход с Ollama на Jan: почему важен комплексный подход к локальному...
Автор делится опытом отказа от Ollama в пользу приложения Jan. Выяснилось, что для комфортной работы с локальными моделями недостаточно простого запуска, требуется удобное управление экосистемой ИИ.
