Инкубатор автоматизаторов по работе с ИИ на базе n8n

Да у меня акцент на оперативку и проц (32 Гб, Razen 7). Ну максимальная на около 20Гб размером. В целом чаще работаю с gemma2 (16Гб)
Да , дообучить я их не могу (т.к. это даже мощная карта не всегда осилит....ну и я не питонщик, а Laravel разработчик). Я по другому вектору сейчас развиваюсь - так называемые RAG-агенты (pgvector Postgres). Сейчас заказ для одной фирмы делаю (Не телеграмм, внутренняя база знаний). Для этого есть базы Ollama для embeddings. Будет время -почитай про эти термины -тоже интересное направление.

 

Недельку наверное буду отсутствовать.
п.с. домашнее задание -сравнить Flowise c N8N

Работал только с N8N - интересно чем лучше Flowise, кроме того что он тоже локальный.

 

А я с ларкой тоже хочу подружиться) как раз хотел писать комбайн для управления фарминга аккаунтов под арбитраж и yt-каналы)

Я в свое время смотрел подобные продукты, насколько я понял, Flowise, например, еще Langflow, предназначены для создания AI-агентов.
Т.е. если грубо на Flowise мы пишем чат-бота по поддержке клиентов, а на Langflow AI-приложение, например, рекомендательная система для сайта.
А n8n уже как комбайн, которые может автоматизировать и интегрировать различные бизнес-процессы. Т.е. уже в n8n мы можем сделать интеграцию и подключить эти AI-приложения Flowise и Langflow и данные передавать между этими системами. Ну и через триггеры и действия автоматизировать весь процесс, чтобы эти приложения работали вместе без нашего участия.

 

Про RAG читал пару статей. Т.е. по сути у нас задача максимально удобно предоставлять информацию из внешних источников для "дообучения" текущей модели? Например, в бд. Дальше либо пишем restfull api для доступа к бд либо здесь наш уже любимый n8n, который сможет все сделать сразу из коробки без лишних движений и лишнего кодинга велосипеда.
Начал читать и разбираться, что ollama создает векторные представления текста, это как массивы чисел, которые кодируют семантику текста.
Ух, клевая тема, только начал погружаться)
В закрытой теме, думаю, будет интересно почитать, кто что реализовал или в процессе реализации, почерпнуть какие-то идеи, не банальные автоматизации аля бота купи/продай/перейди, а целая бизнес-логика. Ждемс...

 

@analytic
Личный вопрос

 

Ну что могу сказать, небо и земля. Скорость ответа увеличилась во много раз. Ответ идет через несколько секунд, нагрузка доходит до 70 процентов максиму. Комп не висит пока идет ответ. Короче, очень рад что обновил железо.

 

видеокарта имеет значение? какую брали? (и вообще если не сложно свою сборку покажите, Спс)

 

Win 11
Процессор ryzen 7 7700
Память DDR 5 две планки по 16 ГБ
Жесткий М2 970 PRO на 512 ГБ
Видюхи пока нет, на интегрированной сижу. Будет понятно что брать когда начнем.

 

@analytic
Я так и не понял ответ.
Попробую теперь по другому спросить.
Для n8n + Olama лучше видеокарту поменять или сделать упор на процессор и оперативную память.

 

У меня достаточно медленно (минуту может печатать) отвечают модели на 32В и 27В, а модель на 8В вообще работает шустро, ответ прям в несколько секунд.
По загрузке проц (i5-12400) на 76-80%, память (4х16 ddr4) на 30Гб из 64Гб, стоит на SSD диске.
Отсюда вопрос, если основное это проц и память, то может лучше взять с алика мамку под два проца, соответственно два проца серверных и 8 планок памяти по 32Гб (но память в большинстве ddr3), собрать дома свой личный сервер, место как раз есть куда поставить, да и по деньгам выйдет дешевле чем мне обновиться.

И возможно ли перенастроить Ollama на работу с видюхой, может быстрее будет работать или может есть еще какие внутренние настройки у нее?

 

Тоже очень интересна эта тема. В потоке про это будет идти речь?

 

В теории должна срабатывать GPU мощность видеокарты для ollama модели,но на сколько это лучше- я не знаю. Но в целом у меня с 2018 - Razen 7 5700,32 Гб и такие же результаты как у WrChuk

 

В общем контексте - возможно.
п.с. Я могу дать направление, но должны понимать что администрирование, настройка и запросы к Postgres - это личный опыт нужен. Одного желания делать из Postgres векторную базу с нужной семантикой - не достаточно

 

Спешить со сборками пока не стоит, у меня комп еле работал с нейронками вот я и поменял, да и старый он уже. Процессор 7 поколения. Любой запрос комп висит несколько минут пока ответ не придет и гудит от нагрузки. Да и сначала нужно понимание что за проекты будут и какой от них профит и тогда уже подстраивать железо. И второе, если говорить от действительно подходящим железе, то это компы от 400к начинаются и то это для себя. Специальный видюхи, процессоры, ускорители и т.д. Я думаю нам это не надо)

 

Согласен. Прямо скажем, что модели Ollama- разного размера -от 0.5 Гб до 400 Гб. Под любую конфигурацию компа. Да качество отличается от gpt3 до gpt4+. Но основная задача -это дружба n8n с ollama ,а это можно и на компах с минимальными
требования.

Хотите качество уровня gpt4- то конфигурация как у MrChuck. И то надо понимать, что в данном случае модель думает по 2-3 минуты на текст в 4000-5000 символов, а если надо через rest api мгновенно брать результат? То естественно комп нужен ещё мощней.

А теперь про модели весом 300-400 Гб.(gpt4+) У многих есть столько оперативки? Понятное дело , что для rest api работы мы не уложимся даже в 400 000 ;-) Тут минимум от 3 000 000 выйдет.

 

Не проще брать платные версии для таких целей? Что за комбайны пытаетесь развернуть)
Если нужна большая модель, то может проще обученную взять только в нужном направлении?

 

есть сервисы, где платят за аренду видюхи под разные задачи/ai models (от текста до картинки) Будут в привате. Цена идёт за запрос или за суммарное время аренды. Что в принципе достаточно дёшево.
ну и через Rest api также работаем в n8n.

 

@analytic А не сталкивался с таким, когда идет ответ в WebUI он отображается не полностью, а после обновления страницы все нормально?

 

не такого не было.

 

@analytic Подскажите, очень сложная тема для совсем новичков?