Инкубатор автоматизаторов по работе с ИИ на базе n8n

Модель Llava- может анализировать рисунки (понимает русский язык, но описывает иногда на ломанном русском)

 

Я сейчас потратил часа два на установку оллама+докер+Open WebUI)) Целый квест. Сначала hyper-v не мог включить, в БИОСе виртуалка выключена. Потом проблема с хостом была в докере)) не мог подключиться на Скрытая ссылка. Плюс видео немного устарело и ссылки на Open WebUI нет. А там несколько левых акков есть если тупо через поиск делать. Смотрите на звезды в правом углу, а то попадал где 5-10 звезд. Скачаешь вирусняк еще.
Поставил опять openchat и он работает быстрее чем через jan.ai. Но процессор все равно грузится на 100% при обработке запроса.

 

1) Ставишь Ollama для виндоус
2) Потом в терминале ollama run gemma2
Тестишь из командной строки.
3) Ставишь под винду Docker Destop
4) Запускаешь в терминале

Код:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Ставится всё за 10 минут

п.с. у тебя наверно винда не оптимизирована - программы напрягают комп в фоне.

 

вечером покажу нагрузку на свой проц

 

А под это ВСЕ лучше домашний ПК (или купить под это специально ноут или ПК - то какие параметры) или все же сервер (то какие параметры)?
Спасибо.

 

Про параметры я говорил здесь

В целом работать смогут все на домашнем пк - вопрос скорости работы и качества(размер модели)

Если есть необходимость в постоянной работе - то можно и сервер брать

Говоря другими словами, есть идея для монетизации -выносим на сервер. Нет идеи - обучаемся работе на домашнем пк.

 

Вот что мне нужно:


Генеренные картинки в SD часто появляются с текстом, нужно этот текст удалять, хочется локально и массово, и автоматически, вот этот сервис делает очень круто Скрытая ссылка
Но он платный, а хочется бесплатно и на своём компьютере и обязательно пакетно
Я уже много чего попробовал на гитхабе, но ничего не получилось, очень старые хабы и все софты давно обновлились и из-за этого конфликты в скриптах.
Какая-то модель должна искать тексты, а LaMa их удалять. Самый как мне показалось хороший вариант это Скрытая ссылка, но CRAFT-pytorch был обновлён 5 лет назад.

 

Отвечу по возможности.
п.с. Сегодня не получается

 

16 ГБ модель Gemma2 (27B) (Разработка Гугл) - на пике работы

п.с. но это считается крупная модель. Есть маленькие (мультиязычные) модели по 1-2ГБ. Они тоже достаточно хорошо работают. Вот с ними можно работать на слабых компах. Ну для средних компов-можно найти средние=)

 

Я сегодня обновился по компу, в выходные буду собирать, взял не дорого ryzen 7 7700 и 32 гб ddr 5 посмотрим какая будет нагрузка. И плюс две планки ссд самсунга м2 970 про. У меня старый процессор 7 поколения i5, 32 гига оперативки ддр 4 и два жёстких 860 самсунга ссд., на ноут игровой не хочу ставить. Поставил gemma2 тоже 100% нагрузки и долго отвечает. Посмотрим как будет.

 

Может есть готовый список моделей которые хорошо себя зарекомендовали, а то ставил сначала ламу 3.1 8В, показалась туповата, поставил 70В, вообще не отвечает даже на "Привет" (будто зависла, и на русском писал и на английском), загрузка диска где стоит на 80%, проц. 20%, память на 40Гб из 64Гб.
А так каждую качать чтоб проверить времени много уйдет.

 

список моделей для русского языка

 

@analytic подскажите как я понял площадка n8n заблочила ru ip. Сервер нужно покупать на бурж хостах?

 

у меня локальная версия работает (РФ). У клиентов из РФ тоже работает(в n8n можно делится проектами). Откуда такая информация?

 

@analytic При регистрации на n8n вылетает табличка о запрете регистрации с ru ip. Через впн работает.

 

В локальной версии регистрация работает. Также работает авторизация через Гугл на сайте.

 

Кстати, есть модели для удаления водяных знаков с фото? Локально. Желательно пакетно )))

 

Среди Ollama моделей не видел.
Но локальные модели Flux.ai и Diffision stable - на сколько знаю это могут делать (я с графикой не углубленно баловался, т.к. слабая видюха и хватает задач на разработку промтов для тектовых моделей)
Относительно пакетного - на конкурсе шаблонов Zennoposter- есть интеграция Zenno+Diffision stable

 

Прямо скажем, часто n8n используют для телеги, вот один из результатов работы

 

@analytic
Раз у тебя слабая видюха, то у тебя акцент на оперативку и цпу? Какую максимальную модель юзал и под какие настройки озу и цпу?
А пробовал дообучать на своих данных? Тут же gpu уже нужно