Локальные LLMs с помощью Ollama и LM Studio - Практический гид [udemy] [Maximilian Schwarzmüller]

Складчина: Локальные LLMs с помощью Ollama и LM Studio - Практический гид [udemy] [Maximilian Schwarzmüller]

Local LLMs via Ollama & LM Studio - The Practical Guide
Язык: английский



Разблокируйте силу частного, мощного ИИ на своем собственном ПК!
ChatGPT, Google Gemini и все другие чат-боты AI являются стандартными инструментами для повседневного использования. Но, как и все инструменты, они не являются лучшим выбором для всех задач.

Этот курс научит вас, как использовать открытые LLM, такие как модели Meta Llama, модели Google Gemma или модели DeepSeek для запуска рабочих нагрузок ИИ и чат-ботов AI прямо на вашем компьютере - независимо от того, является ли это ПК высокого класса или обычным ноутбуком.

Для кого курс:

• Начинающие и продвинутые пользователи чат-ботов AI & LLM
• Профессионалы, которые требуют высокой степени конфиденциальности данных
• Технологические энтузиасты и пользователи ИИ, которые хотят выйти за рамки основ

Что вы освоите:

• Open LLM Landscape: Поймите, что такое открытые модели и почему они имеют значение (и где их найти).
• Hardware Demystified: Изучите реалистичные требования к оборудованию для локального запуска LLM.
• Объяснение квантования: Раскройте технику, которая делает возможным запуск огромных моделей на потребительском оборудовании.
• LM Studio In-Depth: Получите практические результаты с установкой, настройкой, выбором, загрузкой и запуском моделей с использованием LM Studio.
• Ollama Mastery: Научитесь устанавливать, настраивать и взаимодействовать с моделями через Ollama.
• Реальные случаи использования: применяйте свои знания к практическим задачам, таким как изображение OCR (чтение текста с изображений), обобщение документов PDF, освоение нескольких снимков и создание творческого контента.
• Программная сила: Узнайте, как интегрировать эти локально запущенные модели в свои собственные скрипты и приложения, используя их встроенные API (LM Studio & Ollama).
• И многое другое! Создайте прочную основу и получите уверенность в изучении огромного потенциала местного ИИ.

Требования:

• Базовое понимание функциональности и использования LLM
• Не нужны продвинутые знания в программировании
• Не менее 8 ГБ (V)RAM (если вы хотите запускать модели локально)

Программа

1. Введение

• Добро пожаловать на Курс!
• Что такое «Открытые LLM»?
• Почему Вы хотите запускать открытые LLM локально?
• Популярные открытые LM - некоторые примеры
• Где Можно открыть LLM?
• Работа Lms Локально - доступные варианты
• Проверьте Лицензии На Модель!
• Слайды курса

2. Понимание требований к оборудованию & Квантование

• Модуль Введение
• Требования к оборудованию LLM - первые шаги
• Получение требований к оборудованию от параметров модели
• Квантизация во спасение!
• Он Работает На Вашей Машине?

3. Глубокое погружение в LM Studio

• Модуль Введение
• Работает локально против удаленного
• Установка и использование LM Studio
• Поиск, загрузка и активация открытых LLM
• Использование интерфейса LM Studio Chat
• Работа с системными подсказками и пресетами
• Управление чатами
• Функции Power User Для Управления Моделями И Чатов
• Использование Мультимодальных Моделей И Извлечение Содержимого Из Изображений (OCR)
• Анализ и обобщение документов PDF
• Вперед К Более Продвинутым Настройкам
• Понимание температуры, top_k & top_p
• Контроль температуры, top_k & top_p в LM Studio
• Управление базовой конфигурацией Runtime & Hardware
• Управление Длиной Контекста
• Использование Flash Внимание
• Работа Со Структурированными Выходами
• Использование Локальных LLM Для Генерации Кода
• Генерация контента и несколько выстрелов (Prompt Engineering)
• Вперед К Программному Использованию
• Совместимость LM Studio и ее OpenAI
• Больше примеров кода!
• Погружаясь Глубже В API Студии LM
• Использование Python / JavaScript SDKs

4. Глубокое погружение в Ollama Studio

• Модуль Введение
• Установка и запуск Ollama
• Поиск пригодных для использования открытых моделей
• Запуск Открытых LLMs Локально через Ollama
• Добавление графического интерфейса с открытым WebUI
• Работа с многолинейными сообщениями и вводом изображений (многообразие)
• Проверка Моделей И Извлечение Информации О Типовой Образце
• Редактирование Системные Сообщения И Параметры Модели
• Сессии и модели сохранения и загрузки
• Управление моделями
• Создание модельных чертежей с помощью Model Files
• Создание Моделей Из Modelfiles
• Изучая смысл типовых шаблонов
• Построение модели с нуля из файла GGUF
• Начало работы с сервером Ollama (API)
• Исследование Ollama API и программный доступ к модели
• Получение структурированного вывода
• Больше примеров кода!
• Использование Python / JavaScript SDKs

5. Итоги

• Итоги
• Бонусная лекция

Спойлер: Оригинальное описание

Unlock the Power of Private, Powerful AI on Your Own PC!

ChatGPT, Google Gemini and all those other AI chatbots are standard tools for everyday use. But like all tools, they're not the best choices for all tasks. When privacy, cost, offline access, or deep customization matter, running powerful open models locally on your own computer beats all those proprietary models and third-party AI chatbots.

This course will teach you how to leverage open LLMs like Meta's Llama models, Google's Gemma models or DeepSeek models to run AI workloads and AI chatbots right on your machine - no matter if it's a high-end PC or a normal laptop.

This course is tailor-made for:

• Developers looking to integrate powerful, private AI into their workflows or applications.
• Tech enthusiasts eager to experiment with cutting-edge AI without the cloud constraints.
• Privacy-conscious individuals wanting full control over their data when using AI.
• Anyone seeking powerful AI solutions without ongoing subscription costs.
• Students and professionals aiming to add practical, in-demand AI skills to their toolkit.

Course Overview:

• The Open LLM Landscape: Understand what open models are and why they matter (and where to find them).
• Hardware Demystified: Learn the realistic hardware requirements for running LLMs locally
• Quantization Explained: Uncover the technique that makes running huge models feasible on consumer hardware.
• LM Studio In-Depth: Get hands-on with installing, configuring, selecting, downloading, and running models using LM Studio.
• Ollama Mastery: Learn to install, configure, and interact with models seamlessly via Ollama.
• Real-World Use Cases: Apply your knowledge to practical tasks like image OCR (reading text from images), summarizing PDF documents, mastering few-shot prompting, and generating creative content.
• Programmatic Power: Discover how to integrate these locally running models into your own scripts and applications using their built-in APIs (LM Studio & Ollama).
• And much more! Build a solid foundation and gain the confidence to explore the vast potential of local AI.

Requirements:

• Basic understanding of LLM functionality & usage
• no programming or advanced technical expertise is required
• If you want to run models locally: At least 8 GB of (V)RAM will be required

Course content:
1. Introduction

• Welcome To The Course!
• What Exactly Are "Open LLMs"?
• Why Would You Want To Run Open LLMs Locally2
• Popular Open LLMs - Some Examples
• Where To Find Open LLMs?
• Running LLMs Locally - Available Options
• Check The Model Licenses!
• Course Slides

2. Understanding Hardware Requirements & Quantization

• Module Introduction
• LLM Hardware Requirements - First Steps
• Deriving Hardware Requirements From Model Parameters
• Quantization To The Rescue!
• Does It Run On Your Machine?

3. LM Studio Deep Dive

• Module Introduction
• Running Locally vs Remotely
• Installing & Using LM Studio
• Finding, Downloading & Activating Open LLMs
• Using the LM Studio Chat Interface
• Working with System Prompts & Presets
• Managing Chats
• Power User Features For Managing Models & Chats
• Leveraging Multimodal Models & Extracting Content From Images (OC
• Analyzing & Summarizing PDF Documents
• Onwards To More Advanced Settings
• Understanding Temperature, top_k&top_p
• Controlling Temperature, top_k &top_pin LM Studio
• Managing the Underlying Runtime & Hardware Configuration
• Managing Context Length
• Using Flash Attention
• Working With Structured Outputs
• Using Local LLMs For Code Generation
• Content Generation & Few Shot Prompting (Prompt Engineering)
• Onwards To Programmatic Use
• LM Studio & Its OpenAl Compatibility
• More Code Examples!
• Diving Deeper Into The LM Studio APIs
• Using the Python / JavaScript SDKs

4. Ollama Deep Dive

• Module Introduction
• Installing & Starting Ollama
• Finding Usable Open Models
• Running Open LLMs Locally via Ollama
• Adding a GUI with Open Web UI
• Dealing with Multiline Messages & Image Input (Multimodality
• Inspecting Models & Extracting Model Information
• Editing System Messages & Model Parameters
• Saving & Loading Sessions and Models
• Managing Models
• Creating Model Blueprints via Model files
• Creating Models From Model files
• Making Sense of Model Templates
• Building a Model From Scratch From a GGUF File
• Getting Started with the Llama Server (API)
• Exploring the Llama API & Programmatic Model Access
• Getting Structured Output
• More Code Examples!
• Using the Python / JavaScript SDKs

5. Course Roundup

• Roundup
• Bonus Lecture

Цена 1800 руб. (19.99 евро)
Скрытая ссылка