Учебный лагерь по инженерии ИИ: технология поисковой дополненной генерации (RAG) для LLM [ZTM] [Diogo Resende]

Складчина: Учебный лагерь по инженерии ИИ: технология поисковой дополненной генерации (RAG) для LLM [ZTM] [Diogo Resende]

AI Engineering Bootcamp: Retrieval Augmented Generation (RAG) for LLMs
Язык английский + субтитры русском языке, + озвучка на русском языке (ИИ)



Чему вы научитесь:

• Объедините генеративные модели ИИ с расширенной генерацией поиска для создания более интеллектуальных систем ИИ
• Используйте API OpenAI для генерации текста и обработки неструктурированных данных
• Мастер FAISS для эффективного поиска сходства в больших наборах данных
• Применяйте методы оперативной инженерии для оптимальных реакций ИИ
• Создавайте реальные проекты ИИ, такие как чат-боты и инструменты финансового анализа.
• Изучите передовые концепции RAG, такие как мультимодальный и агентский RAG.

Кто такой инженер ИИ?
Коротко говоря, инженер ИИ работает над всем жизненным циклом приложения ИИ, то есть приложения, которое использует ИИ в своей основе. Инженер ИИ берет модели ИИ, включая большие языковые модели, и настраивает их под свои нужды.
(Если вам нужна длинная версия, ознакомьтесь с нашей записью в блоге здесь )
Для этого требуется все: от создания моделей с использованием пользовательских наборов данных до обучения и настройки моделей, развертывания моделей и их масштабирования с использованием облачных технологий.
Роль растет как лесной пожар, но она все еще развивается и, несомненно, будет продолжать развиваться по мере изменения ландшафта ИИ.

Что такое поисковой дополненной генерации (RAG)?
Вы когда-нибудь задумывались, почему некоторые системы ИИ могут ощущаться ограниченными, давая ответы, которые кажутся немного общими или нецелевыми? Ну, это потому, что они ограничены знаниями в своих обучающих данных.
И это много данных. Но это не все. Они не включают в себя частные данные, а также не включают в себя последние данные, которые были созданы с момента обучения модели.
Технология поисковой дополненной генерации (RAG) решает эту проблему, дополняя модели ИИ этой частной или новой информацией.
Вместо того чтобы полагаться только на то, чему он был обучен, RAG извлекает актуальную, релевантную информацию из базы данных или документа.
Вот как это работает: система сначала находит наиболее релевантные фрагменты информации для заданного вопроса (поиск). Затем она использует языковую модель для генерации ответа на основе этой информации (генерация). Вот почему это называется генерацией, дополненной поиском!
Результатом является искусственный интеллект, который сочетает в себе лучшее из обоих миров: доступ к внешним знаниям в режиме реального времени и способность ясно их выражать.

Давайте рассмотрим пример.
Представьте себе: вы просматриваете сайт магазина одежды, ищете определенную куртку вашего размера и любимого цвета, но не уверены, есть ли она в наличии. Вместо того, чтобы кликать по бесконечным фильтрам, чат-бот на базе RAG может сделать это без усилий.
Когда вы спрашиваете: «У вас есть синяя куртка среднего размера?», система RAG извлекает данные о запасах в режиме реального времени из базы данных магазина. Она находит точные данные, такие как наличие в близлежащих магазинах или предполагаемые даты доставки — информацию, которой не было бы в данных обучения модели ИИ. А затем она использует эту информацию для генерации полезного ответа: «Да, у нас есть на складе! Вы можете забрать его в нашем магазине в центре города или заказать доставку к пятнице».
Такое динамичное и точное взаимодействие делает процесс покупок проще и быстрее, гарантируя, что вы получите необходимые ответы без лишних хлопот.
RAG все чаще используется в приложениях ИИ, таких как чат-боты, исследовательские инструменты и системы анализа данных, где точность и контекст имеют важное значение. Это практичный способ сделать ИИ более надежным и полезным в сложных сценариях.

Почему именно этот курс RAG?
Ну, потому что это лучший, самый современный и практичный онлайн-курс по разработке искусственного интеллекта, который научит вас реальным навыкам RAG и позволит вам получить практические навыки, которые вы сможете использовать в реальном мире.
Но, конечно, мы предвзяты.

Итак, вот краткое изложение того, что рассматривается в этом курсе RAG Bootcamp, чтобы вы могли составить собственное мнение:

1. Основы систем поиска : этот раздел закладывает основу для понимания того, как искать и извлекать информацию из больших наборов данных. Вы узнаете, как подготовить текстовые данные для извлечения, изучите различные модели поиска (булевы, векторные, вероятностные) и поймете концепции индексации, запросов и ранжирования. Цель состоит в том, чтобы вооружить вас навыками эффективного поиска релевантной информации в больших наборах данных.
2. Основы моделей генерации : основываясь на концепциях поиска, этот раздел знакомит с принципами генерации текста с использованием ИИ. Вы узнаете об архитектуре трансформатора, которая произвела революцию в обработке естественного языка, и о том, как механизмы внимания в трансформаторах позволяют моделям фокусироваться на наиболее важных частях ввода. Вы также получите представление о методах подготовки данных и обучения для этих моделей.
3. Введение в RAG : в этом разделе представлены основные концепции Retrieval-Augmented Generation, объясняющие, как он объединяет сильные стороны моделей поиска и генерации для создания более точных, контекстно-релевантных и всесторонних ответов. Вы узнаете о базовой архитектуре RAG и поймете, почему она становится все более важной в различных приложениях ИИ.
4. Работа с API OpenAI : этот раздел посвящен обучению вас использованию API OpenAI для доступа и использования их мощных моделей ИИ, в частности для генерации текста и обработки изображений. Вы узнаете о получении ключей API, настройке среды, создании эффективных подсказок, настройке параметров и понимании влияния системных подсказок на поведение ИИ.
5. RAG с реализацией OpenAI : этот раздел объединяет все, что вы узнали до сих пор, чтобы научить вас создавать полностью функциональные системы RAG с использованием моделей OpenAI. Вы интегрируете компоненты поиска и генерации, изучите передовые концепции RAG, такие как многомодальный RAG, и используете API OpenAI для создания интеллектуальных систем, способных выполнять сложные задачи.
6. Работа с неструктурированными данными : в этом разделе рассматриваются проблемы и методы работы с неструктурированными данными, которые составляют подавляющее большинство информации в реальном мире. Вы узнаете, как обрабатывать и извлекать информацию из различных форматов, таких как PDF-файлы, документы Word, презентации PowerPoint, EPUB, изображения и данные Excel. Этот раздел снабжает вас инструментами для раскрытия ценности, скрытой в неструктурированных данных.
7. Мультимодальный RAG : основываясь на вашем понимании RAG, этот раздел знакомит с концепцией мультимодального RAG, которая расширяет возможности RAG для обработки данных из нескольких модальностей, таких как текст и изображения. Вы узнаете, как создавать системы, которые могут интегрировать различные типы данных для генерации более богатых и более контекстно релевантных ответов.
8. 8. Агентный RAG : в этом разделе представлена концепция агентного RAG, с упором на создание агентов ИИ, которые могут взаимодействовать с пользователями, выполнять задачи и принимать решения автономно. Курс охватывает управление состоянием агента, рабочие процессы и интеграцию поиска и генерации в агентные системы. В этом разделе представлены передовые разработки RAG и рассматривается, как агенты ИИ могут динамически реагировать на запросы пользователей и выполнять сложные задачи.

Длительность курса: 17 часов 53 минуты, 150 уроков

Промо на русском языке:

Спойлер: Оригинал

What Is An AI Engineer?
The short version is that an AI Engineer works on the entire lifecycle of an AI application - that is, an application that utilizes AI at its core. An AI Engineer takes AI models, including Large Language Models, and customizes them to their needs.

That requires everything from building models using custom datasets, to training and tuning models, to deploying models and scaling them using cloud technologies.

The role is growing like wildfire, but it's still evolving and will no doubt continue evolving as the AI landscape changes.

What Is Retrieval Augmented Generation (RAG)?
Have you ever wondered why some AI systems can feel limited, giving answers that seem a bit generic or off-target? Well that's because they're limited to the knowledge in their training data.

And that's a lot of data. But it's not everything. It doesn't include private data, nor does it include recent data that has been created since the model was trained.

Retrieval-Augmented Generation, or RAG, addresses this by supplementing AI models with that private or new information.

Instead of relying only on what it was trained on, RAG retrieves up-to-date, relevant information from a database or document.

Here’s how it works: the system first finds the most relevant pieces of information for a given question (retrieval). Then, it uses a language model to generate a response based on that information (generation). That's why it's called retrieval-augmented generation!

The result is an AI that combines the best of both worlds: real-time access to external knowledge and the ability to express it clearly.

Let's do an example.

Picture this: You’re browsing a clothing store’s website, looking for a specific jacket in your size and favorite color, but you’re not sure if it’s in stock. Instead of clicking through endless filters, a chatbot powered by RAG can make this effortless.

When you ask, “Do you have the blue jacket in a medium size?” the RAG system retrieves real-time inventory data from the store’s database. It finds the exact details, like availability in nearby stores or estimated delivery dates - information that would not be in the AI model's training data. And then it uses that information to generate a useful response: “Yes, we have it in stock! You can pick it up at our downtown location or have it delivered by Friday.”

This kind of dynamic, accurate interaction makes shopping easier and faster, ensuring you get the answers you need without the hassle.

RAG is increasingly used in AI applications like chatbots, research tools, and data analysis systems, where accuracy and context are essential. It’s a practical way to make AI more reliable and useful in complex scenarios.

Why This RAG Course?
Well, because it's the best, most up-to-date, and practical AI Engineering Bootcamp course online that teaches you real-world RAG skills and that lets you get hands-on so that you can actually use your skills in the real-world.

But of course we're biased. So here's a breakdown of what's covered in this RAG Bootcamp course so that you can make up your own mind:

1. Basics of Retrieval Systems: This section lays the foundation for understanding how to search and retrieve information from large datasets. You will learn how to prepare text data for retrieval, explore different retrieval models (Boolean, vector space, probabilistic), and understand the concepts of indexing, querying, and ranking. The goal is to equip you with the skills to efficiently find relevant information within massive datasets.

2. Basics of Generation Models: Building on the retrieval concepts, this section introduces the principles of text generation using AI. You will learn about the transformer architecture, which has revolutionised natural language processing, and how attention mechanisms within transformers allow models to focus on the most relevant parts of the input. You will also gain an understanding of data preparation and training techniques for these models.

3. Introduction to RAG: This section introduces the core concepts of Retrieval-Augmented Generation, explaining how it combines the strengths of retrieval and generation models to create more accurate, contextually relevant, and comprehensive responses. You will learn about the basic RAG architecture and understand why it is becoming increasingly important in various AI applications.

4. Working With The OpenAI API: This section focuses on teaching you how to use OpenAI's API for accessing and utilizing their powerful AI models, particularly for text generation and image processing. You will learn about obtaining API keys, setting up your environment, crafting effective prompts, tuning parameters, and understanding the system prompt's influence on the AI's behaviour.

5. RAG with OpenAI Implementation: This section brings together everything you have learned so far to teach you how to build fully functional RAG systems using OpenAI models. You will integrate retrieval and generation components, explore advanced RAG concepts like multi-modal RAG, and use the OpenAI API to create intelligent systems capable of handling complex tasks.

6. Working with Unstructured Data: This section delves into the challenges and techniques for working with unstructured data, which constitutes a vast majority of real-world information. You will learn how to process and extract information from various formats like PDFs, Word documents, PowerPoint presentations, EPUBs, images, and Excel data. This section equips you with the tools to unlock the value hidden within unstructured data.

7. Multimodal RAG: Building on your understanding of RAG, this section introduces the concept of multi-modal RAG, which extends the capabilities of RAG to handle data from multiple modalities, such as text and images. You will learn how to build systems that can integrate different data types to generate richer and more contextually relevant responses.

8. Agentic RAG: This section introduces the concept of agentic RAG, focusing on building AI agents that can interact with users, handle tasks, and make decisions autonomously. The course covers agent state management, workflows, and integrating retrieval and generation into agentic systems. This section represents the cutting edge of RAG development and explores how AI agents can dynamically respond to user requests and complete complex tasks.

Цена: 4500 рублей ($49)
Скрытая ссылка