Архитектура скрытой диффузии нейросети

Latent Diffusion): Как нейросети научились понимать промпты

В 2022 году мир генеративного искусства изменился навсегда. Благодаря появлению архитектуры скрытой диффузии (Latent Diffusion Models, LDM), такие модели, как Stable Diffusion, Midjourney и DALL-E 2, сделали синтез изображений по текстовому описанию быстрым, доступным и невероятно качественным. В отличие от предшественников (GAN или пиксельных диффузионных моделей), LDM перенесли процесс генерации из громоздкого пространства пикселей в компактное, семантическое пространство. В этой статье мы подробно разберем, как устроена эта архитектура, из каких компонентов она состоит и почему она стала стандартом индустрии.

1. Концепция: Диффузия в сжатом мире

Традиционные диффузионные модели работали по принципу постепенного уничтожения и восстановления данных непосредственно в пиксельном пространстве. Если представить изображение размером 512x512 пикселей с тремя цветовыми каналами (RGB), то это массив из 786 432 чисел. Работа с такой размерностью требует огромных вычислительных ресурсов и времени даже на мощных видеокартах.

Ключевая идея скрытой диффузии: Зачем обрабатывать каждый пиксель, если нейросеть может оперировать более абстрактными понятиями? Вместо того чтобы "шумлять" и "очищать" пиксели, LDM делает это в латентном (скрытом) пространстве — сжатом представлении изображения, где каждый элемент кодирует не конкретную точку, а паттерн, текстуру или объект.

Аналогия: Представьте, что вам нужно отредактировать роман, меняя каждую букву (пиксели). Архитектура скрытой диффузии предлагает вместо этого работать со смысловыми абзацами (латентное представление) — это в десятки раз быстрее и эффективнее.

2. Архитектура: Три кита генерации

Любая современная модель скрытой диффузии состоит из трех основных модулей, каждый из которых выполняет свою уникальную функцию.

2.1. Перцептивный сжатие (Perceptual Compression): VAE

Первый компонент — это вариационный автоэнкодер (VAE, Variational Autoencoder). Его задача — научиться сжимать изображение без потери смысла.

• Кодировщик (Encoder): Превращает изображение из пиксельного пространства x в скрытое представление z. Коэффициент сжатия обычно составляет f = 8 или 16. Это значит, что если на вход пришло изображение 512x512x3, то на выходе кодера получается тензор 64x64x4 (или 32x32x8). Объем данных сокращается в десятки раз.
• Декодировщик (Decoder): Выполняет обратную операцию. Он учится по скрытому представлению z реконструировать исходное изображение x с минимальными потерями. Важно, что декодер учится "дорисовывать" текстуры и мелкие детали, которые были потеряны при сжатии, делая картинку естественной.

Таким образом, VAE обеспечивает то самое "скрытое" пространство, в котором будет происходить вся магия генерации.

2.2. Генеративное сжатие (Generative Compression): Denoising U-Net

Это сердце системы. Если VAE — это "сжиматель" и "распаковщик", то U-Net — это "художник", который рисует в сжатом мире.

U-Net — это нейросеть особой архитектуры с симметричной структурой (сужение и расширение), которая изначально создавалась для сегментации изображений. В контексте диффузии она выполняет роль денойзера (очистителя от шума).

• Вход: Зашумленное латентное представление z_t (где t — номер шага шума) и временной шаг t.
• Процесс: U-Net анализирует зашумленные данные и предсказывает, какой шум (ε) присутствует в этом представлении.
• Выход: Очищенная версия латентного представления.

Весь процесс обратной диффузии (reverse diffusion) проходит в латентном пространстве. U-Net итеративно уточняет скрытое представление, двигаясь от полного шума к осмысленному паттерну, который затем сможет декодировать VAE.

2.3. Механизм управления: Cross-Attention

Чтобы генерировать изображение не абы какое, а соответствующее тексту пользователя, архитектура скрытой диффузии использует механизм перекрестного внимания (Cross-Attention). Именно этот модуль связывает мир изображений и мир текста.

• Текстовый энкодер: Пользовательский промпт (например, "красный дракон в стиле киберпанк") пропускается через предобученную языковую модель (чаще всего CLIP или T5). На выходе получается набор эмбеддингов — векторных представлений слов и их контекста.
• Интеграция в U-Net: Внутри слоев U-Net есть специальные блоки Cross-Attention. Они принимают два входа: внутреннее представление текущего латентного образа (Query) и текстовые эмбеддинги (Key/Value).
• Результат: Модель вычисляет, на какие слова из текста нужно "обратить внимание" при генерации той или иной области скрытого представления. Это позволяет точно размещать объекты, подбирать цвета и стили в соответствии с описанием.

Благодаря Cross-Attention, архитектура является условной (conditional), то есть управляемой. Без него модель могла бы генерировать только случайные, неуправляемые изображения.

3. Процесс генерации: От шума к шедевру

Рассмотрим по шагам, как из случайного шума рождается изображение:

1. Семплинг шума: Генерируется случайный тензор z_T в латентном пространстве (чистый шум). Параметр T обозначает максимальный уровень шума.
2. Итеративная очистка (Denoising Loop): Для шага t от T до 1:
   • U-Net принимает текущее латентное представление z_t и шаг t.
   • Механизм Cross-Attention "подмешивает" в процесс текстовые эмбеддинги промпта.
   • U-Net предсказывает шум ε_θ(z_t, t, text).
   • Из z_t вычитается предсказанный шум, получается чуть более чистое представление z_{t-1}.
3. Декодирование: После завершения цикла получается чистое латентное представление z_0. Оно подается на вход декодеру VAE.
4. Постобработка: Декодер преобразует z_0 в финальное RGB-изображение, готовое к показу пользователю.

4. Преимущества перед альтернативами

Почему именно скрытая диффузия стала мейнстримом, вытеснив GAN и пиксельные диффузионные модели?

1. Вычислительная эффективность: Операции в латентном пространстве требуют значительно меньше вычислений и видеопамяти. Это позволяет запускать модели на потребительских видеокартах (6-8 GB VRAM), что было немыслимо для пиксельных диффузионных моделей.
2. Качество и детализация: Сжатие через VAE отсекает высокочастотный шум, неважный для семантики, и позволяет U-Net фокусироваться на глобальной структуре и композиции. При этом декодер VAE умеет восстанавливать мелкие текстуры, что дает высокое качество итогового изображения.
3. Масштабируемость: Легко обучать на больших датасетах (LAION-5B и др.), так как данные проходят через предварительное сжатие.
4. Гибкость (Inpainting и ControlNet): Поскольку мы работаем в латентном пространстве, мы можем легко маскировать части этого представления (для inpaiting) или добавлять дополнительные управляющие сигналы (как в ControlNet), которые влияют на процесс денойзинга.

5. Заключение: Наследие и будущее

Архитектура скрытой диффузии, представленная в работе Ромбаха и соавторов [1], стала фундаментом современной генеративной графики. Она удачно объединила мощь диффузионных моделей с эффективностью автоэнкодеров, добавив к этому точный контроль через механизм внимания.

Сегодня эта архитектура продолжает эволюционировать: появляются модели, работающие с видео (Stable Video Diffusion), трехмерными объектами и даже музыкой. Понимание принципов работы LDM необходимо не только разработчикам, но и художникам, так как позволяет глубже осознать инструмент, с которым они работают, и грамотнее формулировать задачи для нейросети.