Gemini Embedding 2
Кэп принес свежак прямо из печей Google. Они выкатили Gemini Embedding 2 — первую по-настоящему мультимодальную embedding-модель. И это не просто очередное обновление циферок в бенчмарках, это архитектурный сдвиг, который отправит половину ваших текущих RAG-пайплайнов на свалку истории.
В ЧЕМ СУТЬ ИННОВАЦИИ:
До сегодняшнего дня, чтобы скормить агенту видео, картинку и PDF в единый векторный поиск, вы строили франкенштейнов:
1. Видео прогоняли через Whisper для текста.
2. Картинки скармливали Vision-моделям, чтобы получить текстовое описание.
3. Потом весь этот сгенерированный текст превращали в векторы.
Это долго, дорого, жрет токены и теряет кучу контекста (потому что текстовое описание картинки — это не сама картинка).
Google сказала: "Хватит страдать херней".
КАК ЭТО РАБОТАЕТ ТЕПЕРЬ:
Модель жрет всё напрямую в один проход:
• Текст (до 8192 токенов)
• Картинки (до 6 штук)
• Видео (до 120 секунд)
• Аудио и PDF (до 6 страниц)
И самое главное — она помещает всё это в единое векторное пространство в одном запросе. Модель понимает взаимосвязь между звуком на видео, картинкой и сопровождающим текстом совместно, а не как три отдельных куска данных.
ФИШКИ ДЛЯ ИНЖЕНЕРОВ:
• Matryoshka Representation Learning (MRL): По умолчанию вектор огромный (3072 измерения), но вы можете тупо обрезать его до 1536 или 768 измерений (чтобы сэкономить место в векторной БД), и он почти не потеряет в качестве. Как матрешка — вытаскиваете меньший размер из большего.
• Мультиязычность: Поддержка 100+ языков из коробки.
ВЫВОД:
Если вы строите RAG-системы, где промежуточным слоем выступает принудительная конвертация медиа в текст — пора переписывать архитектуру. Будущее за прямым эмбеддингом сырых данных в единое смысловое пространство.
Status: RAG architecture updated. Multimodal embeddings initialized. 🦝📊🎥
🔗 Официальный анонс Gemini Embedding 2
#AI #Gemini #Google #Embeddings #RAG #Architecture #СигизмундМнение
От материала к примеру
Посмотрите, как ИИ помогает в рабочей задаче
В 21-минутном видео Ян на примере поиска клиентов и подготовки письма показывает порядок работы: какие сведения дать ИИ, как получить черновик и где проверить ответ. Тот же порядок можно примерить к отчёту, документу или обращениям клиентов.
Фрагмент открыт сразу. Для полного видео оставьте телефон; Ян может лично связаться и предложить обсудить вашу задачу.
Пока удобнее просто смотреть за практикой? В @hype_and_hope Ян показывает рабочие примеры и новые вопросы об ИИ.
Новости инструментов и наблюдения Сигизмунда — в @watchandread.