Промт по картинке: раскройте потенциал с преобразованием изображений в текст

И опять самый важный вопрос, промт для генерации изображений, который сложно составить для нужного результата. И в этом отчасти могут помочь сайты, умеющие генерировать промт по картинке. Отличный вариант для использования этой технологии в подборе промтов для генерации изображений.

Давайте немного о самой генерации и про что непосредственно эта публикация. На основе промта, вы можете сгенерировать фактически любое изображение. Сделать это можно как на онлайн-сервисах, о которых писал много и подробно по темам. Ссылки оставлю в конце статьи.

В этой публикации разбирать, основы или нейронные генеративные площадки, не буду, как и онлайн-генераторы для промтов по описанию. Для этого у меня есть отдельная статья, можно посмотреть вот здесь — генераторы промтов.

Список сайтов по созданию описания - промт по картинке, фото, иллюстрации

Текстовые генераторы промтов имеют отличия, у них нет возможности загрузить файл, по которому нейронная сеть составит — описание. В этой же подборке сервис, позволяющий загружать, файл, фото, картинку — он считает информацию и превратит её в текстовое описание. Давайте сразу и рассмотрим на примере, сайта с такой функцией.

На сайте replicate есть отдельный раздел img2prompt, полная ссылка - https://replicate.com/methexis-inc/img2prompt.

Открываем сайт и видим сразу, представлен, пример. Автоматически загружена фотография, зеленоглазого кота в костюме. Сервис разделён на два поля, это Input (вход) и Output (выход).

Над фотографией краткое описание: Get an approximate text prompt, with style, matching an image. (Optimized for stable-diffusion (clip ViT-L/14)), перевод на русский - получите примерную текстовую подсказку со стилем, соответствующим изображению. (Оптимизирован для стабильной диффузии (клип ViT-L/14)).

Как получить промт по картинке

И вот ещё небольшая инструкция, как получить промт по картинке. Это только для информации, так как я, например, первый раз не понял, куда именно нужно загрузить файл.

Под картинкой котика, о которой я уже упоминал выше, есть два активных поля.

1. Первое поле — с файлом и рядом есть, иконка корзины. Она удалит загруженный файл.
2. Второе поле — подключиться к вашей веб-камере для того, чтобы сделать снимок и по фото сделать промт.

Нажимаем удалить изображение и кликаем, по полю для загрузки картинки или фото, со своего устройства. После того как изображение загрузилось, под картинкой чуть ниже, находим кнопочку RUN. Не ошибётесь, там две кнопочки — reset и run.

Я загрузил пиксельный телевизор, просто картинка из интернета либо с пиксель арта, уже не помню. Суть не меняет, её мы и будем использовать для примера, получения промта по картинке на разных сервисах и сайтах. Что касается первого сайта! Промт (описание) генерируется относительно недолго, поэтому смело можно отнести к неплохому инструменту для получения промтов по изображениям.

Как я уже писал, использую пиксельный телевизор и вот какой промт получилось сгенерировать. Правда, он подумал, что это монитор, но понял, что это пиксельное изображение, которое к тому же похоже на старые 2D игры. По-моему, оценка удовлетворительно. С учётом того, что если вам нужен телевизор, придётся заменить слово монитор, на TV.

a computer monitor sitting on top of a desk, pixel art by Lichtenstein, pixiv, pixel art, #pixelart, 2d game art, 8k resolution

Пример промтов по изображениям или из картинки в промт

На первом сайте, указанном в этом материале, я постарался показать механику работы. Как понимаете, логично, что она будет присуща всем аналогичным платформам.

Поэтому дальше буду использовать меньше, текста, так как основа работы — промт по картинке, понятна и практически везде идентична.

image to prompt — изображение в промт (AI Generated Prompt)

https://imagetoprompt.com/ - вторая площадка, рабочая и очень быстро генерирует промты, быстрее, чем первый сайт. Кроме окна, для загрузки изображения и получения промта, по изображению, на сайте больше ничего нет. Второе место, как вариант использования для получения описания нужного вам изображения, от модели нейронной сети. Сайт так и называется — image to prompt.

Промт, естественно, на английском языке, вот что получилось по нашему пиксельному телевизору.

Промт: a television sitting on top of a wooden table, retro tv, crt screens in background, old tv, an old tv, crt screen, tv still frame, crt television, tv static, televisions, tv set, lo-fi retro videogame, crt monitor, television still, video game item, digital flat 2 d, crt tv mounted, retro artwork

Мне он понравился больше всего, как заявлено в описании — вместо 30 секунд, генерация промта за две секунды. Хотя скорость, наверно не сильно имеет значения, но сам промт, как видите, более, детальный получился.

Дознаватель подсказок — есть и такое для промта по фото, изображению либо картинке

Есть такая платформа huggingface.co, пространство для машинного обучения, если вы про неё не знаете, рекомендую. Там куча моделей, в том числе и модели нейронных сетей для получения описания или подсказок, по картинке. Многие сайты, сами модели от сюда и берут. Что-то наподобие гитхаба. 

https://huggingface.co/spaces/pharmapsychotic/CLIP-Interrogator - загруженная и готовая модель AI называется, CLIP Interrogator.

Загрузим наш телевизор и посмотрим, что получиться, описать у этой модели. 

Промт: a television sitting on top of a wooden table, #pixelart:3, seamless game texture, pixiv style, 1960s cartoon, tvs, 3 2 x 3 2, very very very highly detailed, doodad, everyday plain object, smol, old home decor, lowshot, reference, one object content, cutscene.

Не знаю, важна ли вам скорость, но для примера составил таблицу по скорости генерации подсказки (промта) по картинке. Может, для кого-то это важно. Скорость субъективная, и может зависеть от вашего ПК, если CPU — хромает, то кончено многие модели нейронных генераторов, тоже будут дольше обрабатывать изображение.

Если этого будет мало, я оставил ссылку в начале статьи — на пост, про генераторы промтов. Это не совсем в тему и они не умеют, генерировать подсказки по изображению! Но зато, отлично это делают на основе, введённых вами данных.

Поэтому рекомендую посмотреть и этот вариант, может быть, он вам зайдёт, лучше, чем — промт по картинке. Хотя последнее, более ленивый вариант. С вас подписка и расшэр в соцсети, чтобы не потерять этот материал и не пропускать, новые посты про нейронные сети, модели и этот новый чудный мир в AI.