Промт по картинке: раскройте потенциал с преобразованием изображений в текст
![Промт по картинке: раскройте потенциал с преобразованием изображений в текст Промт по картинке](/uploads/articles/posters/2-4fba962e-8f52-492d-bdd9-bab4262946db.jpg)
И опять самый важный вопрос, промт для генерации изображений, который сложно составить для нужного результата. И в этом отчасти могут помочь сайты, умеющие генерировать промт по картинке. Отличный вариант для использования этой технологии в подборе промтов для генерации изображений.
Давайте немного о самой генерации и про что непосредственно эта публикация. На основе промта, вы можете сгенерировать фактически любое изображение. Сделать это можно как на онлайн-сервисах, о которых писал много и подробно по темам. Ссылки оставлю в конце статьи.
В этой публикации разбирать, основы или нейронные генеративные площадки, не буду, как и онлайн-генераторы для промтов по описанию. Для этого у меня есть отдельная статья, можно посмотреть вот здесь — генераторы промтов.
Список сайтов по созданию описания - промт по картинке, фото, иллюстрации
Текстовые генераторы промтов имеют отличия, у них нет возможности загрузить файл, по которому нейронная сеть составит — описание. В этой же подборке сервис, позволяющий загружать, файл, фото, картинку — он считает информацию и превратит её в текстовое описание. Давайте сразу и рассмотрим на примере, сайта с такой функцией.
На сайте replicate есть отдельный раздел img2prompt, полная ссылка - https://replicate.com/methexis-inc/img2prompt.
Открываем сайт и видим сразу, представлен, пример. Автоматически загружена фотография, зеленоглазого кота в костюме. Сервис разделён на два поля, это Input (вход) и Output (выход).
![Список сайтов по созданию описания - промт Список сайтов по созданию описания - промт по картинке, фото, иллюстрации](https://gmgo.ru/uploads/articles/images/2-27add628-edab-4347-bfd1-adb76807e65c.jpg)
Над фотографией краткое описание: Get an approximate text prompt, with style, matching an image. (Optimized for stable-diffusion (clip ViT-L/14)), перевод на русский - получите примерную текстовую подсказку со стилем, соответствующим изображению. (Оптимизирован для стабильной диффузии (клип ViT-L/14)).
Как получить промт по картинке
И вот ещё небольшая инструкция, как получить промт по картинке. Это только для информации, так как я, например, первый раз не понял, куда именно нужно загрузить файл.
Под картинкой котика, о которой я уже упоминал выше, есть два активных поля.
- Первое поле — с файлом и рядом есть, иконка корзины. Она удалит загруженный файл.
- Второе поле — подключиться к вашей веб-камере для того, чтобы сделать снимок и по фото сделать промт.
![получить промт по картинке Как получить промт по картинке](https://gmgo.ru/uploads/articles/images/2-b51fb819-d8d1-4ab9-8eda-9388d4a07078.jpg)
Нажимаем удалить изображение и кликаем, по полю для загрузки картинки или фото, со своего устройства. После того как изображение загрузилось, под картинкой чуть ниже, находим кнопочку RUN. Не ошибётесь, там две кнопочки — reset и run.
Я загрузил пиксельный телевизор, просто картинка из интернета либо с пиксель арта, уже не помню. Суть не меняет, её мы и будем использовать для примера, получения промта по картинке на разных сервисах и сайтах. Что касается первого сайта! Промт (описание) генерируется относительно недолго, поэтому смело можно отнести к неплохому инструменту для получения промтов по изображениям.
Как я уже писал, использую пиксельный телевизор и вот какой промт получилось сгенерировать. Правда, он подумал, что это монитор, но понял, что это пиксельное изображение, которое к тому же похоже на старые 2D игры. По-моему, оценка удовлетворительно. С учётом того, что если вам нужен телевизор, придётся заменить слово монитор, на TV.
a computer monitor sitting on top of a desk, pixel art by Lichtenstein, pixiv, pixel art, #pixelart, 2d game art, 8k resolution
![a computer monitor pixelart, 2d game art, 8k resolution](https://gmgo.ru/uploads/articles/images/2-a94c2097-926d-4a36-bd7c-5b6b6f311ba7.jpg)
Пример промтов по изображениям или из картинки в промт
На первом сайте, указанном в этом материале, я постарался показать механику работы. Как понимаете, логично, что она будет присуща всем аналогичным платформам.
Поэтому дальше буду использовать меньше, текста, так как основа работы — промт по картинке, понятна и практически везде идентична.
image to prompt — изображение в промт (AI Generated Prompt)
https://imagetoprompt.com/ - вторая площадка, рабочая и очень быстро генерирует промты, быстрее, чем первый сайт. Кроме окна, для загрузки изображения и получения промта, по изображению, на сайте больше ничего нет. Второе место, как вариант использования для получения описания нужного вам изображения, от модели нейронной сети. Сайт так и называется — image to prompt.
Промт, естественно, на английском языке, вот что получилось по нашему пиксельному телевизору.
Промт: a television sitting on top of a wooden table, retro tv, crt screens in background, old tv, an old tv, crt screen, tv still frame, crt television, tv static, televisions, tv set, lo-fi retro videogame, crt monitor, television still, video game item, digital flat 2 d, crt tv mounted, retro artwork
![AI Generated Prompt image to prompt — изображение в промт](https://gmgo.ru/uploads/articles/images/2-a7b622a2-93a6-400a-a159-d152ad08da08.jpg)
Мне он понравился больше всего, как заявлено в описании — вместо 30 секунд, генерация промта за две секунды. Хотя скорость, наверно не сильно имеет значения, но сам промт, как видите, более, детальный получился.
Дознаватель подсказок — есть и такое для промта по фото, изображению либо картинке
Есть такая платформа huggingface.co, пространство для машинного обучения, если вы про неё не знаете, рекомендую. Там куча моделей, в том числе и модели нейронных сетей для получения описания или подсказок, по картинке. Многие сайты, сами модели от сюда и берут. Что-то наподобие гитхаба.
https://huggingface.co/spaces/pharmapsychotic/CLIP-Interrogator - загруженная и готовая модель AI называется, CLIP Interrogator.
Загрузим наш телевизор и посмотрим, что получиться, описать у этой модели.
Промт: a television sitting on top of a wooden table, #pixelart:3, seamless game texture, pixiv style, 1960s cartoon, tvs, 3 2 x 3 2, very very very highly detailed, doodad, everyday plain object, smol, old home decor, lowshot, reference, one object content, cutscene.
![Дознаватель подсказок — есть и такое для промта по фото, изображению либо картинке Дознаватель подсказок — есть и такое для промта по фото,](https://gmgo.ru/uploads/articles/images/2-915c1d95-e1f5-41a3-a482-4a22030ae92b.jpg)
Не знаю, важна ли вам скорость, но для примера составил таблицу по скорости генерации подсказки (промта) по картинке. Может, для кого-то это важно. Скорость субъективная, и может зависеть от вашего ПК, если CPU — хромает, то кончено многие модели нейронных генераторов, тоже будут дольше обрабатывать изображение.
Сайт | Скорость |
---|---|
https://replicate.com/methexis-inc/img2prompt | 40 - 60 секунд. |
https://imagetoprompt.com/ | 2 секунды. |
https://huggingface.co/spaces/pharmapsychotic/CLIP-Interrogator | больше 140 секунд. |
Если этого будет мало, я оставил ссылку в начале статьи — на пост, про генераторы промтов. Это не совсем в тему и они не умеют, генерировать подсказки по изображению! Но зато, отлично это делают на основе, введённых вами данных.
Поэтому рекомендую посмотреть и этот вариант, может быть, он вам зайдёт, лучше, чем — промт по картинке. Хотя последнее, более ленивый вариант. С вас подписка и расшэр в соцсети, чтобы не потерять этот материал и не пропускать, новые посты про нейронные сети, модели и этот новый чудный мир в AI.
Войдите, чтобы прокомментировать или поставить «Мне нравится».