avatar Константин Плисов

Промт по картинке: раскройте потенциал с преобразованием изображений в текст

Промт по картинке

И опять самый важный вопрос, промт для генерации изображений, который сложно составить для нужного результата. И в этом отчасти могут помочь сайты, умеющие генерировать промт по картинке. Отличный вариант для использования этой технологии в подборе промтов для генерации изображений.

Давайте немного о самой генерации и про что непосредственно эта публикация. На основе промта, вы можете сгенерировать фактически любое изображение. Сделать это можно как на онлайн-сервисах, о которых писал много и подробно по темам. Ссылки оставлю в конце статьи.

В этой публикации разбирать, основы или нейронные генеративные площадки, не буду, как и онлайн-генераторы для промтов по описанию. Для этого у меня есть отдельная статья, можно посмотреть вот здесь — генераторы промтов.

Список сайтов по созданию описания - промт по картинке, фото, иллюстрации

Текстовые генераторы промтов имеют отличия, у них нет возможности загрузить файл, по которому нейронная сеть составит — описание. В этой же подборке сервис, позволяющий загружать, файл, фото, картинку — он считает информацию и превратит её в текстовое описание. Давайте сразу и рассмотрим на примере, сайта с такой функцией.

На сайте replicate есть отдельный раздел img2prompt, полная ссылка - https://replicate.com/methexis-inc/img2prompt.

Открываем сайт и видим сразу, представлен, пример. Автоматически загружена фотография, зеленоглазого кота в костюме. Сервис разделён на два поля, это Input (вход) и Output (выход).

Список сайтов по созданию описания - промт по картинке, фото, иллюстрации
источник https://replicate.com/methexis-inc/img2prompt

Над фотографией краткое описание: Get an approximate text prompt, with style, matching an image. (Optimized for stable-diffusion (clip ViT-L/14)), перевод на русский - получите примерную текстовую подсказку со стилем, соответствующим изображению. (Оптимизирован для стабильной диффузии (клип ViT-L/14)).

Похожие статьи
Обновление YandexGPT 2
2023
Все статьи на сайте gmgo.ru

 

Как получить промт по картинке

И вот ещё небольшая инструкция, как получить промт по картинке. Это только для информации, так как я, например, первый раз не понял, куда именно нужно загрузить файл.

Под картинкой котика, о которой я уже упоминал выше, есть два активных поля.

  1. Первое поле — с файлом и рядом есть, иконка корзины. Она удалит загруженный файл.
  2. Второе поле — подключиться к вашей веб-камере для того, чтобы сделать снимок и по фото сделать промт.
Как получить промт по картинке
Как удалить картинку

Нажимаем удалить изображение и кликаем, по полю для загрузки картинки или фото, со своего устройства. После того как изображение загрузилось, под картинкой чуть ниже, находим кнопочку RUN. Не ошибётесь, там две кнопочки — reset и run.

Я загрузил пиксельный телевизор, просто картинка из интернета либо с пиксель арта, уже не помню. Суть не меняет, её мы и будем использовать для примера, получения промта по картинке на разных сервисах и сайтах. Что касается первого сайта! Промт (описание) генерируется относительно недолго, поэтому смело можно отнести к неплохому инструменту для получения промтов по изображениям.

Как я уже писал, использую пиксельный телевизор и вот какой промт получилось сгенерировать. Правда, он подумал, что это монитор, но понял, что это пиксельное изображение, которое к тому же похоже на старые 2D игры. По-моему, оценка удовлетворительно. С учётом того, что если вам нужен телевизор, придётся заменить слово монитор, на TV.

a computer monitor sitting on top of a desk, pixel art by Lichtenstein, pixiv, pixel art, #pixelart, 2d game art, 8k resolution

pixelart, 2d game art, 8k resolution
пример промта который получился

Пример промтов по изображениям или из картинки в промт

На первом сайте, указанном в этом материале, я постарался показать механику работы. Как понимаете, логично, что она будет присуща всем аналогичным платформам.

Поэтому дальше буду использовать меньше, текста, так как основа работы — промт по картинке, понятна и практически везде идентична.

image to prompt — изображение в промт (AI Generated Prompt)

https://imagetoprompt.com/ - вторая площадка, рабочая и очень быстро генерирует промты, быстрее, чем первый сайт. Кроме окна, для загрузки изображения и получения промта, по изображению, на сайте больше ничего нет. Второе место, как вариант использования для получения описания нужного вам изображения, от модели нейронной сети. Сайт так и называется — image to prompt.

Промт, естественно, на английском языке, вот что получилось по нашему пиксельному телевизору.

Промт: a television sitting on top of a wooden table, retro tv, crt screens in background, old tv, an old tv, crt screen, tv still frame, crt television, tv static, televisions, tv set, lo-fi retro videogame, crt monitor, television still, video game item, digital flat 2 d, crt tv mounted, retro artwork

image to prompt — изображение в промт
AI Generated Prompt

Мне он понравился больше всего, как заявлено в описании — вместо 30 секунд, генерация промта за две секунды. Хотя скорость, наверно не сильно имеет значения, но сам промт, как видите, более, детальный получился.

Дознаватель подсказок — есть и такое для промта по фото, изображению либо картинке

Есть такая платформа huggingface.co, пространство для машинного обучения, если вы про неё не знаете, рекомендую. Там куча моделей, в том числе и модели нейронных сетей для получения описания или подсказок, по картинке. Многие сайты, сами модели от сюда и берут. Что-то наподобие гитхаба. 

https://huggingface.co/spaces/pharmapsychotic/CLIP-Interrogator - загруженная и готовая модель AI называется, CLIP Interrogator.

Загрузим наш телевизор и посмотрим, что получиться, описать у этой модели. 

Промт: a television sitting on top of a wooden table, #pixelart:3, seamless game texture, pixiv style, 1960s cartoon, tvs, 3 2 x 3 2, very very very highly detailed, doodad, everyday plain object, smol, old home decor, lowshot, reference, one object content, cutscene.

Дознаватель подсказок — есть и такое для промта по фото,
Дознаватель подсказок

Не знаю, важна ли вам скорость, но для примера составил таблицу по скорости генерации подсказки (промта) по картинке. Может, для кого-то это важно. Скорость субъективная, и может зависеть от вашего ПК, если CPU — хромает, то кончено многие модели нейронных генераторов, тоже будут дольше обрабатывать изображение.

Сайт Скорость
https://replicate.com/methexis-inc/img2prompt 40 - 60 секунд.
https://imagetoprompt.com/ 2 секунды.
https://huggingface.co/spaces/pharmapsychotic/CLIP-Interrogator больше 140 секунд.

 

Если этого будет мало, я оставил ссылку в начале статьи — на пост, про генераторы промтов. Это не совсем в тему и они не умеют, генерировать подсказки по изображению! Но зато, отлично это делают на основе, введённых вами данных.

Поэтому рекомендую посмотреть и этот вариант, может быть, он вам зайдёт, лучше, чем — промт по картинке. Хотя последнее, более ленивый вариант. С вас подписка и расшэр в соцсети, чтобы не потерять этот материал и не пропускать, новые посты про нейронные сети, модели и этот новый чудный мир в AI.

--}}
1
0
1
1.8K
Комментарии

Войдите, чтобы прокомментировать или поставить «Мне нравится».

1
кажется, сайт imagetoprompt.com не открывается у меня. 🤔 Жаль, так хотелось поэкспериментировать с преобразованием изображений в текст! Надеюсь, проблема не в битой ссылке ? 🌟
Нет может сайт долго грузится у вас? у меня все открывается, ссылка в порядке. Прям недавно им пользовался работает исправно, так что пробуйте еще раз. 
Актуальное
# драма
131 статей
# мелодрама
71 статей
# фэнтези
51 статей