Generative Fill in Photoshop (Beta) Hands-On: Digital Photography Review – digitalcameras.ie

Il faut quelque selected de spécial pour que les photographes blasés s’exclament avec une véritable shock lors de l’édition de images. Les exclamations se sont multipliées après qu’Adobe a récemment publié la dernière model bêta publique d’Adobe Photoshop avec une nouvelle fonctionnalité de remplissage génératif qui peut créer des objets, des arrière-plans et des extensions de scène photoréalistes dans les images existantes à l’aide de la technologie IA générative.

Nous avons vu la mise en œuvre par Adobe de l’IA générative dans Adobe Firefly, l’outil Internet permettant de créer des pictures synthétiques entières à partir d’invitations de texte. Generative Fill utilise la technologie Firefly pour modifier les pictures existantes de manière plus ciblée, apportant bientôt l’IA générative à Photoshop en tant que fonctionnalité customary. (Quelques plug-ins Photoshop tiers liés à d’autres systèmes d’IA générative sont disponibles depuis un sure temps, tels que Alpaca et Stability AI.)

Remark fonctionne la machine à faire des pictures

Un système d’IA génératif comme Firefly crées pictures entièrement originales basées sur ce qui est décrit dans une invite de texte. Il ne soulève pas des sections d’pictures existantes et ne les jette pas ensemble pour créer une nouvelle composition. Au lieu de cela, en utilisant ce qu’il a appris en ingérant des hundreds of thousands de images, le système invente des scènes et des objets pour correspondre à ce qu’il comprend comme signifiant le texte. Une invite telle que “Voiture ancienne dans une rue pluvieuse la nuit” assemble une picture à partir d’une masse aléatoire de pixels pour correspondre à ce que le système comprend comme étant une “voiture”, une “pluie”, une “rue” et une “nuit”. Les systèmes fournissent généralement plusieurs variations sur votre thème.

Génération d’pictures dans Adobe Firefly à partir d’une easy invite de texte.

Et si vous avez déjà une picture d’une rue pluvieuse la nuit et que vous souhaitez ajouter une voiture ancienne à la composition ? À l’aide de la fonction Remplissage génératif de Photoshop, vous pouvez sélectionner une zone dans laquelle vous souhaitez que la voiture apparaisse et taper “Voiture ancienne” pour en générer une (ceci est également appelé “inpainting”). Ou vous pouvez sélectionner les objets que vous souhaitez supprimer d’une picture et utiliser le remplissage génératif sans invite de texte spécifique pour laisser l’outil déterminer remark remplir la zone manquante.

Adobe rend ce processus plus convivial que les autres systèmes d’IA générative. Il a l’avantage de créer l’outil directement dans Photoshop, où Generative Fill arbore une interface propre et directe. En comparaison, le service populaire Midjourney nécessite que vous rejoigniez un serveur Discord, que vous vous abonniez au service, que vous entriez dans une salle de dialogue configurée pour recevoir des invitations textuelles, puis que vous saisissiez ce que vous souhaitez générer à l’aide de commandes telles que “Imaginez une voiture vintage sur une pluie rue la nuit.’ Vos résultats apparaissent dans une dialogue défilante avec des pictures générées par d’autres qui sont dans la même salle de dialogue.

L’approche de Photoshop lance une nouvelle barre des tâches contextuelle avec des commandes telles que Sélectionner le sujet ou Supprimer l’arrière-plan. Lorsque vous effectuez une sélection à l’aide de l’un des outils de sélection, tel que l’outil Lasso, une possibility dans le bar est un bouton Remplissage génératif.

Faire une sélection dans Photoshop avec la barre des tâches contextuelle seen.

Cliquer sur ce bouton révèle un champ de texte dans lequel vous pouvez décrire ce qui doit être créé dans la sélection. Vous pouvez également laisser le champ vide et cliquer sur le bouton Générer pour que Photoshop détermine ce qui apparaîtra en fonction du contexte de la scène environnante.

Cliquez sur “Remplissage génératif” pour afficher le champ d’invite de texte.

Une fois que vous avez cliqué sur “Générer”, Photoshop produit trois variantes générées par Firefly et vous montre la première. Vous pouvez les parcourir à l’aide des boutons de la barre des tâches contextuelle ou en cliquant sur les vignettes du panneau Propriétés. Si aucune d’entre elles ne semble bonne, vous pouvez cliquer à nouveau sur “Générer” pour obtenir trois autres variantes.

Après avoir généré le résultat, les touristes sont supprimés. Il s’agit de l’une des trois variantes, visibles sous forme de vignettes dans le panneau Propriétés.

(Au fait, si vous êtes frustré par le fait que la barre des tâches contextuelle apparaît directement sous chaque sélection, vous pouvez la faire glisser où vous le souhaitez, puis cliquer sur l’icône à trois factors sur la barre et choisir Pin Bar Place dans le menu.)

Toutes les variations sont contenues dans un nouveau sort de calque, le calque génératif, qui comprend également un masque pour la zone que vous avez sélectionnée. Si vous appliquez le remplissage génératif à une autre zone de l’picture, un nouveau calque génératif est créé. Toutes les variations sont enregistrées dans ces calques, vous pouvez donc revenir en arrière et essayer des variations de manière non damaging, masquer ou afficher les calques, définir le mode de fusion et l’opacité, et utiliser tous les autres attributs flexibles des calques.

Notez également que le remplissage génératif crée des résultats à la même résolution que les images d’origine. Cela contraste avec la plupart des systèmes, y compris Firefly sur le Internet, où les pictures générées sont de faible résolution, généralement de 1024 par 1024 pixels.

Voyons maintenant ce que le remplissage génératif peut faire.

Supprimer des objets

Habituellement, lorsque vous utilisez des outils pour supprimer les éléments indésirables d’une picture, le logiciel tente de combler la zone manquante en utilisant des pixels d’ailleurs dans l’picture (voir Supprimer tout : utiliser un logiciel moderne pour effacer les objets embêtants). Cela devient plus difficile lorsque la zone à supprimer est grande, ce qui entraîne la répétition d’artefacts qui rendent évident que quelque selected a été supprimé.

Le remplissage génératif look at plutôt le contexte de l’picture et tente de créer ce qui aurait du sens à sa place. Dans les exemples ci-dessus où nous avons supprimé les touristes, Photoshop a recréé les lignes et les couleurs des bâtiments et correspond à la texture du sol.

Mais vous ne pouvez pas supposer que la fonctionnalité réussira à chaque fois. Prenez l’picture de deux personnes ci-dessous. Nous pouvons tenter de supprimer une personne (l’homme de gauche) en faisant une sélection lâche autour de lui avec l’outil Lasso pour définir la zone que nous voulons remplacer, puis en cliquant sur Générer sans rien dans la zone de texte. Étrangement, à plusieurs reprises, l’outil a supposé que nous voulions remplacer la personne par une autre personne aléatoire. Et c’étaient des interprétations cauchemardesques de personnes synthétiques.

En laissant le champ de texte vide, Photoshop ne voulait vraiment pas laisser la personne de droite toute seule et a généré des “personnes” de remplacement effrayantes.

Selon Adobe, il n’est pas nécessaire de taper une commande telle que “Supprimer la personne” comme invite lors de l’utilisation du remplissage génératif, mais à la fin, taper cette invite nous a donné le résultat que nous voulions. Notez, cependant, que bien que Photoshop ait renvoyé une variante sans personne (voir ci-dessous), il a également créé deux variantes qui incluaient toujours des personnes.

Nous pouvons peut-être attribuer cela à la fonctionnalité en cours de pré-version, bien qu’il soit plus possible qu’elle révèle que malgré la quantité d’apprentissage automatique, le logiciel ne fait que des suppositions.

Selon les conseils en ligne d’Adobe, vous ne devriez pas avoir besoin d’écrire des commandes telles que “Supprimer une personne”, mais c’est ce qui a finalement fait l’affaire dans cette variante.

Remplacer des éléments et des zones

Supprimer des objets est une selected, mais qu’en est-il de les remplacer par quelque selected de complètement différent ? Avec Generative Fill, vous pouvez créer des choses qui n’ont jamais été dans l’picture d’origine. Par exemple, sur la picture suivante, nous pouvons transformer l’un des desserts en une tarte aux myrtilles en faisant une sélection autour des framboises (élargir légèrement la sélection aide à saisir la texture du papier derrière) et en tapant “Myrtilles” dans le champ d’invite de texte . Il a fallu quelques itérations pour en trouver un qui correspondait, mais ces myrtilles semblent assez convaincantes.

L’picture originale avec les framboises sélectionnées.	Remplacement des framboises de la tarte de premier plan par des myrtilles.

Ou qu’en est-il des boissons en arrière-plan ? Au lieu d’infuser du café froid, nous pouvons sélectionner le verre sur la gauche et entrer « Pinte de bière » comme invite. Notez que non seulement le verre est légèrement flou pour correspondre à la profondeur de champ de ce qu’il a remplacé, mais il inclut également un soupçon de reflet de la tarte aux framboises devant lui et du café sur le côté.

Le café froid à l’arrière est remplacé par une pinte de bière.

L’ajout d’éléments arbitraires dans un espace vide peut être plus aléatoire. Vous obtiendrez de meilleurs résultats si la sélection que vous effectuez correspond approximativement à la taille et à la forme correctes de l’élément dans son contexte. Dans ce cas, nous avons dessiné une sélection rectangulaire au premier plan et tapé l’invite “Chien couché”, après quoi Photoshop a créé plusieurs variantes de chiots, dont nous avons préféré celle ci-dessous. L’angle de la lumière et de l’ombre correspond assez bien.

La picture originale avec une sélection rectangulaire.

L’ajout d’un chien améliore chaque scène, en particulier lorsque l’éclairage reste cohérent.

En plus de remplacer ou d’ajouter des objets de premier plan, en utilisant Sélectionner le sujet et en inversant la sélection pour sélectionner l’arrière-plan, nous pouvons entrer une invite pour redéfinir tout le contexte de la scène.

La picture originale avec le fond sélectionné. Nous avons élargi la sélection de 20 pixels afin d’inclure le bord du véhicule.	Remplacement de l’arrière-plan par “Route enneigée”.
Remplacement de l’arrière-plan par “Route de la jungle”.

Le remplissage génératif peut également être utilisé de manière plus chirurgicale, comme changer les vêtements de quelqu’un. Cela aussi peut avoir des résultats imprévisibles en fonction de ce que vous cherchez à créer. Cependant, dans certains cas, l’picture rendue semble correcte.

La picture originale avec une sélection autour des vêtements.	L’invite de texte “Pull à col roulé gris” s’est appliquée.

Gardez à l’esprit qu’il peut falloir plusieurs demandes d’invite et révisions pour obtenir ce que vous voulez. et les personnes ayant un vrai sens de la mode sont susceptibles d’ergoter avec les choix de Photoshop. Vous pouvez voir ci-dessous différentes tenues résultantes.

Pas l’objet d’une diffusion de mode, nous vous l’assurons.

Étendre la toile

L’autre grande fonctionnalité de Generative Fill est la possibilité d’étendre le canevas et de créer du contenu en dehors du cadre d’origine de la picture, également appelé « outpainting ». À l’aide de l’outil Recadrage (et en vous assurant que le calque d’arrière-plan est déverrouillé), vous faites glisser pour définir de nouvelles dimensions pour l’picture. Sélectionnez les zones vides et chevauchez les bords de l’picture existante comme référence.

Étendez la zone de recadrage, sélectionnez l’espace vide et assurez-vous de sélectionner dans les bords de l’picture d’origine.

Comme précédemment, vous pouvez cliquer sur Remplissage génératif, puis sur Générer sans invite de texte pour laisser Photoshop le comprendre.

Le résultat étendu.

Bien sûr, si vous agrandissez une picture d’un lieu réel, le logiciel ne connaît pas les détails du paysage ; il ne s’agit toujours que de faire des suppositions d’apprentissage automatique éclairées sur ce qui devrait apparaître dans les nouvelles zones. Donc, surtout si vous travaillez sur des images d’une zone bien connue, ne vous attendez pas à une précision de localisation.

L’picture originale avec le côté droit étendu.	Photoshop a rempli la zone manquante avec un résultat réaliste.
Dans ce plan plus massive de l’emplacement réel, il n’y a pas d’arbre à droite et le chemin bifurque.

Remark obtenir la model bêta publique de Photoshop

La fonctionnalité Generative Fill apparaît dans la dernière model bêta publique de Photoshop 24.6.0, qui est disponible pour les abonnés Artistic Cloud. Dans l’utility Artistic Cloud, sélectionnez les purposes bêta dans la barre latérale et recherchez Photoshop (bêta) dans la liste de droite. Cliquez sur Installer. La model bêta et la model commerciale de Photoshop peuvent exister en même temps sur votre ordinateur ; la model bêta n’écrase pas ce que vous avez déjà installé.

Obtenez la model bêta publique de Photoshop dans l’utility Artistic Cloud.

Les mises en garde abondent, mais l’avenir est là

Parce que Generative Fill est encore en model bêta, certains résultats sont à couper le souffle, tandis que d’autres sont complètement absurdes. En outre, la sortie n’est pas encore destinée à un utilization industrial, selon Adobe dans une word sur un article de weblog annonçant la fonctionnalité : “Avertissement : l’utility Generative Fill within the Photoshop (beta) est disponible pour tous les membres Artistic Cloud avec un abonnement ou qui inclut Photoshop. Le remplissage génératif n’est actuellement pas disponible pour un utilization industrial, n’est pas disponible pour les moins de 18 ans, n’est pas disponible en Chine et fonctionne avec des invitations de texte en anglais uniquement.

Il convient également de mentionner que les couches génératives peuvent augmenter considérablement la taille du fichier Photoshop (ou des TIFF en couches créés lors de l’envoi d’une picture depuis Lightroom). La picture de la camionnette ci-dessus avec de multiples variations d’arrière-plan a fini par occuper 2,67 Go en tant que TIFF en couches. La suppression des calques génératifs et des variantes inutilisés fait une grande différence, ou l’enregistrement du résultat au format TIFF avec les calques supprimés.

En attendant, les abonnés Artistic Cloud peuvent explorer les fonctionnalités de la model bêta et faire half de leurs commentaires à Adobe. Chaque miniature de variante comprend un menu à trois factors dans lequel vous pouvez marquer le résultat comme bon ou mauvais, supprimer la variante ou la signaler pour des violations potentielles de contenu préjudiciable ou offensant.

Et si vous n’avez pas accès à la model bêta de Photoshop, vous pouvez jouer avec ces fonctionnalités dans Adobe Firefly sur le Internet. Le service est désormais ouvert à tous et inclut la fonctionnalité de remplissage génératif que vous pouvez appliquer aux pictures que vous téléchargez.