J’ai utilisé une application pour créer des modèles 3D incroyables avec mon iPhone

Luma AI est une application et un service développés par Luma Labs. Il capture des images tridimensionnelles à l’aide d’une technique connue sous le nom de Neural Radiance Fields (NeRF). C’est similaire à la technique de lancer de rayons qui rend les graphismes de jeu haut de gamme réalistes.

Les NeRF existent depuis plusieurs années, mais existaient principalement dans les installations de recherche jusqu’à récemment. Avec l’explosion de la génération d’images IA, menée par les rendus photoréalistes de Dall-E, les NeRF commencent à être découverts par un public plus large. La première vague de nouveaux logiciels NeRF nécessite certaines compétences de développeur et l’installation de packages logiciels à partir de GitHub, puis la formation de l’IA sur un ensemble d’images. C’est beaucoup pour la personne moyenne.

Luma Labs est sur le point de rendre le processus encore plus simple avec son application Luma AI. Du début à la fin, l’ensemble du processus peut être géré depuis un iPhone, et le résultat est également plus accessible.

Compatibilité avec l’ancien iPhone AI

À l’avenir, l’application sera disponible sur Android et il existe également une version Web en version bêta. Dans une interview, le PDG de Luma Labs, Amit Jain, a déclaré que l’application iPhone devrait être prête à être publiée dans quelques semaines.

Comment utiliser l’ancienne IA

Pour utiliser Luma AI, il vous suffit de tourner lentement autour d’un objet à trois hauteurs différentes. Une superposition AR vous guide tout au long du processus, qui prend quelques minutes et devient plus facile après quelques essais à mesure que vous vous familiarisez avec le processus. Bientôt, vous pourrez obtenir un objet de taille moyenne comme une chaise en quelques minutes.

N’importe quel objet de taille peut être manipulé car, dans Luma AI, il ne s’agit que d’une série d’images, quelle que soit la taille du sujet. Que vous entouriez une tasse, une statue ou un bâtiment, l’idée générale reste la même.

Le traitement est la prochaine étape, qui se produit sur les serveurs Luma Labs. Après environ une heure, le NeRF fini sera disponible dans l’application sous différentes formes. La première vue fournie est une vidéo générée, montrant un survol de l’objet dans son environnement naturel. Une version interactive suit et vous permet de faire pivoter la vue en faisant glisser un doigt ou une souris sur l’image.

Le plus impressionnant de tous, le sujet de l’extraction, qui est extrait de l’arrière-plan, est également disponible. Dans cette représentation, vous pouvez faire pivoter l’objet 3D sur n’importe quel axe et zoomer pour le voir de plus près. La netteté dépend du nombre d’images collectées et de la lenteur et de la stabilité de votre processus de capture.

Luma Labs met à jour l’application et le service à un rythme remarquable. Moins d’une semaine après avoir reçu l’invitation au test bêta, deux nouvelles fonctionnalités puissantes ont été ajoutées qui élargissent considérablement les possibilités. La première est une option de téléchargement Web qui vous permet de capturer une vidéo sans application, puis de la télécharger sur le site Web de Luma Labs pour traitement. Les résultats apparaissent en ligne et dans l’application.

Cela signifie qu’il est possible d’utiliser n’importe lequel des modes de caméra de l’iPhone, de prendre des vidéos avec une caméra focalisée ou même d’enregistrer des vidéos avec des lunettes AR comme Ray-Ban Stories. Par exemple, une vidéo de drone devient plus épique lorsque vous pouvez lisser le mouvement et changer de direction après avoir atterri. Luma Labs a partagé un excellent exemple montrant une vue aérienne des feuilles d’automne dans ce tweet.

Kyle Brussell a partagé un étalage de desserts lors d’une fête, notant qu’il avait demandé aux adultes d’attendre leurs friandises afin de pouvoir les capturer sous forme de diorama numérique.