J’ai utilisé une application pour créer des modèles 3D incroyables avec mon iPhone

La vitesse de changement dans la génération d’images d’intelligence artificielle est impressionnante. Une entreprise – Luma Labs – fournit un excellent exemple d’utilisation pratique, mais très divertissante, des dernières technologies appliquées aux images 3D.

Luma AI est en test bêta sur iPhone et sera éventuellement disponible sur Android également. J’ai rejoint le groupe de test bêta et je peux partager des informations sur ce que fait cette application incroyable et sur la facilité avec laquelle il est possible d’obtenir des résultats incroyables.

Qu’est-ce que l’ancienne IA ?

Vraiment Tracey

Luma AI est une application et un service développés par Luma Labs. Il capture des images tridimensionnelles à l’aide d’une technique connue sous le nom de Neural Radiance Fields (NeRF). C’est similaire à la technique de lancer de rayons qui rend les graphismes de jeu haut de gamme réalistes.

Les NeRF existent depuis plusieurs années, mais existaient principalement dans les installations de recherche jusqu’à récemment. Avec l’explosion de la génération d’images IA, menée par les rendus photoréalistes de Dall-E, les NeRF commencent à être découverts par un public plus large. La première vague de nouveaux logiciels NeRF nécessite certaines compétences de développeur et l’installation de packages logiciels à partir de GitHub, puis la formation de l’IA sur un ensemble d’images. C’est beaucoup pour la personne moyenne.

Luma Labs est sur le point de rendre le processus encore plus simple avec son application Luma AI. Du début à la fin, l’ensemble du processus peut être géré depuis un iPhone, et le résultat est également plus accessible.

Compatibilité avec l’ancien iPhone AI

Une personne tenant un iPhone 14 Pro Max.
Joe Maring/Tendances numériques

Étant donné qu’Apple a tenu à montrer les capacités de mesure de profondeur 3D des capteurs LiDAR, vous pouvez vous attendre à ce que Luma AI coûte plus cher. iPhone 14 Pro ou iPhone 14 Pro Max pour capturer des modèles 3D. Cependant, les développeurs intelligents de Luma Labs utilisent plutôt la photogrammétrie. Cela rend cette technologie compatible avec des iPhones aussi anciens que l’iPhone 11.

À l’avenir, l’application sera disponible sur Android et il existe également une version Web en version bêta. Dans une interview, le PDG de Luma Labs, Amit Jain, a déclaré que l’application iPhone devrait être prête à être publiée dans quelques semaines.

Comment utiliser l’ancienne IA

Les caméras arrière de l'iPhone 14 Pro Max.
Joe Maring/Tendances numériques

Pour utiliser Luma AI, il vous suffit de tourner lentement autour d’un objet à trois hauteurs différentes. Une superposition AR vous guide tout au long du processus, qui prend quelques minutes et devient plus facile après quelques essais à mesure que vous vous familiarisez avec le processus. Bientôt, vous pourrez obtenir un objet de taille moyenne comme une chaise en quelques minutes.

N’importe quel objet de taille peut être manipulé car, dans Luma AI, il ne s’agit que d’une série d’images, quelle que soit la taille du sujet. Que vous entouriez une tasse, une statue ou un bâtiment, l’idée générale reste la même.

L’application vous avertira lorsqu’elle aura suffisamment de photos et, le cas échéant, un bouton Terminer apparaîtra. Vous pouvez également continuer à tourner et combler les lacunes dans le nuage AR avec des anneaux et des rectangles qui représentent les photos prises jusqu’à présent. L’application arrête automatiquement la capture lorsque la quantité idéale de photos a été collectée. Il existe également un mode forme libre qui vous permet de prendre plus de photos, sous différents angles et distances. Vous pouvez voir le processus dans la vidéo YouTube que j’ai faite ci-dessous. Ceci est une application iPhone, donc c’est une vidéo portrait.

Ancienne démo bêta de l’IA pour Digital Trends

Le traitement est la prochaine étape, qui se produit sur les serveurs Luma Labs. Après environ une heure, le NeRF fini sera disponible dans l’application sous différentes formes. La première vue fournie est une vidéo générée, montrant un survol de l’objet dans son environnement naturel. Une version interactive suit et vous permet de faire pivoter la vue en faisant glisser un doigt ou une souris sur l’image.

Le plus impressionnant de tous, le sujet de l’extraction, qui est extrait de l’arrière-plan, est également disponible. Dans cette représentation, vous pouvez faire pivoter l’objet 3D sur n’importe quel axe et zoomer pour le voir de plus près. La netteté dépend du nombre d’images collectées et de la lenteur et de la stabilité de votre processus de capture.

De mieux en mieux tout le temps

Luma Labs met à jour l’application et le service à un rythme remarquable. Moins d’une semaine après avoir reçu l’invitation au test bêta, deux nouvelles fonctionnalités puissantes ont été ajoutées qui élargissent considérablement les possibilités. La première est une option de téléchargement Web qui vous permet de capturer une vidéo sans application, puis de la télécharger sur le site Web de Luma Labs pour traitement. Les résultats apparaissent en ligne et dans l’application.

Cela signifie qu’il est possible d’utiliser n’importe lequel des modes de caméra de l’iPhone, de prendre des vidéos avec une caméra focalisée ou même d’enregistrer des vidéos avec des lunettes AR comme Ray-Ban Stories. Par exemple, une vidéo de drone devient plus épique lorsque vous pouvez lisser le mouvement et changer de direction après avoir atterri. Luma Labs a partagé un excellent exemple montrant une vue aérienne des feuilles d’automne dans ce tweet.

L’automne à Palo Alto est magnifique ! 🍂 https://t.co/EwNkiv0DQV pic.twitter.com/hdd7iBLYgV

– Luma AI (@LumaLabsAI) 22 octobre 2022

D’autres nouvelles fonctionnalités ouvrent des possibilités d’édition, de peinture et d’impression 3D. Les maillages 3D avec textures peuvent être exportés au format OBJ ou GLTF. Ils ne sont pas optimisés mais les textures peuvent être visualisées dans leur intégralité même avec une visionneuse en ligne telle que le site Web gratuit et open source Online3DViewer.

MeshLab peaufine l'acquisition par Luma AI d'une figurine d'art.
Figurine de fée Sprite Sprite

Il est également possible d’ouvrir les fichiers 3D dans un éditeur de maillage tel que le MeshLab gratuit et open source pour supprimer tous les artefacts parasites qui apparaissent sous forme de gouttes flottantes, ainsi que nettoyer et simplifier le modèle avant de l’exporter vers d’autres formats différents. La figurine ci-dessus mesure environ trois pouces de haut et a été sculptée par ma femme, Tracey, pour son entreprise, ALittleCharacter. Luma AI a pu capturer une quantité remarquable de détails dans la sculpture et la bûche sur laquelle elle était placée. Le journal peut également être sélectionné et supprimé par MeshLab.

Les hauts et les bas du scan 3D

Kyle Brussell a partagé un étalage de desserts lors d’une fête, notant qu’il avait demandé aux adultes d’attendre leurs friandises afin de pouvoir les capturer sous forme de diorama numérique.

utilisé @LumaLabsAI lors d’une fête d’anniversaire hier soir, j’ai fait un groupe d’adultes qui n’ont pas mangé de dessert alors j’ai fait le tour de la table avec mon téléphone pour créer une configuration de rêve 3D AI comme une personne très cool pic.twitter.com/sP0vVPB3yx

– Kyle Russel (@kylebrussell) 30 octobre 2022

Bien que Luma AI puisse traiter la vidéo, il s’appuie sur des images fixes pour générer une scène en trois dimensions. Cela signifie que si le sujet bouge, cela peut réduire la qualité ou la clarté de la capture. Une image 3D d’une personne assise serait bien, comme le montre le Tweet d’Albert Bozesan. Dans le même tweet, une deuxième prise d’une sculpture montre ce qui se passe lorsqu’il y a du mouvement dans la scène. L’arrière-plan montre les personnes qui marchent près du sujet sous forme de formes déformées.

Les deux ont été pris @LumaLabsAI #NeRFs au bord du lac de Bavière aujourd’hui. Excellent moyen de capturer des souvenirs, comme Minority Report. #Tegernsee pic.twitter.com/HLC0ekF7uD

— Albert Bozesan (@AlbertBozesan) 30 octobre 2022

Prix ​​et disponibilité de l’ancienne IA

Luma AI est actuellement en phase de test bêta et des invitations sont envoyées périodiquement par l’entreprise Twitter Compte. Si vous avez un iPhone compatible et que vous êtes intéressé par cette technologie, vous pouvez obtenir un accès anticipé. Il existe également une liste d’attente sur le site Web de Luma Labs.

Le PDG de Luma Labs, Jain, a indiqué que les prix n’ont pas encore été déterminés et dépendront de l’étendue de la base d’utilisateurs et de la manière dont les résultats des analyses sont utilisés. Sur la base de ces déclarations, il peut y avoir un abonnement professionnel avec des fonctionnalités plus avancées et un abonnement personnel moins cher. Pour l’instant, son utilisation restera gratuite.

Recommandations de l’éditeur






Leave a Reply

Your email address will not be published. Required fields are marked *