In uno spot, per altro molto bello, di Astra, il nuovo modello di ChatGPT, uscito qualche giorno fa, vengono mostrate le sue incredibili capacità su varie attività: scrittura di testi, creazione di contenuti per brand e campagne pubblicitarie, ma anche cose più semplici come ordinare del cibo o prenotare un campo da tennis.
Ma a parte questo, potete già immaginare quale sia la parte di quello spot che ha colpito di più la mia attenzione. Astra può disegnare in 2d, trasformare il disegno in un modello 3d più o meno dettagliato, crearci un videogame giocabile da browser e addirittura esportare il modello per la stampa 3d.
In realtà esistono già strumenti che coinvolgono l’AI in un processo di creazione di un modello 3d, da prompt o da una serie di fotografie, ma il flusso mostrato nello spot è senza dubbio molto affascinante.
Complice anche qualche giorno di solitudine assoluta, mi sono messo un po’ a studiare e testare questo flusso, soprattutto per capirne l’anatomia e valutarne i risultati e i possibili usi pratici degli output.
Come faccio a modellare con ChatGPT?
Se siete degli utilizzatori dell’AI, e in particolare di ChatGPT, è possibile che la vostra relazione con ChatGPT sia iniziata con l’installazione dell’app per smartphone (per chat su faccende di tutti i giorni) e che poi siate passati all’uso di ChatGPT su un computer, più nello specifico usandolo da un browser, come Chrome, Safari o Firefox.
Dovete sapere però che esiste anche una applicazione desktop di ChatGPT, ovvero un programma che si può installare sul computer come tutti gli altri. Io non ho mai sentito la reale esigenza di installarlo, e ho sempre pensato a ChatGPT come un sistema “online”. La differenza è che l’app desktop può controllare le altre applicazioni, o addirittura il sistema operativo e più o meno tutto il vostro computer (dopo l’autorizzazione ovviamente).
Se volete vedere ChatGPT che crea modelli 3d usando il vostro computer allora la prima cosa da fare sarà installare l’app desktop: https://chatgpt.com/it-IT/download/
Sia nello spot di OpenAI che nei video degli utenti che circolano sui social, Blender sembra il programma più utilizzato nei test: https://www.blender.org/download/
Blender è un software gratuito e open source con cui è possibile modellare in 3d e creare rendering e animazioni, ed è molto usato da artisti indipendenti. Non è diffusissimo nel mondo dell’architettura, o almeno non quanto 3dsMax e Cinema 4D. Si è diffuso di più in altri settori (animazione, videogame, VFX, arte).
Una volta installate le due app (ChatGPT e Blender) dovrete collegare ChatGPT a Blender, attraverso MCP for Blender, un componente software che farà da ponte tra Codex (la modalità d’uso aggiuntiva presente nell’app desktop di ChatGPT, capace di eseguire operazioni complesse anche controllando il computer) e Blender.
Questo componente permetterà a ChatGPT di leggere la scena, creare oggetti, applicare materiali ed eseguire operazioni di modellazione avanzata.
Il collegamento è un’operazione delicata ma per niente difficile, e se non siete degli esperti e avete paura di fare casini, chiedete a ChatGPT di guidarvi nei passaggi, uno alla volta. Se non capite cosa vi sta chiedendo di fare in uno dei passaggi perché magari usa un linguaggio troppo tecnico chiedetegli di spiegarvelo di nuovo con parole più semplici.
Quando la connessione sarà attiva, potrete semplicemente chiedere a ChatGPT di creare il modello 3d di un oggetto a vostra scelta, specificando il livello di dettaglio e aggiungendo anche delle immagini di riferimento. Qui vedete il risultato del mio primo test in assoluto.
Crea il modello 3d di un Nintendo Gameboy, prima versione, semplificato.
Ho iniziato intenzionalmente con un prompt molto debole e povero, per capire quale potesse essere il risultato di partenza. Il primo output non è male, anche se il design non corrisponde perfettamente all’originale in molti particolari. I colori invece sono molto fedeli a quelli reali.
A questo punto dovevo capire come guidare il processo verso un risultato migliore, soprattutto sul piano dei dettagli e della fedeltà alle forme originali. Per prima cosa ho chiesto a ChatGPT per quale motivo il modello del primo Gameboy fosse così diverso dall’originale.
Il modello 3d del Gameboy è venuto abbastanza bene ma ci sono ancora dei dettagli che non corrispondono al modello originale. Quali sono le istruzioni e le immagini di riferimento di cui hai bisogno per creare un modello 3d che sia perfettamente corrispondente al riferimento o quasi? Più in generale fammi capire come posso fare ad ottenere più corrispondenza e precisione nei modelli che ti chiedo di creare con Blender.
Il risultato dipende molto dalla quantità e dalla qualità delle informazioni che ChatGPT riceve prima di iniziare a eseguire la modellazione. Nel primo esperimento, ha dovuto cercare in autonomia le informazioni sul Gameboy, e metterle insieme in un primo tentativo, che risulta quindi molto approssimativo.
Per il secondo tentativo ho cercato io delle immagini di riferimento e le ho inserite nel prompt.
Le istruzioni dovrebbero chiarire quattro aspetti:
Per esempio, «usa la foto frontale per le proporzioni e le foto laterali solo per la profondità»
Somiglianza nei render oppure dimensioni adatte a produrre un pezzo. Nel secondo caso servono misure e tolleranze verificabili.
Sagoma, raggi degli angoli, incavi, scritte, interni, usura.
Chiedere un riferimento oppure segnalarlo come approssimazione.
Questo può essere un esempio di prompt più esaustivo:
Crea in Blender una replica fedele di [oggetto, modello e versione], in scala reale.
Usa [nome-immagine.jpg] come riferimento principale. Le dimensioni complessive sono [nome-immagine.jpg]. Dai priorità alla precisione di sagoma, curvature, posizione e profondità dei dettagli.
Procedi prima con la geometria e un materiale neutro. Verifica le viste ortografiche sovrapponendole ai riferimenti e correggi le differenze prima di applicare materiali e scritte.
Non inventare dettagli non documentati: indica quali informazioni mancano e quali parti restano approssimate.
Mantieni i componenti separati e modificabili. Tutte le varianti e i rendering devono derivare dal modello Blender aggiornato.
Consegna il file .blend, i render di confronto e un breve elenco delle approssimazioni residue. Copia
Non c’è un numero massimo o ideale di immagini ma ChatGPT suggerisce tra le 12 e le 20 immagini dai nomi chiari: “fronte.png”, “lato_destro.png”, “dettaglio_pulsanti.png”. Conta soprattutto che ogni foto aggiunga informazioni: poche viste nitide e complementari sono più utili di tante immagini quasi identiche e sgranate.
Questo è il risultato del secondo tentativo, eseguito con 5 immagini di riferimento e un prompt leggermente più strutturato.
Non è ancora identico all’originale e il livello di dettaglio non è ancora il massimo, ma è già molto più fedele al vero Gameboy.
A questo punto, rimanendo nella stessa chat, mi sono spostato su un processo generativo, chiedendo a ChatGPT di trasformare questa immagine:
Trasforma questa immagine in una versione del Gameboy con la scocca in vetro trasparente. Cambia il colore di sfondo da grigio a nero. Conserva i dettagli, i particolari e il formato dell'immagine. Aggiungi le componenti elettroniche all'interno del Gameboy che si intravedono attraverso il vetro. Accendi il led rosso sul lato sinistro dello schermo e inserisci una schermata del gioco Super Mario. Copia
Con lo stesso metodo, ho chiesto a ChatGPT di creare un modello 3d della DeLorean di Ritorno al futuro, il più possibile fedele all’originale, e nella chat ho inserito una decina di immagini tra disegni e foto trovate con una ricerca google.
Crea in Blender una replica fedele della Delorean di Ritorno al Futuro. Usa l'immagine "blueprint" come riferimento principale. Dai priorità alla precisione di sagoma, curvature, posizione e profondità dei dettagli. Procedi prima con la geometria e un materiale neutro.
Verifica le viste ortografiche sovrapponendole ai riferimenti e correggi le differenze prima di applicare materiali e scritte. Non inventare dettagli non documentati: indica quali informazioni mancano e quali parti restano approssimate.
Mantieni i componenti separati e modificabili. Tutte le varianti e i rendering devono derivare dal modello Blender aggiornato. Consegna il file .blend, i render di confronto e un breve elenco delle approssimazioni residue. Copia
Il risultato è quello che vedete qui sotto:
Il processo richiede pochi minuti di attesa, e anche in questo caso il modello è molto schematico.
Se ci pensate, modellare in modo rigoroso, corretto e non distruttivo, dedicare tempo ai dettagli e ai particolari, prestare attenzione alla topologia e al conteggio dei poligoni, evitare processi distruttivi, aggiungere smussature e imperfezioni, sono tutte azioni virtuose, funzionali ad avere un’immagine finale ultra realistica. La precisione e la ricchezza di dettaglio sono anche indice di grande serietà e professionalità dell’autore.
Attualmente, e per dove sono arrivato con i miei esperimenti, i modelli che si ottengono con questo metodo non hanno un livello di dettaglio che resisterebbe ad un closeup, però sono delle ottime basi per delle trasformazioni, in cui i dettagli possono essere aggiunti da un processo generativo.
Trasforma questa immagine in una foto reale della Delorean di ritorno al futuro. Le forme dell'immagine input sono semplificate, dovrai migliorarle, aggiungere particolari, renderle più realistiche. Mantieni proporzioni dell'immagine e inquadratura. Costruisci attorno alla delorean un ambientazione: una strada di new york, di sera, con traffico, persone in movimento. Copia
Avere a disposizione un modello 3d significa poter creare liberamente e in pochi secondi infinite immagini di base in cui l’oggetto è raffigurato da varie angolazioni ma è sempre lo stesso, quindi le immagini finali saranno molto coerenti tra loro. Può cambiare qualche dettaglio tra un’immagine e l’altra ma la deriva geometrica generale è ridotta al minimo.
ANGELO FERRETTI
Mi chiamo Angelo, le mie passioni più grandi che coltivo da oltre 20 anni sono l’insegnamento e la creazione di immagini orientate all’architettura e al design di interni.
Con Kling ho creato delle brevi animazioni da ognuna di queste immagini e poi le ho montate insieme con After Effects, applicando anche una leggerissima color correction per regolare contrasto e colori.
Pensando ad un oggetto che potesse avere delle forme semplici ma al tempo stesso prestarsi per delle immagini d’impatto, mi è venuto in mente il Tesla CyberTruck. Il flusso di lavoro è stato lo stesso che avete letto fin qui. Per ottenere le immagini che vedete ho chiesto a ChatGPT di inserire l’auto, raffigurata da una certa angolazione che ho scelto nella viewport di Blender, ambientata nel paesaggio raffigurato nella foto.
Per ora, il valore di questo flusso sta soprattutto qui: creare in pochi minuti una base 3d da cui poter ricavare infinite inquadrature, pronte per essere trasformate in una sequenza di immagini d’impatto e soprattutto coerenti tra loro.
Astra può eseguire molte operazioni avanzate, ma la qualità del risultato dipende ancora dalle nostre scelte. La precisione dei modelli ha ancora dei limiti, ma per esplorare un’idea e capire dove può portarci c’è già molto con cui lavorare.
Il prossimo passo sarà capire cosa succede quando al posto di un esperimento fatto per curiosità mettiamo davanti ad Astra un progetto reale. Fin dove si può spingere la precisione? E quanto di questo processo può entrare davvero nel lavoro quotidiano? ■