Nel 2021 Niantic ha acquisito l’app di scansione spaziale Scaniverse, con l’ambizione di portare la creazione di contenuti 3D alla portata di tutti, ispirando gli utenti a catturare e condividere il mondo. Per rendere questa esperienza ancora più coinvolgente ed emozionante, oggi Niantic annuncia il supporto del Gaussian Splatting 3D in Scaniverse 3.0, per aiutare gli utenti a ricreare scene del mondo reale di alta qualità direttamente sul proprio dispositivo mobile, il tutto in pochi minuti.
Lo splatting gaussiano è una tecnica rivoluzionaria di rasterizzazione nella ricostruzione 3D che combina e supera le sfide delle attuali tecniche di NeRF e fotogrammetria. Utilizzando una serie di immagini, la Structure from Motion (SfM) viene impiegata per stimare una nuvola di punti. Ogni punto viene poi convertito in una gaussiana, che contiene una serie di parametri quali posizione, orientamento, scala, colore e trasparenza. In poche parole, gli splats possono ricreare le condizioni di illuminazione e le proprietà dei materiali di una scena 3D in un modo completamente nuovo, rendendo possibile un rendering migliore delle superfici lucide o riflettenti.
Questa tecnica consente di ridurre le esigenze di calcolo, di eseguire il rendering in tempo reale e di ottenere visualizzazioni di qualità fotorealistica; inoltre, per la prima volta con Scaniverse, è disponibile direttamente sul dispositivo senza alcuna elaborazione da parte del server. Ciò significa che le scansioni avranno un aspetto più sorprendente e realistico di prima, e si potranno creare progetti sul proprrio telefono senza una connessione a Internet.
Questa nuova modalità di scansione consente di creare scene 3D fotorealistiche con solamente l’utilizzo di uno smartphone. Adatta a qualsiasi cosa, da piccoli oggetti a grandi edifici, la modalità “splatting” offre un livello di dettaglio senza precedenti, con illuminazione e riflessi accurati. Inoltre, le gaussine splat ricostruiscono la geometria in lontananza, consentendo alle scansioni di diventare esperienze davvero coinvolgenti.
A differenza delle mesh, gli splat sono sufficientemente potenti da riuscire a rappresentare la trasparenza, i riflessi e l’illuminazione che vede anche l’occhio umano. Gli oggetti lucidi, i riflessi speculari e la diffusione della sottosuperficie, che sarebbero impossibili da modellare in una mesh texturizzata, possono essere facilmente gestiti dagli splat. Poiché i parametri degli splat vengono “appresi” (cioè addestrati con discesa del gradiente, proprio come accade con le rete neurali), possono adattarsi a molti tipi diversi di scene, indipendentemente dalla scala, dai materiali o dal livello di dettaglio. Il risultato finale è un modello così realistico che potrebbe essere scambiato per un video. Il team Scaniverse ha anche aggiunto un’opzione che consente di creare un divertente video in formato ridotto dello splat, in modo da poter condividere facilmente i risultati con chiunque e in qualsiasi momento. È anche possibile salvare sul dispositivo o esportare in formato PLY.
In linea con il principio di Niantic di dare agli utenti il controllo dei propri dati, il 100% dell’acquisizione e dell’addestramento degli splat avviene localmente sul dispositivo dell’utente. I dati non vengono mai inviati al cloud, a meno che non si scelga esplicitamente di farlo condividendo il proprio splat. Questo offre un livello di privacy e sicurezza dei dati che non sarebbe possibile con una soluzione basata sul cloud. Con Scaniverse è quindi fin da subito possibile creare splats gratuiti, illimitati e di alta qualità utilizzando l’elaborazione on-device a tutela della privacy.