À la poursuite de l'hologramme

Comment Shawn Frayne et Looking Glass Factory travaillent pour empêcher un avenir réservé aux casques dystopiques.

The Looking Glass présente «Red Panda» de Jeff Chang

Marty et le requin

Ce n'était pas les hoverboards. Ce n'était pas la Delorean volante qui pouvait voyager dans le temps. Quand Shawn Frayne, âgé de dix ans, a vu Retour vers le futur II en 1989, une image différente a captivé son imagination et l'a lancé dans une quête de plusieurs décennies.

«Pour moi, l'obsession de réaliser ce rêve cinématographique de l'hologramme a commencé après avoir vu le requin engloutir Marty», dit Frayne, rappelant la scène dans laquelle une publicité pour Jaws 19 prend vie et semble engloutir le malheur de Michael J. Fox protagoniste, Marty McFly, qui vient d'être déposé dans une version spéculative de 2015.

Un requin holographique engloutit Marty McFly dans «Back to the Future II»

Frayne se réfère constamment au «rêve de l'hologramme» et «à la poursuite de l'hologramme» avec un enthousiasme décontracté, pas si, mais quand. Et il pense que lui et son équipe de Looking Glass Factory, la société basée à Brooklyn qu'il a fondée avec Alex Hornstein, sont sur le point de réaliser ce rêve.

Nous avons parlé à Frayne alors que l'équipe s'apprêtait à lancer le Looking Glass, leur nouvel affichage holographique, maintenant en direct sur Kickstarter. L'appareil de table, qui ressemble un peu à un petit aquarium rempli de lumière, insère un peu d'espace virtuel dans le monde réel. Des modèles 3D rendus numériquement de personnes, d'animaux et d'autres objets se déplacent autour de la boîte, répondant aux gestes des mains des utilisateurs grâce à une intégration avec un capteur spatial.

Une grenouille interactive dans le miroir

Dans une démo, une grenouille hyper-réaliste regarde une flamme que vous déplacez avec votre main. Dans un autre, un moine Shaolin exécute une séquence de mouvements de Tai Chi, filmés avec des détails étonnants à l'aide d'une caméra volumétrique.

«Le but est de créer un système qui permette à des groupes de personnes - sans rien sur leur tête - de voir et d'interagir avec le monde virtuel», explique Frayne, en faisant une distinction entre son approche et les systèmes VR et AR basés sur des lunettes qui sont devenus de plus en plus familier.

«Je veux qu'il soit aussi décontracté d'interagir avec du contenu 3D avancé que de s'asseoir autour d'un feu de camp ou d'écouter une émission de radio avec vos amis.»
Un moine Shaolin fait du Tai Chi sur un bureau

À la poursuite de l'hologramme, avec quelques détours en cours de route

Techniquement, le miroir est un affichage volumétrique à champ lumineux, pas un hologramme conventionnel (pensez aux emblèmes brillants que vous trouvez sur les cartes de crédit). Il crée l'illusion de trois dimensions en dispersant 45 vues légèrement différentes d'un modèle 3D à des angles précis. Nous interprétons ce jet d'images comme une forme solide, semblable à la façon dont nous percevons la succession rapide d'images fixes dans un film comme un mouvement.

Lorsque les puristes de l'hologramme remettent en question son utilisation du terme pour décrire le miroir, Frayne est respectueux mais sans influence. «Je pense que ce navire a navigué», dit-il. «Ma règle est maintenant que je dois être en mesure d'expliquer ce qu'est le miroir à un agent de sécurité de la ligne TSA lorsqu'il ouvre mon sac et voit ce bloc de verre à l'intérieur. Dire: «C'est un combo d'affichage volumétrique à champ lumineux» ne fonctionne pas. C'est un affichage holographique pour 99% du monde. Tout le monde l'obtient immédiatement, à l'exception des holographes à l'ancienne qui me détestent pour utiliser ce terme. »

À certains égards, Frayne lui-même est un holographe à l'ancienne. Pour Noël un an, ses parents lui ont donné le Holography Handbook, un guide classique «à faire en premier, poser des questions plus tard» pour créer des hologrammes conventionnels.

«Ayant grandi à Tampa, en Floride, mon père et moi avons construit un petit studio holographique dans ma chambre. Je pense que c'était le seul sur le bloc », ironise Frayne, décrivant la boîte en bois de six pieds sur six qui était assise au pied de son lit, abritant un laser, des miroirs et 2 000 livres de sable. «Mon laser était si faible puissance, j'ai dû faire des expositions d'une heure - assis tranquillement dans l'obscurité, exposant ces lames de verre. À la fin, j'ai eu une capture holographique. Mon premier était un petit Mickey Mouse en étain. C'était génial, mais ça n'a pas bougé et ce n'était pas vivant. »

Shawn Frayne a toujours sa copie du «Holography Handbook», qu'il montre aux côtés de sa sœur Christina dans la vidéo de la première campagne Kickstarter de Looking Glass Factory en 2014

Frayne a ensuite étudié la physique au MIT et s'est inscrit à un cours électif sur l'holographie avec Stephen Benton, l'un des pionniers du domaine. Alors que rencontrer d'autres personnes partageant sa passion pour les hologrammes était excitant, Frayne a été déçu d'apprendre que la technologie actuelle était en retard par rapport à ce qu'il envisageait. «Je pensais que quelque part dans les laboratoires du MIT, il y aurait cet affichage holographique vivant et émouvant qui nous est promis dans tous ces films. Mais ce n'était pas là. Cela n'existait pas. Tout était statique - essentiellement des photographies au laser. J'ai réalisé, malheureusement, que personne n'avait réalisé le rêve de l'hologramme. … Je l'ai juste laissé tomber et l'ai oublié pendant près de 10 ans. »

Pour Frayne, oublier les hologrammes signifiait poursuivre son autre passion: la durabilité et les technologies propres. Il a commencé un laboratoire d'invention consacré à la technologie qui pourrait réduire les déchets et générer de l'énergie plus efficacement. Entre autres choses, il a inventé le papier bulle auto-gonflant («Surprenantly utile!»), Une machine pour produire des panneaux solaires et des systèmes d'énergie éolienne expérimentaux, en collaboration avec Alex Hornstein, son éventuel co-fondateur de Looking Glass Factory, sur un certain nombre de ces projets.

Mais alors que son attention était concentrée ailleurs, le monde rattrapait le rêve de Frayne de créer des images 3D qui brouillaient la frontière entre le virtuel et le réel. Grâce à son ami Zach Smith, l'un des fondateurs de MakerBot, il a pris conscience de la communauté croissante de personnes qui concevaient des modèles 3D sur leurs ordinateurs et les imprimaient sur des machines de bureau nouvellement accessibles.

Frayne a également pris note du fait qu'Oculus a lancé son casque de réalité virtuelle Rift sur Kickstarter en 2012, obtenant le soutien de près de 10 000 contributeurs qui partageaient le rêve d'un monde virtuel immersif. Facebook a acquis Oculus deux ans plus tard, signalant que les images 3D dynamiques pourraient être prêtes pour un public plus grand public (au-delà des adolescents ayant une inclinaison pour les expériences de physique des chambres). "Oh, les gens font des trucs 3D pour Oculus maintenant, c'est cool", se souvient-il en pensant. "Peut-être qu'il est temps pour l'hologramme."

Aucun avenir dystopique autorisé

S'il y a un point à retenir de Back to the Future II (au-delà du fait que les requins holographiques sont cool), c'est que des décisions apparemment mineures peuvent déclencher des réactions en chaîne qui modifient radicalement l'avenir. Cette leçon n'est pas perdue pour Frayne et l'équipe de Looking Glass Factory. «Aucun avenir dystopique n'est permis» est gribouillé à travers la porte de leur bureau, situé par coïncidence (ou peut-être avec fatalité) dans une ancienne verrerie à l'extrémité nord de Brooklyn. Selon Frayne, nous sommes actuellement à un carrefour définissant l'avenir. Il craint que la voie actuelle de la technologie VR et AR ne conduise à un avenir largement médiatisé par les casques. «Je ne veux pas ça», dit-il. «Je ne veux pas que mes enfants interagissent les uns avec les autres et avec les choses qu'ils créent dans un avenir réservé aux casques. C'est la dernière poussée qui nous a amenés à démarrer [Looking Glass Factory]. »

Pour certains, la décision de Frayne et Hornstein de passer de la technologie dédiée à la durabilité aux écrans holographiques peut sembler frivole. Mais pour Frayne, c'est un effort pour conserver une autre sorte de ressource naturelle: la conscience humaine.

«Cela ne sera plus considéré comme socialement significatif maintenant, mais dans 10 ans, je pense que nous regarderons en arrière et verrons qu'il y a ce moment où il y avait un futur possible dans lequel tout le monde était préparé pendant 16 heures par jour et un ou deux sociétés possédaient l'accès aux ports haut débit de votre cerveau, qui sont vos yeux. Espérons que si les choses se passent bien, cela sera considéré comme un avenir possible mais non implémenté, car il y aura des choses comme le miroir. »

La bulle de croyance

Dès le début, Frayne et Hornstein savaient qu'ils devraient poursuivre leur vision par étapes, divisant les défis techniques et conceptuels à venir en petites parties. Au lieu de garder leur R&D secrète, ils ont décidé de transformer leurs prototypes en produits qui introduiraient progressivement les composants de leur grande idée, construisant une communauté de croyants en cours de route.

Une impression volumétrique d'une grenouille

La première de ces expériences a porté sur des impressions volumétriques - des cubes translucides contenant des images 3D photoréalistes statiques composées de fines couches d'encre sur des lames de verre. Ils ont apporté l'idée à Kickstarter en mai 2014, offrant de petites pièces d'art 3D aux collectionneurs de curiosité. Mais les impressions ont également servi d'aides visuelles pratiques lorsque Frayne et ses collègues ont dû expliquer les affichages holographiques dynamiques qu'ils envisageaient. «Je les emmenais dans des bars, des écoles et chez mes amis», dit-il. «Je dirais: 'Un jour, cette encre va être remplacée par des millions de points de lumière et cette grenouille va bouger.' C'était vraiment bien, de voir beaucoup de gens complètement non techniques être en mesure de regarder les impressions volumétriques et d'imaginer une classe de technologie entièrement différente en une fraction de seconde. »

Le cube L3D - un ensemble de lumières LED arc-en-ciel 8 x 8 x 8 qui peut être programmé pour rendre des graphiques 3D de base - était la prochaine preuve de concept qu'ils ont apportée à Kickstarter. Il n'avait pas la résolution photoréaliste d'un hologramme (512 points de lumière au lieu de millions), mais cela leur permettait de voir ce que les gens créeraient avec un affichage volumétrique interactif. Ce fut un succès auprès de la foule de Burning Man («Les LED sont essentiellement de la monnaie chez Burning Man», plaisante Frayne), et Cubetube, le site Web qu'ils ont construit pour permettre aux gens de partager leurs créations L3D Cube, a commencé à se remplir de jeux comme 3D Tetris, visualiseurs sonores créatifs et autres projets.

Le cube L3D

Le succès du cube L3D a permis à l'équipe croissante de Frayne et Hornstein de continuer à expérimenter, créant des centaines de prototypes au cours des quatre dernières années avec des degrés de succès variables. Frayne se souvient d'une tentative précoce qui était «de la taille d'un réfrigérateur et qui générerait une petite scène volumétrique de la taille d'un cube de sucre où ma fille Jane et mon fils Ben courraient. Je pensais que cette chose était incroyable. Personne d'autre n'était diverti. En fait, je me souviens que ces deux gars de Disney m'avaient littéralement fait rire en sortant de la pièce. »

Ces jours-ci, leurs démos dans des entreprises de divertissement de premier plan vont très différemment. «Nous venons de le montrer à Pixar il y a quelques semaines et tout le monde était vraiment excité à l'idée de créer de nouveaux contenus dans le miroir. Ce fut un moment spécial pour nous. Ce sont les meilleurs créateurs 3D au monde, et pour eux, voir comment leur travail pouvait vivre d'une manière nouvelle sur ce support était vraiment spécial. »

Lorsque Frayne et Hornstein ont commencé à travailler sur des écrans holographiques en 2014, ils ont pensé qu'il faudrait 10 ans pour réaliser ce qu'ils avaient en tête. Le lancement de leur campagne Kickstarter pour Looking Glass signifie qu'ils sont en avance sur le calendrier. Mais ce n'est que le début. En pensant à un avenir où ces affichages sont monnaie courante, Frayne imagine une version holographique des téléconférences, des avatars animés qui pourraient donner un visage aux agents vocaux de l'IA comme Alexa d'Amazon, et bien plus encore.

Comme pour la réalité virtuelle, les expériences que les gens créent pour le miroir seront finalement ce qui testera son potentiel. C'est pourquoi Frayne et son équipe s'efforcent de le mettre entre les mains du plus grand nombre possible de développeurs et de créateurs de contenu. «La confiance est une chose difficile à maintenir dans toute poursuite pour une invention dont le point final est inconnu. Vous devez avoir des gens qui créent cette bulle de croyance autour de toute cette équipe qui peut être maintenue de manière ténue malgré toutes les critiques qui se produisent dans la poursuite de quelque chose comme l'hologramme. »

Alors qu'ils regardent un nombre croissant de bailleurs de fonds se mobiliser pour soutenir le projet, Frayne et son équipe ont l'intention de développer cette bulle de croyance. «Pour l'instant, il comprend 20 personnes et un groupe d'amis qui viennent dans nos laboratoires. J'espère que cela englobera le monde entier très bientôt. »

- Nick Yulman

Vous pouvez soutenir la poursuite de l'hologramme par Shawn Frayne et Looking Glass Factory jusqu'au 23 août. Pour rester au courant des projets les plus futurs, abonnez-vous à la newsletter Invent de Kickstarter.

À gauche: l'équipe de Looking Glass Factory basée à Brooklyn À droite: l'équipe de matériel R&D de Looking Glass Factory à Hong Kong
«La chose dont j'ai toujours rêvé dans la poursuite de l'hologramme est quelque chose comme holo-Skype: pouvoir avoir un miroir dans notre laboratoire à Brooklyn et un autre dans notre laboratoire à Hong Kong, puis voir le l'autre équipe dans le miroir comme si elles étaient vraiment là. Pour moi, c'est l'application de tueur. "
—Shawn Frayne