Virtual Reality

Il y a cinq ans, Nintendo sortait sur le marché du jeu vidéo la console Wii, qui elle-même avait fait de l’ombre à la XBox 360. Aujourd’hui, le projet Natal, annoncé il y a un an par Microsoft, est devenu réalité et l’interface Kinect est né. Ce périphérique destiné à la console XBox 360 se présente sous la forme d’un boîtier à trois yeux qui voit, écoute et reconnaît les humains autour de lui. Tous les publics sont visés par ce concept, qui propose une expérience proche des parties de jeux de la Wii. D’ailleurs, la publicité faite sur Kinect met l’accent sur l’aspect familial de ce gadget, peut-être dans une volonté de relayer au passé les jeux en solo. En bref, ce petit boîtier somme toute assez banal cache bien son jeu puisqu’il analyse les mouvements du joueur et reconnaît sa voix. Le joystick, c’est vous ! Liberté de mouvements assurée puisque la caméra est capable de repérer 48 points sur chaque personne afin d’analyser la gestuelle, à raison de 30 images par seconde. Et ce n’est pas tout puisque ce bijou de technologie est aussi doté de la parole, un point supplémentaire que marque ce système qui permet déjà de se passer de manettes de jeu, de clavier ou de la souris.

Cette mise en bouche vaut bien un complément d’explications sur la manière de jouer avec cette interface. Dès son allumage, le boîtier commence par observer et mesurer la pièce dans laquelle se trouvent les personnes avec lesquels il devra « communiquer » afin d’observer leurs mouvements, puis il montre à l’écran les silhouettes repérées, en affichant une zone dans laquelle les joueurs devront se trouver, à eux de bouger pour pouvoir s’observer plus aisément. Kinect peut repérer jusqu’à 6 personnes à la fois. Il suit ensuite les mouvements en se basant sur des points d’articulation (coudes, genoux…).

Par ailleurs, le boîtier sert aussi de webcam dans le cas d’une discussion vidéo sous Windows Live Messenger. Mais ce n’est pas tout car on peut aussi regarder la télévision grâce à cette interface multifonctions. Comment ne pas trouver original de piloter sa télévision sans télécommande, juste en remuant la main.

Kinect pourrait ainsi être utilisé de multiples manières, comme dans le domaine industriel ou médical par exemple. L’idée de
l’homme-machine existe depuis bien longtemps, peut-être qu’une innovation future dans ce sens pointera un jour le bout de son nez. En attendant “l’homme-machine” , l’homme à très vite prit le contrôle de cette bestiole noir à trois yeux. Plusieurs mordu de technologies ont déjà dépecé kinect pour la voir de l’intérieur. Il est possible de trouver de nombreux site qui jouent avec cet outil ludique pour en faire un outil de vidjing alliant musique et public ou un boitier de contrôle servant de tête pour des robots ménagés. De nombreux détournement d’usages se font et vous pouvez en voir une partie sur “kinect hacks” kinecthacks.nl ou kinecthacks.net ou kinecthacks.com

Unity est un logiciel 3D temps réel développé par une société d’origine danoise, Unity Studios. Proche des logiciels tel que que Shiva, Cheetah3D ou encore Virtools, il est utilisé pour la création de jeux video, d’applications interactives en temps réel,… Conçu dans le but ” d’animation interactive en temps réel”, il ne permet pas la modélisation d’objets mais plutôt à créer des scènes supportant des éclairages, des terrains, des caméras, des textures, des comportements,… Il est donc ouvert à de nombreux formats (3DS max, Maya, Cinema 4D, photoshop, TIFF, audio, vidéo,…) qu’il optimise par l’utilisation de filtres.

Nativement conçu sur Mac, il est disponible aujourd’hui sur Microsoft. De plus, il permet d’obtenir des applications compatibles avec les API graphiques Direct3D, OpenGL, Wii, iPhone, ipad, et plus récemment Xbox 360 (PS3, à venir ?). Les navigateurs web peuvent, grâce au plugin Unity Web Player, afficher les productions du moteur avec une touche graphique et une fluidité impeccable. voir exemple.

Sur Unity, pas de “building BLOCS”, il a la particularité d’utiliser un éditeur de script C++, Csharp, JavaScript,…

Une grande des nombreuses qualités du soft est son prix de licence qui est particulièrement raisonnable. Environ 1500 dollar la licence pro! Ensuite compter entre 400 et 1500 dollars pour chaque licence d’export spécifique ( Iphone, wii, Android,…). Cependant à but personnel, le soft est gratuit et téléchargeable sur le site Unity.

En Bref, un logiciel qui se démocratise de jour en jour, et qui intéressant sur le plan technique, sur les possibilités/la qualité/ la fluidité des exports et sur son prix raisonnable. Alors Mesdames, messieurs, n’hésitez pas et TESTEZ-LE!!!!!!

Tutorial Unity

Deux définitions (2002) , avancées respectivement par Michael Zyda et Ben Sawyer, sont les bases de celle respectée et utilisée aujourd’hui. Dans son article “From Visual Simulation to Virtual Reality to Games”, Michael Zyda propose sa définition du Serious Game : “Un défi cérébral, joué avec un ordinateur selon des règles spécifiques, qui utilise le divertissement en tant que valeur ajoutée pour la formation et l’entraînement dans les milieux institutionnels ou privés, dans les domaines de l’éducation, de la santé, de la sécurité civile, ainsi qu’à des fins de stratégie de communication.” (1). Ben Sawyer, président de la société américaine de développement informatique Digitamil et co-directeur du Serious Games Initiative, définit grossièrement le terme serious game en indiquant qu’il s’agit “d’applications informatiques, réalisées par “des développeurs, des chercheurs, des industriels, qui regardent comment utiliser les jeux vidéo et les technologies associées en dehors du divertissement” (2). Dans les deux définitions proposées, l’idée est de partir d’une base vidéoludique pour en faire un usage qui faisant appel à une activité « sérieuse » (hors du simple divertissement), souligne Julian Alavarez dans sa thèse: Du jeu video au serious game.

Selon, Julian Alvarez et Olivier Rampnoux, membres de Ludoscience, le serious Games designe, aujourd’hui, des “applications développées à partir des technologies avancées du jeu vidéo, faisant appel aux mêmes approches de design et savoir-faire que le jeu classique (3D temps réel, simulation d’objets, d’individus, d’environnements…) mais qui dépassent la seule dimension du divertissement. Elles combinent en effet des ressorts ludiques et/ou technologiques issus du jeu vidéo avec une intention sérieuse de type pédagogique, informative, communicationnelle, marketing, idéologique ou d’entraînement.”(3) En fait, le serious game représente des applications numériques qui s’appuient sur les memes principes que le jeu vidéo tout en s’écartant de l’ordre du simple divertissement. Donc, plus qu’un jeu video, qui est définie par trois critères: histoire, art, et logiciel, le serious game intègre une caractéristique en plus, la dimension pedagogique. Zyda d’ailleurs précise “Serious games have more than just story, art, and software, however. […] they involve pedagogy: activities that educate or instruct, thereby imparting knowledge or skill. This addition makes games serious.” (4)

Il est intéressant de noter que dans notre histoire on retrouve des actions similaires à celles d’aujourd’hui exercées avec les nouvelles technologies. Par là, je veux dire que tout comme la réalité virtuelle, qui a été corrélée à Platon (allégorie de la caverne) ou/et de Réné Descartes (discours de la méthode) , il semblerait que certaines traces historiques on conduit indirectement aux serious game. Par exemple, chez les humanistes de la renaissance, une approche appellée “serio ludere”, avait pour but d’utiliser l’humour pour faire passer des notions sérieuses(6). Ou encore, le roman “Le jeu sérieux” (1912) de Hjalmar Södeberg, qui présente l’idée d’un plaisir dont l’accès est réprouvé par la morale ou les conventions(6). Sauf que de son roman, elle ne parle pas du jeu dans l’action pédagogique mais d’adultère. Mais dans les deux cas, la notion d’interdits transgressés est prédominante. Une notion de serious game, connexe en de grands points à celle d’aujourd’hui, a été avancé en 1970 par un americain, Clark Abt, en publiant “Serious Game”. Seulement pour cet universitaire, il n’était pas question d’applications informatiques, mais plutôt de jeux de rôle et de jeux de plateau de type stratégie(7).

Si l’année 2002 est décrite comme l’avènement du serious game, notamment par Sawyer et la diffusion d’America’s Army (sortie le 4 juillet 2002 par les forces armées des États-Unis afin d’améliorer l’image de l’US Army et d’inciter les gens à s’enrôler.), plusieurs applications concernant les différents types de serious game, ont fait leurs apparitions dans les années précédentes. En fait, en fonction des années, les thémes différents des jeux sérieux ont émergés. Le début des années 70 est considéré comme l’avènement des edugames. Le début des années 80 marquait celui des applications liées au regroupement militaro-industriels. D’ailleurs le serious game reconnu, officiellement comme le premier, était en 1980, et c’était Army Battlezone, un projet dirigé par Atari conçu pour utiliser le jeu pour les entrainements militaires. La fin des années 80 voit quand à lui apparaître des applications informatives et sociales. Enfin, le mouvement militant apparaît dans la seconde moitié des années 90.

Le sérious game, s’articule donc, aujourd’hui sur 5 catégories: (8)

Advergaming, qui se destine principalement à la publicité.

Edutainment, qui à une vocation éducative

Edumarket game, qui s’inscrit dans le registre d’outils dédiés à la stratégie de communication.

Jeux engagés, dont l’objectif est de transmettre un message en détournent soit : les règles classiques de jeux vidéo, les graphismes de titres connus, ou les deux.

Jeux d’entraînement et simulation, qui ont pour vocation soit de permettre à l’utilisateur de s’entraîner à exécuter une tâche ou une manœuvre donnée. Soit d’étudier un phénomène s’inspirant du réel qui a été reproduit dans un environnement virtuel.

Références:

(1) These: DU JEU VIDÉO AU SERIOUS GAME.Approches culturelle, pragmatique et formelle
Soutenue par Julian Alvarez le 17 Décembre 2007

(2)Seriousgaming.fr

Mai 2007

(3) Sérious Game

Wikipédia

(4) These: DU JEU VIDÉO AU SERIOUS GAME.Approches culturelle, pragmatique et formelle
Soutenue par Julian Alvarez le 17 Décembre 2007

(5) These: DU JEU VIDÉO AU SERIOUS GAME.Approches culturelle, pragmatique et formelle
Soutenue par Julian Alvarez le 17 Décembre 2007
(6) Södeberg, H., Den allvarsammaleken, traduit en français par : Balzamo, E., V. Hamy, 1995

(7)Abt, C., Serious Games, University Press of America, 2002 (Première édition : The Viking press, New York,1970)

(8) Mais au fait, c’est quoi le Serious Game ?

Le tout premier livre en Réalité Augmentée sortie en France est née des éditions Nathan le 15 Octobre 2009: DOKEO. Investissant pour la première fois le monde de l’édition, Nathan à opter pour une communication claire et pédagogique en expliquant à l’internaute comment ça marche. (http://www.dokeo-comprendrecommentcamarche.com/).

Pour le système, il est relativement simple, puisqu’il comporte le livre, un ordinateur et une webcam (la votre où celle fournie par Nathan que l’on peut acheter en même temps que le livre). Ensuite il suffit de lancer un logiciel, et la webcam reconnaîtra automatiquement chaque page du livre.

Depuis cette première sortie, on a pu observer quelque éditions par-ci, par-là dans la publicité (Wine Spectator pour du vin italien, catalogue  BMW pour la mini, etc.), de l’évènementielle (Avatar) et même le 30 Mars 2010 dans nos bureau de tabac pour le 50ème anniversaire de Télé 7 jours. Un numéro spécial ou l’on fêtait les 50 ans du magasine avec une animation de Johnny Hallyday en Réalité Augmentée.

La réalité Augmentée à investit beaucoup de domaine, considérée comme une simple vitrine technologique ou un phénomène de mode il y a quelques temps, elle a su aujourd’hui démontrer sa pertinence dans de nombreux champs d’application et secteurs d’activités, devenant même plébiscités par les professionnels et le grand public.

Une voie vers l’industrialisation qui ouvre les portes de nouveaux horizons tels que la littérature jeunesse. Cette littérature jeunesse qui grandit avec l’enfant et son monde qui l’entoure, pouvant prendre tout les formes possible et inimaginable, afin de mettre à leur disposition un outil interactif permettant de développer plus facilement leur logique, leur réflexion, leur sens de l’observation et leur imagination …

Enfin arrivée, l’immersion 3D architectural dans les musées et lieux culturels.

Voici un petit reportage diffusé sur ” France 2 ” qui prépare le public à de nouvelles façons de visiter les lieux culturels.

Une bonne mise en avant de cette nouvelle technologie qu’est la ” réalité augmentée “. Vincennes, Amiens, Cluny (petite ville entre Dijon et Lyon) connaissent déjà l’expérience de l’immersion virtuelle à travers un ultra mobile pc doté d’une caméra qui filme en temps réel les vestiges d’une pièce pleine de marqueurs ou d’un écran retransmettant le décor détruit qui, dans le passé, resplendissait de sa prestance architecturale. Une très belle performance qui, pour ma part, me laisse dubitatif devant l’image de la pièce remplie de petits carrés blancs et noirs. Une perspective plutôt étrange qui oblige les visiteurs à se munir obligatoirement d’outils permettant cette immersion.

Rennes aussi projette d’utiliser cette technologie immersive pour la visite du Musée des Beaux Arts et ainsi permettre aux visiteurs de découvrir les œuvres sous un aspect plus détaillé. Utilisant une technique particulière sans marqueurs, le projet GAMME du Musée des Beaux Arts de Rennes n’empêche pas une visite ” classique ” et permet à chacun de visiter les lieux comme il le souhaite.

Mais qu’en est-il des interactions entre le public et les œuvres ?
Dans les projets de réalité augmentée architecturaux, l’interaction reste très limitée et le visiteur adopte une attitude plutôt passive et contemplative. Cependant l’immersion semble très forte.
En ce qui concerne GAMME, l’interaction est plus probante et permet d’obtenir un complément d’information très détaillé “pour comprendre et apprécier les trésors que renferment les musées” (*1). Ce savoir culturel partagé lors de visites guidées virtuelles efface cependant une partie humaine et sociale non négligeable.

Une perspective intéressante développée par l’université de Santa Barbara en Californie me donne plus à réfléchir pour l’avenir de l’interaction probable entre les visiteurs, les œuvres et les guides (personnes réelles). Une façon d’intégrer l’Homme dans cette vie technologique et ces nouveaux ” mondes virtuels “.

Voilà donc ce que l’avenir de la réalité augmentée (ou RA dans notre jargon technologique) nous réserve pour notre patrimoine culturel.

- (*1) extrait de l’article “La réalité augmentée s’invite au Musée des Beaux Arts de Rennes” écrit par Anne le 15 février 2010

La « réalité mixte » désigne le continuum et l’hybridation qui relient les mondes physique et numérique, les mondes « réel » et « virtuel » (1). En pratique, cette hybridation se traduit au niveau de la perception visuelle par un mélange entre des informations données par l’environnement physique de l’utilisateur et des informations calculées et produites par un système informatique.

Visuellement, le réel est ce qui peut être partagé et observé collectivement, il se différencie de l’imaginaire et de la fiction. Il est ce qui est perçu comme tel par un observateur et peut être confirmé par un autre observateur. Dans le cas contraire, on évoquera un phénomène hallucinatoire et/ou des phénomènes pathologiques.

Les systèmes informatiques permettent de calculer et produire des visualisations, des interfaces visuelles qui permettent l’action de l’utilisateur sur le système. Les programmes de ces systèmes peuvent prendre en compte un utilisateur identifié, considéré comme une entité unique, dans la mise en œuvre des modèles d’interactions. Par exemple, le moteur de recherche Google intègre la localisation géographique de l’utilisateur et son historique de recherche dans la composition de la liste de résultats qui lui sera proposée, sans que ces paramètres soient facilement repérés, activés ou désactivés par l’utilisateur lui-même. Pour une même requête dans le système, les résultats seront donc sensiblement différents pour chaque utilisateur. L’idée selon laquelle la liste que je consulte est la même que celle que consultent les autres pour une même requête est donc une idée fausse. Cette liste n’existe que pour un utilisateur localisé à un moment donné.

Dans un système de réalité mixte, ce constat pose directement le problème du réel lui-même en tant qu’environnement perceptible partagé. Qu’est-ce qui apparaît pour qui ? Qui voit quoi ? (et pourquoi ?). Imaginons des utilisateurs connectés à un même système dans un même espace localisé au même moment. Comment chacun saura-t-il que tel élément de l’environnement n’existe que pour lui-même ou existe pour tous les utilisateurs du système? Cette question semble suffisamment résolue dans la « réalité physique » pour que nous ne passions pas notre temps à interroger nos voisins sur l’existence ou non de tel ou tel objet. Les systèmes à base de réalité mixte reposent constamment cette question.

L’hypothèse est alors que seul un accès simultané aux représentations visuelles, et aux modèles qui président à ces représentations, permettra aux utilisateur de se situer dans un réel qui pourra encore être considéré comme tel.

(1) Paul Milgram, Fumio Kishino , A Taxonomy of Mixed Reality Visual Displays, IEICE Transactions on Information Systems, Vol E77-D, No.12 December 1994. http://vered.rose.utoronto.ca/people/paul_dir/IEICE94/ieice.html

Some Human Factors Considerations for Designing Mixed Reality Interfaces, Paul Milgram. RTO-MP-HFM-136 http://ftp.rta.nato.int/public//PubFullText/RTO/MP/RTO-MP-HFM-136///$MP-HFM-136-KN1.pdf

SCOPE – video

Using tangible traditional toys to enhance augmented reality in games and causual play.

SCOPE merges the basic characteristics of video games and real-life toys to improve existing games or create new ones. By attributing various virtual parameters commonly used in video games (power, life, magic, experience, attack, weapons, etc.) to tangible toys, it brings the toys to life. With this approach, it is possible to create all sorts of videogame concepts mixed with the real world. For example, a child’s bedroom could become a natural battleground for play.
Via SIGGRAPH ASIA 09

More info about SCOPE at Siggraph 09 New Orleans (by Grégoire Cliquet): HERE

Frantz Lasorne
www.FRANTZ-XX.com
L’École de design Nantes Atlantique
Presence & innovation lab, ENSAM Angers-Laval

We will be at the 4th international Conference on Designing Pleasurable Products and Interfaces that will be held in Compiègne, France, from 13rd to 16th of October 2009.

Meet us during the half day workshop “Design and Interactive Technologies”. It will be an opportunity to:

- review some projects developped by students during the online ‘Spime design‘ workshop.

- talk about design methodology, especially when designing for the internet of things, virtual worlds, synthetic realities, and globally, for the current and evolving environment we live in.

- formalize some scenarios around topics emerging during the workshop.

We hope to see you there !

Le Spime Design Workshop avec WideTag s’est déroulé ce lundi 29 Juin sur la parcelle de l’École de design Nantes Atlantique dans Second Life en partenariat avec le Metalab3D.

WideTag est une startup basée en Italie et en Californie qui propose des solutions pour l’internet des objets. Elle est également à l’origine de l’initiative openSpime, un protocole pour l’internet des choses (Internet of Things).

Après une présentation par David Orban de la vision de l’internet des objets portée par WideTag, nous avons procédé à une visite guidée des travaux réalisés par les 7 étudiants de 4ème année de l’Option majeure Réalité Virtuelle, dans le cadre du projet prospectif spime design. Les réactions furent positives et enthousiastes, tout en mettant en évidence les développements possibles, principalement au niveau des métadonnées précises convoquées par chaque projet, et de leur multiplication à grande échelle, dans le cadre d’une multiplication réticulaire de chaque spime imaginé.

Jean-Michel Cornu présente la collaboration entre L’École de design Nantes Atlantique et la FING / Prospectic lors de la conférence LIFT 2009 à Marseille, le 20 juin 2009. (Merci à Coulaut Menges – aka Roger Folliard – Bibliothèque Francophone de Second Life – pour la photo)