Je vous parlais en juin dernier de la présentation par Microsoft du projet Natal destiné à la détection de mouvements sur XBox 360. Peu d'informations ont filtré jusqu'ici concernant le véritable état d'avancement du projet, mais le magazine britannique Edge vient de publier un dossier dans son édition papier d'août 2009 qui fait le point avec les responsables du projet sur l'état réel du développement.

On y apprend notamment que les kits de développement sont bel et bien partis dans les studios des éditeurs tiers depuis la fin de l'E3, mais c'est par l'intermédiaire du blog Overgame que nous en apprenons plus :

• Le projet Natal fonctionne à l'aide d'un capteur utilisant une caméra RVB, un capteur de profondeur, un microphone multi directionnel et un processeur spécialement adapté. Le hardware n'est pas encore finalisé. Il sera compatible avec toutes les consoles Xbox 360, passées, présentes et futures.
  
   
• Le tout fonctionne à l'aide d'un programme propriétaire développé en interne par Microsoft. Le système peut être exploité par les développeurs de jeux sans avoir besoin de toucher à leur code source. Outils et technologies employés restent les mêmes.
  
   
• L'utilisation de l'interface ne nécessite aucun apprentissage et doit être appréhensible et préhensible immédiatement par n'importe quel utilisateur, quelque soit son âge, gamer ou pas. L'interface doit être amusante dans les 30 secondes de première utilisation pour intéresser tous les publics et ce, sans mode d'emploi.
  
   
• Positionnement du gadget dans la pièce, distance d'utilisation, quantité de lumière nécessaire ne sont pas finalisées. L'idée étant quand même que cela fonctionne dans n'importe quel foyer ou espace de jeu. Le système de captation décrypte, reconnaît et mémorise la disposition de la pièce où il est utilisé et se cale pour offrir la meilleure configuration d'utilisation possible.
  
   
• Le système permet de suivre les mouvements du corps à partir de 48 points de références anatomiques. Le mappage en 3D identifie la forme du corps et son squelette. Les grands mouvements du corps comme les petits sont reconnus et répercutés à l'écran. Apparemment jusqu'aux mouvements des doigts. Le même système de captation de la profondeur identifie les expressions du visage.
  
   
• 4 joueurs simultanés peuvent être ainsi reconnus et mémorisés. Le microphone capte, identifie et enregistre les voix individuelles de chacun. Il repère l'origine spatiale de la voix dans la pièce.
  
   
• La détection de mouvement et de masse fonctionne même quand un joueur (objet ou mobilier) en cache partiellement un autre. Un algorithme recalcule les parties manquantes du corps éventuellement en mouvement. Le joueur ne doit ainsi jamais perdre le contrôle de l'interface. Le système doit comprendre l'incident si un spectateur passe devant la caméra, et ne pas perdre le contact avec le joueur en action.
  
   
• La version définitive du microphone multi directionnel pourra identifier les voix d'une salle pleine de gens en train de parler en même temps. Natal doit savoir différencier les voix qui s'adressent au programme de celles appartenant au fond sonore de la pièce. Des bruits parasites comme les aboiements lointains d'un chien ou une musique distante devraient être automatiquement repérés pour ne pas interférer avec les commandes vocales des participants.
  
   
• La démo de Burnout en version Natal de l'E3 ayant bloqué quand un joueur cobaye a croisé les bras en tournant le volant inexistant, il est expliqué que la procédure n'avait pas été intégrée dans cette esquisse de version devant, avant tout, faire la démonstration de la rapidité de réaction des contrôles. Programmer l'anticipation de ce mouvement en particulier, ou d'un autre comme la conduite d'une main, ne devrait poser aucun problème et serait fait lors d'une version définitive d'un jeu.
   

Milo and Kate

Edge dévoile de nombreuses réponses aux questions suscitées par la présentation du projet de Peter Molyneux "Milo and Kate" :

• La démonstration du jeu Milo and Kate de Peter Molyneux a été préenregistrée parce qu'elle aurait pris trop de temps sur scène comme l'aurait souhaité son auteur, mais ce que l'on voit à l'écran correspond vraiment à son fonctionnement en temps réel. Pour arriver à ce type d'interaction entre "humains" pour Milo and Kate, Peter Molyneux (et son équipe ?) a fait des recherches et utilisé le procédé de reconnaissance vocale de la société Tellme rachetée par Microsoft. Il a consulté les laboratoires de Cambridge Research Systems et ceux de Microsoft Research à Seattle à qui il a emprunté le système de reconnaissance faciale et d'émotions. Son équipe a également créé une IA dédiée à l'empathie.
  Milo et la technologie Natal ne permettent tout de même pas de reconnaître chaque mot prononcé. "La reconnaissance vocale complète n'existe pas encore."
  
   
• L'information sur la profondeur calculée par le capteur permet de scanner un objet comme un morceau de papier avant même que le jeu, comme Milo and Kate, demande de le présenter à l'écran. Les temps d'attentes seraient ainsi inexistants dans ce genre d'interaction.
  
   
• L'association du projet Natal et du jeu Milo and Kate permet au personnage de, par exemple, reconnaître le joueur passant simplement dans la pièce, de le saluer, de faire allusion à la dernière fois où ils se sont vus, et d'éventuellement identifier un changement de tenue vestimentaire, y compris la couleur, qui se transforme en début de dialogue :" Tu es habillé différemment aujourd'hui, tu as l'intention de sortir ?". Puisqu'il piste les habitudes du joueur, le personnage de Milo peut finir par s'habiller avec les mêmes couleurs que celles portées fréquemment par le joueur.
  
   
• Milo and Kate aura bien une structure complète et identifiable de jeu vidéo (scores, chiffres, jauges…), il ne s'agira pas simplement d'un dialogue entre personnages dans et hors écran insiste Peter Molyneux.

Voilà ce que nous savons à l'heure actuelle sur le projet Natal. Un avancement certain certe, mais encore loin du produit définitif. Dans tous les cas il est évident que le développement du projet Natal pour une exploitation commerciale à grande échelle prendra du temps, les premiers titres à en profiter montreront quelques défauts de détection qui, espérons le n'entâcheront pas l'expérience de jeu, mais avec le temps la technologie pourrait bien devenir incontournable.

Via Overgame