Login
blog > psykopat > Le point sur Project Natal

Le point sur Project Natal

Posté par : Seb - Le Samedi 11 Juillet 2009 à 13:30

Je vous parlais en juin dernier de la présentation par Microsoft du projet Natal destiné à la détection de mouvements sur XBox 360. Peu d'informations ont filtré jusqu'ici concernant le véritable état d'avancement du projet, mais le magazine britannique Edge vient de publier un dossier dans son édition papier d'août 2009 qui fait le point avec les responsables du projet sur l'état réel du développement.


On y apprend notamment que les kits de développement sont bel et bien partis dans les studios des éditeurs tiers depuis la fin de l'E3, mais c'est par l'intermédiaire du blog Overgame que nous en apprenons plus :


  • Le projet Natal fonctionne à l'aide d'un capteur utilisant une caméra RVB, un capteur de profondeur, un microphone multi directionnel et un processeur spécialement adapté. Le hardware n'est pas encore finalisé. Il sera compatible avec toutes les consoles Xbox 360, passées, présentes et futures.

     
  • Le tout fonctionne à l'aide d'un programme propriétaire développé en interne par Microsoft. Le système peut être exploité par les développeurs de jeux sans avoir besoin de toucher à leur code source. Outils et technologies employés restent les mêmes.

     
  • L'utilisation de l'interface ne nécessite aucun apprentissage et doit être appréhensible et préhensible immédiatement par n'importe quel utilisateur, quelque soit son âge, gamer ou pas. L'interface doit être amusante dans les 30 secondes de première utilisation pour intéresser tous les publics et ce, sans mode d'emploi.

     
  • Positionnement du gadget dans la pièce, distance d'utilisation, quantité de lumière nécessaire ne sont pas finalisées. L'idée étant quand même que cela fonctionne dans n'importe quel foyer ou espace de jeu. Le système de captation décrypte, reconnaît et mémorise la disposition de la pièce où il est utilisé et se cale pour offrir la meilleure configuration d'utilisation possible.

     
  • Le système permet de suivre les mouvements du corps à partir de 48 points de références anatomiques. Le mappage en 3D identifie la forme du corps et son squelette. Les grands mouvements du corps comme les petits sont reconnus et répercutés à l'écran. Apparemment jusqu'aux mouvements des doigts. Le même système de captation de la profondeur identifie les expressions du visage.

     
  • 4 joueurs simultanés peuvent être ainsi reconnus et mémorisés. Le microphone capte, identifie et enregistre les voix individuelles de chacun. Il repère l'origine spatiale de la voix dans la pièce.

     
  • La détection de mouvement et de masse fonctionne même quand un joueur (objet ou mobilier) en cache partiellement un autre. Un algorithme recalcule les parties manquantes du corps éventuellement en mouvement. Le joueur ne doit ainsi jamais perdre le contrôle de l'interface. Le système doit comprendre l'incident si un spectateur passe devant la caméra, et ne pas perdre le contact avec le joueur en action.

     
  • La version définitive du microphone multi directionnel pourra identifier les voix d'une salle pleine de gens en train de parler en même temps. Natal doit savoir différencier les voix qui s'adressent au programme de celles appartenant au fond sonore de la pièce. Des bruits parasites comme les aboiements lointains d'un chien ou une musique distante devraient être automatiquement repérés pour ne pas interférer avec les commandes vocales des participants.

     
  • La démo de Burnout en version Natal de l'E3 ayant bloqué quand un joueur cobaye a croisé les bras en tournant le volant inexistant, il est expliqué que la procédure n'avait pas été intégrée dans cette esquisse de version devant, avant tout, faire la démonstration de la rapidité de réaction des contrôles. Programmer l'anticipation de ce mouvement en particulier, ou d'un autre comme la conduite d'une main, ne devrait poser aucun problème et serait fait lors d'une version définitive d'un jeu.
     

Milo and Kate

Edge dévoile de nombreuses réponses aux questions suscitées par la présentation du projet de Peter Molyneux "Milo and Kate" :

 

  • La démonstration du jeu Milo and Kate de Peter Molyneux a été préenregistrée parce qu'elle aurait pris trop de temps sur scène comme l'aurait souhaité son auteur, mais ce que l'on voit à l'écran correspond vraiment à son fonctionnement en temps réel. Pour arriver à ce type d'interaction entre "humains" pour Milo and Kate, Peter Molyneux (et son équipe ?) a fait des recherches et utilisé le procédé de reconnaissance vocale de la société Tellme rachetée par Microsoft. Il a consulté les laboratoires de Cambridge Research Systems et ceux de Microsoft Research à Seattle à qui il a emprunté le système de reconnaissance faciale et d'émotions. Son équipe a également créé une IA dédiée à l'empathie.
    Milo et la technologie Natal ne permettent tout de même pas de reconnaître chaque mot prononcé. "La reconnaissance vocale complète n'existe pas encore."

     
  • L'information sur la profondeur calculée par le capteur permet de scanner un objet comme un morceau de papier avant même que le jeu, comme Milo and Kate, demande de le présenter à l'écran. Les temps d'attentes seraient ainsi inexistants dans ce genre d'interaction.

     
  • L'association du projet Natal et du jeu Milo and Kate permet au personnage de, par exemple, reconnaître le joueur passant simplement dans la pièce, de le saluer, de faire allusion à la dernière fois où ils se sont vus, et d'éventuellement identifier un changement de tenue vestimentaire, y compris la couleur, qui se transforme en début de dialogue :" Tu es habillé différemment aujourd'hui, tu as l'intention de sortir ?". Puisqu'il piste les habitudes du joueur, le personnage de Milo peut finir par s'habiller avec les mêmes couleurs que celles portées fréquemment par le joueur.

     
  • Milo and Kate aura bien une structure complète et identifiable de jeu vidéo (scores, chiffres, jauges…), il ne s'agira pas simplement d'un dialogue entre personnages dans et hors écran insiste Peter Molyneux.

 

Voilà ce que nous savons à l'heure actuelle sur le projet Natal. Un avancement certain certe, mais encore loin du produit définitif. Dans tous les cas il est évident que le développement du projet Natal pour une exploitation commerciale à grande échelle prendra du temps, les premiers titres à en profiter montreront quelques défauts de détection qui, espérons le n'entâcheront pas l'expérience de jeu, mais avec le temps la technologie pourrait bien devenir incontournable.


Via Overgame







Commentaires 4 commentaires

farwarx le 13 Juillet 2009 à 13:30

Ouais... j'ai encore quelques doutes...
Sur le papier ça à l'air super, mais en pratique...
Taux minimum de luminosité, type de pièce (résonance), j'aimerai bien le tester tout de même.
Merci Seb ;)

Seb le 13 Juillet 2009 à 16:18

farwarx > Moi aussi j'ai de nombreux doutes, d'où mon billet. Le fait que Peter Molyneux reconnaisse que la vidéo de Milo était bel et bien pré-enregistrée est déjà un petit aveu de faiblesse. Ensuite le recoupement des informations de différents capteurs pourrait bien donner un résultat surprenant. De toute façon on en verra pas la lumière avant l'année prochaine. J'en reparlerais de toute façon dès que des infos importantes viendront à filtrer sur le sujet.

Yep le 14 Juillet 2009 à 8:21

Yep !
ça a l'air énorme... mais beaucoup trop gros pour être crédible à mon gout ^^
J'imagine même pas l'IA qu'il doit falloir pour traiter le son (partie micro) , l'image (partie caméra), les appels à la pseudo base de données (partie interne), et le rendu graphique(partie écran)... et dire que le programme arrivé à gérer ce qui se passe autour et qu'il sache qu'il ne doit pas s'en occuper, c'est encore plus gros...

Imaginons ^^ (une soirée "presque" normale)
- 2/3 petits projecteurs
- une musique de fond (qui peut trés bien changer de style ou de volume à tout moment)
- une bonne douzaine de pot(e)s affalé(e)s devant la TV juste pour voir le "système"
- un chien qui passent devant la tv de temps en temps ;)

Je vois pas pourquoi le système me donnerais pas une tête verte (cf. projecteur), une voix de bee gees (cf. musique), avec la tête de mon pot à coté, et le corps velu du caniche qui aime bien se voir dans la TV.
Le tout avec des temps de réponses proches de zéro. Pour avoir développé des PETITS modules en traitement d'image j'imagine même pas les tepmps de réponses ^^....

Seb le 14 Juillet 2009 à 11:14

Yep > J'aime bien ta scène "normale" et l'image de l'homme-caniche à la voix de beegees. Sinon pour la question de la performance, c'est quand même un processeur matériel développé pour le traitement de l'image et la reconnaissance qui est développé. Et Microsoft n'a pas réinventé la poudre, comme expliqué plus haut, ils ont fait appel à des technologies déjà développées depuis un moment par des chercheurs. Enfin je reste comme toi persuadé que les bugs seront certainement nombreux et gênants, surtout au début.



.laisser un commentaire




Codes html interdits. Les liens sont convertis automatiquement.

Réalisation

Code & Design : Sébastien Cardona

Page générée en : 0.060275s