Après une première journée à passer en revue ce qui était déjà proposé pour Kinect sur le net (on va pas réinventer la roue d’autant que Microsoft Research promet son SDK pour le printemps 2011), j’ai donc découvert Nui.Vision. Une belle réalisation prometteuse qui permet de développer en C# plutôt qu’en C++ avec un niveau d’abstraction déjà très élevé. Peut être trop …

Un bon point de départ en tout cas pour ne pas se prendre la tête à faire quelque chose qui existe déjà, la détection du squelette et travailler sur l’essentiel, l’interface utilisateur. Je vous laisse juger.

Ne pas louper Nui.Vision sur http://www.studentguru.gr/blogs/vangos/default.aspx

Après avoir loupé le wagon avec l’iPhone et l’Appstore (manque de motivation initiale et d’un collègue graphiste pour me lancer et apprendre le langage d’Apple “Cocoa Touch”), j’étais bien décider à ne pas louper le lancement de Windows Phone 7. D’autant que le langage de développement est Silverlight et que c’est un langage auquel je suis confronté régulièrement voir quotidiennement pour le framework .NET.

Bref, impossible de louper le coche et de louper un retour aux sources après avoir réalisé 5 applications iPhone :

- Maybelline Studio Manucure : http://itunes.apple.com/fr/app/studio-manucure-gemey-maybelline/id382816421?mt=8

- Voyance par les cartes : http://itunes.apple.com/fr/app/voyance-par-les-prenoms-et/id369607410?mt=8

- Oeil du destin : http://itunes.apple.com/fr/app/oeil-du-destin/id391577430?mt=8

- Miroir HD : http://itunes.apple.com/fr/app/miroir-hd-pour-iphone4-iphone/id379865750?mt=8

- Torch HD : http://itunes.apple.com/fr/app/torch-hd-lampe-torche-de-poche/id381256688?mt=8

Enfin ce coup-ci on l’a fait (avec Alexandre bien sûr) et nous sommes présents dès le lancement du téléphone dans la MarketPlace de Microsoft avec “PeopleFav” (image ci-dessus) qui ajoute une notion de liste de contact favoris pour l’instant inexistante dans Windows Phone 7.

Pour les chanceux qui ont déjà Windows Phone 7, vous pouvez télécharger l’application en démonstration via Zune en recherchant PeopleFav.

Premier constat, le développement est vraiment plus rapide que sur Cocoa Touch mais suis-je réellement objectif ? je pense que oui, j’ai pu comparer sur un autre projet Windows Phone 7 la migration d’une application iPhone. Le temps de développement a été divisé par 3. Bon point pour cette nouvelle plateforme.

Bientôt de nouveaux projets à présenter.

L’élément le plus important d’une table tactile est la(les) camera(s) infrarouge.

Les cameras “purement” infrarouge ne court pas les rues et sont hors de prix. Hors, la plupart des cameras “classique” sont finalement déjà capable de capter ces infrarouges, les constructeurs ajoutent simplement un filtre pour les supprimer. Le principe est donc simple, prenez une camera USB classique, démontez la, retirez  le filtre bloquant les infrarouges et ajoutez à la place un filtre passant infrarouge.

Ok, mais quelle camera choisir ? d’après mes recherches, il semble que la caméra la plus utilisée et la plus populaire pour notre utilisation soit la Sony PS3 Eye. Elle est très abordable financièrement (40 euros) et se modifie relativement facilement (avec un peu de doigté tout de même). Voici deux vidéos montrant comment démonter la camera, retirer le filtre infrarouge et ajouter un filtre pour la lumière visible (morceau de disquette dans la vidéo)

J’ai procédé aux mêmes étapes – vous pouvez voir ci-dessous l’objectif d’origine sans le filtre infrarouge – attention de ne pas abimer la lentille comme moi en tentant d’enlever le filtre, il faut vraiment y aller cool. Du point de vue du filtre passant infrarouge, j’ai utilisé un film de négatif surexposé et donc complètement noir. Vous pouvez voir sur la deuxième photo le capteur CCD (petit carré multicolore) et sur le plan de travail, le morceau de négatif. Cette méthode m’a permis d’obtenir mes premiers résultats et une table fonctionnelle, cependant le focus était plus qu’hasardeux, impossible dans un premier temps de réaliser une reconnaissance de symbole fiduciel. Enfin j’étais un peu sceptique concernant la précision du négatif surexposé pour filtrer les infrarouges.

Pour tenter d’obtenir des meilleurs résultats et corriger les problèmes décrits précédemment, j’ai investi dans des objectifs m12, une monture m12 destinée à la PS3 Eye et un filtre passant pour les longueurs d’onde de 880 nm (la longueur d’onde émise par mes leds). Le démontage de l’objectif fut assez simple (exactement les mêmes étapes que la première fois).

Et voici le résultat, je peu maintenant visser/devisser mon objectif pour le remplacer par un autre et adapter le focus pour faire le point :

Depuis quelques jours déjà, je souhaitais tester Microsoft Touch Pack for Windows 7. Principalement parce qu’il s’agit d’une suite de logiciels multitouch issue de la collaboration entre l’équipe Microsoft Surface et l’équipe Windows 7. Et donc, du lourd en perspective .

La suite est composée de :

• Microsoft Surface Collage : un utilitaire vous permettant de jouer avec vos photos et de créer un image de fond
• Microsoft Surface Globe : vous permet d’intéragir avec Virtual Earth 3D en mode Multitouch
• Microsoft Surface Lagoon : est un économiseur d’écran d’aquarium sur lequel on peut interagir avec les poissons
• Microsoft Rebound : est un jeu de tennis, une reprise du célèbre jeu Pong
• Microsoft Blackboard : est un jeu à la “incredible machine”, il faut construire des mécanismes permettant d’atteindre les objectifs
• Microsoft Garden Pond : est un jeu où vous devez faire naviguer votre bateau origami en créant des remouds dans l’eau

Le résultat était à la hauteur de mes espérances, les logiciels sont parfaitement optimisés et agréables à utiliser en Multitouch malgré une table encore loin d’être optimisée. Ce sont les applications les plus convaincantes que j’ai pu tester jusque maintenant.

Voici une vidéo des 3 premières applications en qualité médiocre malheureusement :

C’est la partie un peu frustrante pour l’instant. Mis à part l’exemple fourni dans CCV avec les 4 images à resizer et à bouger dans tous les sens, j’avais pas grand chose.

Heureusement le driver HID windows 7 était là pour me permettre de commencer à explorer les possibilités. Celui-ci vous permet d’interfacer CCV ou tout logiciel transformant le touché en ordre TUIO en points de contact comprises par Windows 7. Rien qu’avec ce driver, on peut en faire des choses et c’est plutôt agréable de découvrir windows en tactile.

Mais on tourne vite en rond et pour l’instant mon problème de hotspot (cf mon article précédent) complique l’utilisation de windows 7. Voici ce que j’ai trouvé pour l’instant :

• le touch pack windows 7 livré pour les écrans tactiles (sur les réseaux torrents, pas de download officielle)
• le SDK SP1 de Microsoft Surface, pas encore essayer, et il faut greffer encore un outil intermédiaire pour traduire les infos des points de contact
• Des mini-jeux flash pas très fonctionnels, ou alors j’ai pas franchement compris comment ca fonctionnait
• MT4j, la solution la plus complète en exemple (image ci-contre)

Si quelqu’un trouve autre chose, merci de laisser un commentaire pour que j’enrichisse la liste.

D’ailleurs mon fils Jules commence à aimer le nouveau jouet de papa et rien que de voir la réaction de bébé, on comprend mieux pourquoi on appelle ca en anglais “NUI – Natural User Interface” :

J’avoue, là ca fait un peu montage à l’arrache . 2 chaises, 1 miroir et op, une table tactile rétro-éclairée.

Donc suite à mon premier test avec la moitié de la table illuminée et mes premiers touchés de la surface, j’avais quelques craintes quand à la qualité de la glisse sur la surface. Il faut dire que la feuille de EndLighten accroche énormément les doigts, ca fait très plastique, donc faire glisser ces doigts dessus, difficile !

Heureusement la deuxième feuille de plexiglas, surface spécifiquement réalisée pour capter une lumière projetée, est beaucoup plus rugueuse. Les doigts accroche moins et on se rapproche d’ailleurs beaucoup de la sensation de la Surface de Microsoft. Cependant, le positionnement de cette plaque sur le dessus du panneau tactile limite énormément l’émission d’infrarouge et le touché est beaucoup moins “sensible”.

Malgré tout, et après un petit étalonnage, ca fonctionne déjà plutôt bien, mise à part un gros “Hotspot” qui s’affiche semble t’il à cause de l’intensité lumineuse du rétroprojecteur. Voyez plutôt :

Demain j’essaierai en inversant les 2 plaques, malheureusement je perdrais en qualité de touché mais peut être que le hotspot disparaitra et que j’aurais encore plus de “sensibilité” dans le touché. A creuser.

Côté logiciel, j’ai été un peu frustré, tout les outils gratos, y compris le SDK de Microsoft Surface, tourne sur de l’OS 32 bits, non mais franchement … du coup avec mon Windows 7 64 bits, j’étais pas trop avancé.

Voila ce qu’un client pourrait voir en concession plutôt que la brochure:

• FTIR : Frustrated Total Internal Reflection
• DI : Diffused Illumination
• LLP : Laser Light Plane
• DSI : Diffused Surface Illumination

Pour ma part, j’ai choisi la méthode DSI me paraissant la moins prise de tête et donc la plus simple techniquement même si les matériaux sont un peu plus cher.

La méthode FTIR m’a paru la meilleure solution de prime abord car elle m’a semblée être la méthode la plus mise en œuvre. Cependant, la réalisation d’une couche en silicone par dessus le plexiglas ne m’a pas paru évidente à réaliser, j’ai donc regardé de plus prêt les autres méthodes.

La méthode DSI est très similaire à la méthode FTIR, elle a l’avantage de ne pas nécessiter de couche supérieur en silicone. Toute l’astuce réside dans l’utilisation d’un Plexiglas “Endlighten” dont les propriétés permettent de diffuser les rayons via la tranche du matériau.

De plus, la méthode DSI permet l’utilisation de marques fiducielles (d’ailleurs est-ce vraiment le mot en français ?). Des sortes de code barre 2D qui permettent une interaction plus grande avec la table. Bref, ca me paraissant intéressant de ne pas se couper d’une telle possibilité pour un prototype.

Enfin la méthode DSI a tout de même des inconvénients, prix de l’acrylique (effectivement 150euros du m² contre 90 pour du plexiglas de base), blob des points de contact moins visible (contre balancé par plus de diode infrarouge ?) et une flexibilité de l’acrylique qui rendrait plus difficile l’utilisation de la méthode pour une grande taille (à moins d’utiliser une version plus épaisse mais encore plus cher). J’en saurais plus quand j’aurais tout ca dans les mains.

Si vous souhaitez en savoir plus sur les différentes méthodes de réalisation d’une table multitouch, lisez l’excellent livre de  la communauté NUI Group.