Introduction aux interfaces naturelles

L’objectif de ce billet est de faire un état de l’art des interfaces homme machine et de préciser le concept d’interface naturelle.

Typologie des interfaces homme machine

On peut considérer qu'il existe trois types d’interfaces entre l’homme et le monde numérique : 

• La présentation d’informations : la machine transmet des informations à l’utilisateur 
• Le contrôle/rétroaction : l'utilisateur transmet ses ordres à la machine
• Les traitements en tâche de fond : la machine collecte des informations ou effectue des opérations en arrière plan sans demande explicite de l’utilisateur. On utilise pour cela des capteurs, en particulier dans le cadre du "Quantified Self" (mouvement qui permet à chacun de mesurer ses données personnelles grâce à différents outils. Voir la présentation dans ce billet).

Les interfaces naturelles 

Elles sont définies par la possibilité d’une prise en main sans apprentissage particulier. Par opposition à ces interfaces, la maîtrise des claviers et souris nous a généralement demandé des mois d’apprentissage. Par contre, les écrans tactiles sont faciles à prendre en main aussi bien par des enfants que par des personnes âgées.

Cette simplicité d’apprentissage a cependant un revers : le sacrifice de la précision et de la productivité. Il est en effet difficile de dessiner au pixel près sur une tablette, comme on le fait sur PC avec des logiciels professionnels. Autre exemple, la saisie de texte au kilomètre est malaisée sur écran tactile.

C’est d’ailleurs la raison pour laquelle il existe de nombreux débats sur l’utilisation de tablettes tactile dans le cadre d'un usage professionnel.

Prisme de classification des interfaces homme machine

Les interfaces peuvent être considérées selon le prisme des trois types évoqués plus haut et des cinq sens. On y ajoute un sixième sens pour considérer les interfaces neuronales, dites “interfaces directes”.

Le tableau suivant présente ce prisme en introduisant une différence entre les interfaces naturelles (NUI, Natural User Interface) et celle qui nécessitent un apprentissage (LUI, Learned User Interface).

Sens	Présentation d’information	Contrôle
La vue	écrans de tous types : plats, courbes, projetés, holographiques, etc. Réalité augmentée.	LUI : Commande oculaire à la manière de Stephen Hawking NUI : détection de mouvement des membres
Le toucher	Manche à retour de force ou “interface haptique”. Gant interactif,vêtements à rétroaction, etc.	LUI : clavier/souris/trackball NUI : écran tactile
L’ouïe	Notification sonore. Synthèse vocale.	LUI : commande vocale (reposant sur un corpus sémantique limité, c’est à dire un ensemble de mots clefs) NUI : reconnaissance vocale (reposant sur un corpus sémantique ouvert, c’est à dire le langage naturel)
L’odorat	expérimental	non applicable
Le goût	expérimental	non applicable
L’interface cérébrale	non applicable	LUI : commande par la pensée.

Parmi les interfaces naturelles innovantes qui font appel à la vue, on peut citer les Google Glass qui projettent des informations sur l’environnement réel. Le dispositif Layar offre le même service par l’intermédiaire d’un téléphone. Les premières interfaces holographiques permettent de donner une sensation de profondeur sur un objet projeté, comme avec Microsoft Holodesk.

Le contrôle naturel peut s'effectuer par le geste en utilisant la “vision de l’ordinateur”. C'est le cas du capteur Kinect de Microsoft ou de Leap Motion, une alternative qui se pose sur le clavier d’un ordinateur. La lecture gestuelle avec Kinect est présentée au Labo BNF depuis 2012 : voir ce billet.
Des dispositifs à air pulsé permettent à la machine de donner une impression de toucher.

Des dispositifs expérimentaux de vaporisation de parfum permettent de créer une ambiance olfactive.

D’autres, placés à l’intérieur de la bouche, permettent de donner une sensation de goût.

Enfin, le contrôle naturel basé sur la “lecture de la pensée par l’ordinateur” est possible avec des dispositifs tels que eMotiv présenté au Labo de la BNF en 2012 : voir ce billet.