iPhone, RFID, QRCodes, SMS et Réalité augmentée : Internet des Objets

Recherche et Développement

Internet des Objets : solutions RFID, QRCodes, iPhone, SMS et AR (Augmented Reality)

Cette page présente nos recherches menées en interactions et convergences de "contenus objets" entre monde réel (réalité physique), mondes 3D (réalité virtuelle) et réalité augmentée. C'est ce qu'on appelle "L'Internet des Objets". C'est à l'intersection de ces trois réalités distinctes que se joue le devenir du web à long terme.
Tour d'horizon de quelques R&D récentes.

D'abord quelques définitions :

Réalité physique
Selon Wikipedia, le mot réalité désigne le caractère de ce qui existe effectivement, par opposition à ce qui est imaginé, rêvé ou fictif. On distingue classiquement la réalité de l'apparence et de l'illusion (ce qui n'est pas réel) et du possible (ce qui ne l'est pas encore mais pourrait le devenir).
Etymologiquement, réalité renvoie au latin res , la chose. Il y a donc dans le mot réalité présence de choses, de matières, de physique. Pour la plupart d'entre nous, réalité recouvre l'ensemble de ce qui existe concrètement au monde, ni abstraitement ni virtuellement.

Réalité virtuelle
Selon Wikipedia toujours, la réalité virtuelle est une simulation informatique interactive, visuelle, sonore et/ou haptique, d'environnements réels ou imaginaires. Sa finalité est de permettre une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel physique.

La réalité virtuelle est un domaine scientifique et technique exploitant l'informatique et des interfaces comportementales en vue de simuler dans un monde virtuel le comportement d'entités 3D, qui sont en interaction en temps réel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle par l'intermédiaire de canaux sensori-moteurs. [Arnaldi, 2003]

Réalité augmentée
Selon Wikipedia encore, la notion de réalité augmentée désigne les systèmes (au sens informatique) qui rendent possible la superposition d'un modèle virtuel 2D ou 3D à la perception que nous avons naturellement de la réalité et ceci en temps réel. Ce système peut aussi bien s'appliquer à la perception visuelle (superposition d'image virtuelle aux images réelles) qu'aux perceptions proprioceptives comme les perceptions tactiles ou auditives.

Import d'objets réels en univers virtuels

[18 septembre 2009] L'Internet des Objets signifie que des objets interconnectés, qu'ils soient réels ou virtuels, communiquent et interagissent entre eux via Internet. Il n'y a plus de différence significative pour l'utilisateur final entre objets réels ou virtuels, tous concourrent à une "expérience numérique" individuelle enrichie.
Note : les quatre vidéos qui suivent ont été postées et commentées en anglais. La mondialisation est partout.

Video 1

Des objets réels (jouets colorés géométriquement simples) sont "taggués" par une puce RFID (Radio Frequence IDentification). Ils sont détectés par le signal RFID émis par la puce quand on les approche de l'écran et aussitôt intégrés au monde virtuel (SecondLife).
Utilisation pratique : le code RFID fonctionnant comme un code barre identifiant chaque produit, la gestion d'une boutique virtuelle s'effectue en temps réel comme une boutique "en vrai" : vous scannez le code RFID par un lecteur-capteur et le produit prend sa place directement en rayon.

Video 2

Ces objets réels "virtualisés" sont éditables et modifiables à distance via un simple SMS.
Un exemple d'application pratique : vous placez en boutique virtuelle des produis que les clients peuvent transformer (changer la couleur, la forme, etc.) par un simple SMS, mais sans qu'ils puissent les détruire, les déformer, les retirer, les abimer, etc..

Video 3

Ces objets réels "virtualisés", éditables et modifiables par SMS, peuvent également recevoir des informations complémentaires en AR (réalité augmentée). Ici on leur a adjoint un objet en relief.
Quelle application pratique ? : vos produits sont visualisés par vos clients accompagnés d'offre promos 3D, de prix spéciaux, d'infos techniques, etc, sans que ces données soient directement présentes dans l'univers virtuel lui-même. Ce sont des données qui sont rajoutées en fonction de critères prédéfinis, commerciaux par exemple. En ce sens, la "réalité" de vos produits présentés est "augmentée" d'infos contextuelles complémentaires ciblées par types de clients. On est là dans du pur "marketing virtualisé" mettant en oeuvre les technologies internet les plus pointues et les plus innovantes. Couplé à une boutique web en ligne, on est dans ce qui se fait de mieux...

Video 4

Cette vidéo montre comment un objet réel (ou plusieurs) peut être utilisé pour déplacer simultanément des objets en univers virtuels et sur une page web "classique". .
Pour quelles applications ? : Enseigner (jeux éducatifs, initiation,...). Soigner (travail de motricité, réapprentissage gestuel, kiné). Vendre (animer une boutique 3D+online web). Collaborer (interfaces ludiques de collaboration à distance). Etc.

Utiliser iPhone comme outil de drag-drop dans SecondLife pour des objets de réalité augmentée

[11 septembre 2009] Une expérimentation technologique un peu farfelue, tournée à la va-vite, mais pas si futile que ça. Explications juste après.

Rajouter de la réalité augmentée à la réalité physique
Le concept de réalité augmentée vise donc à compléter notre perception du monde réel en y ajoutant des éléments fictifs, non perceptibles naturellement, par exemple en incrustant de façon réaliste des objets virtuels dans une séquence image de réalité physique.

Rajouter de la réalité augmentée à la réalité virtuelle
Mais ce concept de réalité augmentée peut tout aussi bien s'appliquer à la réalité virtuelle. Comme en réalité physique, il est possible d'insérer des objets fictifs en univers virtuels pour enrichir l'expérience utilisateur.

Puis un mix des deux
Et donc pour finir il est tout à fait possible d'insérer des objets de réalité augmentée à la fois dans une couche de réalité physique et dans une couche de réalité virtuelle.

Dans la petite vidéo on a d'une part un écran d'ordinateur présentant un environnement virtuel (SecondLife) et de l'autre une main tenant un iPhone. Si ces deux couches primaires de réalités, physique et virtuelle, n'entretiennent aucune relation au départ (appartenant à des registres de réalité clairement séparés, il n'y a entre elles aucune interactivité directe possible) elles partagent en revanche une information commune : l'iPhone affiche un pictogramme qu'on retrouve sur les murs de l'univers virtuel. Cette information commune est en soi aussi neutre et inactive qu'un décor. Mais c'est cette information partagée qu'on va utiliser pour générer un objet de réalité augmentée (une petite vidéo de chat jouant du piano), objet qui sera à son tour partagé entre les couches de réalités.

Des applications possibles
On peut imaginer toutes sortes d'usages et d'applications. Par exemple :

- formation-éducation. On reconstitue un assemblage particulier complexe (mécanique, biologique, électronique, ...) en univers virtuel ; l'étudiant tient en main ( réalité physique ) un outil ( réalité augmentée ) grâce auquel il intervient sur l'assemblage ( réalité virtuelle ) : il opère à l'aide de différents modèles de bistouris, il insère une pièce microscopique dans une mécanique de haute précision, etc... En réalité physique seule, l'équivalent serait rédhibitoire puisqu'on ne peut pas mettre à disposition de chaque étudiant un organisme biologique à disséquer, pas plus qu'on ne peut mettre à disposition de chacun des assemblages de haute technologie uniques ou très coûteux avec le risque de les endommager. En réalité virtuelle seule, ce n'est pas la main de l'étudiant qui effectue le travail mais un avatar qu'il pilote au clavier : il n'y a ni apprentissage du geste juste, ni acquisition d'un savoir gestuel. Seul le couplage de ces trois niveaux de réalité est capable de former l'étudiant en dehors de toute contingence de temps, de budget ou de disponibilité des matériels.

- en marketing-merchandising . On recrée des linéaires de magasin dans lesquels un panel de testeurs se déplace ( réalité virtuelle ). On teste différents modèles et versions de packaging incorporés en 3D ( réalité augmentée ) que chaque testeur peut prendre en main ( réalité physique ) comme il le ferait d'un véritable produit en situation. A partir de là on peut étudier en temps réel l'attitude du consommateur, packaging par packaging. Comment le prend-t'il en main ? Quelle lecture a-t-il des informations présentée ? Dans quel ordre ? Combien de temps le garde-t'il en main avant de prendre une décision ? On peut ainsi expérimenter très précisément toutes sortes de variables en réagissant presque instantanément aux feedbacks du panel, se dotant ainsi d'un outil marketing performant..

- en management-recrutement . On peut créer un espace 100% virtuel où des situations pré-conçues se succèdent chronologiquement ( réalité virtuelle ) et où les personnes concernées ( réalité physique ) doivent prendre certaines décisions et/ou mener certaines actions. Celles-ci se matérialisent par des objets ( réalité augmentée ) à déplacer, accumuler, supprimer, modifier, échanger, etc. L'interaction entre la personne et la situation est immédiatement qualifiable par le statut de l'objet en question. La différence avec un jeu vidéo est la durée et la persistance : si on revient le lendemain, on retrouve la situation telle qu'on l'avait laissée la veille.

Codes barre 2D et QRCodes pour iPhones, smartphones, PDA.

[4 septembre 2009] Les QRCodes (ou codes barre 2D) permettent à des objets de dialoguer entre eux. La vidéo ci-dessous montre comment un site web peut envoyer une adresse internet à des mobiles.

Applications pratiques
Vous placez un QRCode sur une affiche ou sur un produit. Vos clients utilisateurs de mobiles connectés à Internet peuvent scanner ce QRCode et afficher directement les pages web correspondantes.