luc dall’armellina – lucdall@free.fr

Docteur en hypermedia (Université Paris8). Enseignant aux beaux-arts de Valence. Designer de dispositifs numériques.

"Les uns pensent, dit-on, les autres agissent, mais la vraie condition de l'homme, c'est de penser avec ses mains." Jean-Luc Godard

introduction

Deux textes produits dans le cadre du séminaire « L’action sur l’image » mettaient en avant les notions de « signes e-mouvants » 1 pour l’un et quelques figures de « l’écran agi » 2 pour l’autre. Dans le premier, il s’agissait de montrer la singularité des signes à l’œuvre dans de nombreux dispositifs hypermedia : électroniques [ numériques ] et mouvants [ dotés de comportements ]. Dans le second, il s’agissait de montrer que plus que la nature des signes eux-mêmes, c’est leur mode d’apparition et d’existence qui sont déterminant. Ces deux approches sémio-pragmatiques quant au champ et phénoménologiques quant à la méthode poursuivaient une réflexion sur les changements en cours dans les écritures/lectures/manipulations multimodales des dispositifs numériques.

Une analyse de moments choisis dans « Postales 3 » et « Ceremony of Innocence 4 » devra permettre de mettre en perspective les figures évoquées plus haut et de les articuler avec un troisième terme : le temps de la praxis, acceptée comme « activité en vue d’un résultat et opposée à la connaissance d’une part et à l’être d’autre part » 5. Dans cette proposition dessinée en trigramme, l’opérabilité numérique [computation] de l’environnement processuel de l’écran, triangule avec les axes hérités du arts du récit [temps] et des arts de l’image [espace]. Cette figure esquisse un nouvel espace pour la praxis hypermedia et permet de dégager un régime temporel spécifique et singulier. Spécifique parce qu’en rupture avec le temps linéaire [durée], singulier parce qu’adhérent au temps de l’action [instant] mais nous y reviendrons.

Ainsi « l’action exercée par l’objet […] et l’action subie par l’objet […] ont altéré sa forme sinon sa nature, irréversiblement selon la flèche du temps ; le concept de processus implique cette dialectique dans la représentation de l’objet. Il ne nous intéresse plus d’abord par ce qu’il est mais par ce qu’il fait et ce qu’il subit, donc par ce qu’il devient ; nous le connaissons par les processus qu’il affecte ou qui l’affectent ; nous le représentons de l’extérieur, par ses comportements, dans son contexte ; nous dirons bientôt : dans son environnement. » 6 

Cette proposition de Jean-Louis Le Moigne autorise à penser que le temps de la praxis hypermedia est d’un type inédit. Temps suspendu aux actions d’un opérateur qui semble contrôler, mais qui plus encore, fait émerger une configuration nouvelle des signes « e-mouvants », ceci dans un processus réglé/réglable côté auteur comme côté lecteur. Ces signes ne sont plus tant attachés à une valeur symbolique définie comme c’était le cas avec les icônes et images re-présentées des médias pré-numériques, mais deviennent par la computation une sorte d’états potentiels à éveiller par une action sur eux (ex. survol, proximité, clic). Une image fixe est de ce point de vue une re-présentation, sa finalité est « d’être vue », alors qu’une image « e-mouvante » a été faite pour être agie, elle possède plusieurs états non finis 7  et dont la finitude s’accomplit par le geste dans une gamme de graduations et de finesses infinies.

présentation des dispositifs 

médias numériques 

e-narratif 

L’« e-narratif » serait cette forme qu’il conviendrait d’appeler encore « l’épi-narratif », comme l’épiphénomène électronique du narratif, venant augmenter le narratif tel que nous le connaissions jusqu’ici. L’ « e- narratif » serait constitué d’au moins deux composantes :

infra narratif

Il apparaît ici utile d’objectiver un certain nombre des qualités des objets qui composent les écrans tout en écartant la tentation de dresser une typologie des signes qui les constituent. Mais comment se poser les questions complexes des signes en mouvement, de leur inscription dans une temporalité et de leur potentiel comportemental ? Pourquoi parler d’objets plutôt que de signes, d’interface plutôt que d’image ? « De ce que les objets sont une somme de propriétés, douées de permanence et guidant l'action, on peut avancer que cette notion rejoint celle de signe. Le signe est en effet, par définition, une configuration stable dont le rôle pragmatique est de permettre des anticipations, des rappels ou des substitutions à partir de situations. Par ailleurs le signe a, comme on l'a rappelé, une fonction de renvoi qui n'est possible que moyennant l'élaboration d'un système. » 14 

C’est que tout objet d’une interface web peut devenir le support d’une interactivité à divers degrés : images photographiques découpées pour servir les besoins d’une permutation d’image lors d’un survol du pointeur de souris, images photographiques sectorisées en image-map, où l’interactivité devient un calque sur l’image qu’elle « fait parler » d’une manière particulière.

La désacralisation 15 de l’image prend toute sa mesure avec des pratiques auctoriales comme le slicing ou découpage des images rendues à l’état de fragments. Les notions même de calques ou couches ou layers expriment bien les états de l’image, ses supports de réactivité, et livrent aussi un peu de ses polysémies. La généralisation du rollover ou survol-permutation des fragments donne, par le procédé même, une lecture plurielle du signe qui possède jusqu’à trois (ou plus) états : initial, survolé, appuyé. Le fragment d’image devient le support d’une opérabilité : validation d’un formulaire, calcul délégué à un programme distant, ou requête auprès d’une base de donnée. Il sert de « bouton », appellation presque d’un autre âge tant les usages ont fait de l’image une surface opérable couplée à des dispositifs haptiques c’est-à-dire une interface.

Le texte retrouve quand à lui des proximités avec l’image, tant par des échos et renvois [ liens, nœuds ] que par son traitement plastique [ typographie ], de même, les médias audio et vidéo sont injectés dans ce continuum de signification en acte. La nature du signe semble s’effacer dans la plupart des dispositifs devant son mode d’apparition, de présence et de comportement. Sont contextualisées ici quelques-unes des catégories relevées dans les deux dispositifs :

Déplacement, de type libre ou contraint

Dans "Ceremony of Innocence" chaque carte postale nous invite à un jeu interactif, le septième tableau met en situation un cas de liberté contrôlée : plutôt que de ne pas "donner la main" à l'utilisateur, les concepteurs ont préféré mettre en scène la situation, ce qui ne manque pas de créer un effet de mise en abîme intéressant. Après avoir libéré l'insecte volant en haut à droite de l'écran, nous tentons de l'approcher des différents éléments constituant l'image pour voir s'il y a interactivité possible… Et le renard - est-ce un renard ? - s'empare du curseur et l'avale. Le renard possède un ventre grillagé, comme les barreaux d'une prison. Nous voyons notre curseur s'y cogner - prisonnier - avec un son métallique à chaque fois que nous tentons de le sortir de cet espace clos. Le pointeur/curseur, sorte de synecdoque gestuelle prolongeant la main dans le dispositif, devient captif et c’est toute la gestuelle du lectacteur qui se retrouve cristallisée dans l’écran, comme encapsulée dans l’icône d’une action. Une barrière a été franchie, notre avatar - porteur de nos intentions actées - se trouve non plus déclencheur, opérateur, mais acteur mis en scène. Sans doute une authentique expérience d'interactivité et d'où l'on revient avec un regard transformé sur la petite flèche noire pointant à 10h55.

Ce dispositif peut sembler très légèrement interactif, voire mécanique : l'alternance systématique recto/verso des cartes postales se repère très vite. Il apparaît essentiellement cinématographique, audio musical, notre participation manipulatoire de l'œuvre reste modeste, mais nous avons très vite conscience que c'est pourtant ce travail qui nous fait avancer dans la connaissance intime 16 et dans la construction du récit.

Cinétique, de type pesanteur-apesanteur

La cinétique comprend ce qui est relatif au mouvement. Les langages de programmation ont très vite tiré parti des capacités de calcul des microprocesseurs pour intégrer les descriptions mathématiques des corps en mouvement. Il n'est pas rare de trouver jusque dans les interfaces générales de cédéroms des effets de translation avec un "effet d'amortissement" simulant une masse à l'objet déplacé. C'est en ce sens un « effet », une réponse transitoire : il se régule de lui-même et s'amenuise dans le temps. C'est ainsi que les objets usuels d'interfaces : symboles, typographies, fragments d'images, boutons possèdent quelques propriétés des corps soumis à l'attraction terrestre. Ce faisant, c'est tout un pan de l'imaginaire de l'objet qui est potentiellement revisité, resémiotisé, la vie arrive à l'écran par la description mathématique et physique de quelques propriétés des corps vivants. Cette figure de mouvement cinétique - appelée aussi cursor trails - a pour effets dans la lecture de "Postales", de considérer le poids de chaque lettre et de chaque mot, dans les deux sens du terme.

Avec l'écran de l'ordinateur, la lettre n'habite plus seulement un espace, elle possède une densité lumineuse, une texture, et devient capable de mouvement libre ou asservi, elle obéit aussi aux lois physiques de la gravité. Cette tension est le produit d'une friction linguistique et visuelle, le texte (la lettre) prend par la programmation (comportement), des attributs d'objet vivant (soumis aux lois physiques de notre monde) sans pour autant perdre son message textuel.

Spatial, de type agrandissement, réduction, rotation,

Eduardo Kac mettait en ligne "Secrets" 17 en 1996, une poésie représentée dans un espace tridimensionnel manipulable à travers un dispositif en VRML 18. Pour le lectacteur, maîtriser les déplacements latéraux et verticaux, les agrandissements et réduction, rotations dans un univers tridimensionnel demande un véritable travail cognitif, kinesthésique et mémoriel. Le texte y devient une donnée spatiale au même titre qu'une architecture et s'y promener revient à visiter virtuellement un paysage urbain, à le lire en le parcourant. Ainsi, « l’espace ne devient espace qu’une fois qu’il a subi des opérations transformatrices et ces opérations ne viennent l’habiter qu’a posteriori. Ces opérations sont aussi bien des marches, des gestes que des récits, au point que Michel de Certeau les met ensemble : « la marche est au système urbain ce que l’énonciation (le speech act) est à la langue et aux énoncés proférés. » » 19. Comment ne pas penser ici au dispositif « The Legible City 20 » de Jeffrey Shaw qui proposait au cycliste/lecteur de parcourir sur une écran géant les rues de plusieurs grandes villes faites d’immeubles en typographies monumentales à trois dimensions.

praxo-narratif

Le dispositif numérique peut prendre la forme d’une installation ou d’un ordinateur multimédia conventionnel. Il est génériquement composé d’une unité centrale de calcul [processeur] et de stockage [mémoires] interfacé par des périphériques de vision [écran, lunettes], de saisie [clavier, souris, stylet, gants, capteurs], d’audio [hauts parleurs] et de programmes faits de séquences langagières algorithmiques et de fonctions manipulant des objets [médias] sous une forme numérique basique [binaire]. Cette numérisation des médias, il faudrait ici et à dessein, l’appeler « atomisation » parce que le mot rend compte et mieux qu’aucun autre par son domaine de rattachement à la physique, de l’idée de matière minimale.

La posture du lectacteur révèle une nature bien singulière, la pratique d’un dispositif induit des modalités de saisie et d’action spécifiques qui ne sont comparables avec aucun autre média. Les modalités d’analyse du cinéma ou de la littérature ne semblent offrir que modèles partiels ou fausses similitudes. Là où nous parlions de spectacle, nous parlons de spectacte, là où nous parlions de réception, nous parlons d’action et d’interaction. Là où le temps du récit s’écoulait, il s’actualise mais de ce fait retourne comme une impossibilité d’écoulement au récit même.

« Ceremony of innocence » fait le pari qu'une activité de découvreur est faite de moments d'alternance entre positions spectatorielles d'une part : je regarde une animation qui dévoile le texte, j'écoute une voix dérouler lentement une narration, et interactives d'autre part : je manipule des signes e-mouvants dans l'espace de l'écran et participe ainsi à la progression dans le récit. "Ceremony" repose sur ce principe d'alternance entre des moments d'écoute-lecture de cartes postales qu'échangent les deux personnages Sabine et Griffin, et des moments d'interactivité où il s'agit de "déverrouiller" le côté image de la carte postale, condition nécessaire à la progression dans la narration faite de la lecture de leur correspondance (le "côté texte" des cartes).

Chaque carte nous invite à un jeu interactif. Il nous faut fouiller, survoler, gratter l'image et le texte jusqu'à libérer une animation qui parfois est un petit film ou moment d'animation. On se laisse alors emporter, se cale dans son fauteuil, on est "comme au cinéma". Dans une attitude d'inactivité réceptive, nous recevons l'animation qui va nous permettre de lire-écouter le verso de la carte postale. Sabine ou Griffin lisent leurs cartes, ce moment n'est pas vécu comme frustration parce qu'on a repéré qu'un temps était ménagé pour chaque activité.

« Postales » Pour les dispositifs web, le pacte est plus complexe tout en étant moins conforme aux modèles éditoriaux établis : une connexion Internet depuis un ordinateur suffit à accéder au site. Le travail d’entrée dans la fiction web est moins normé, il se fait par le titre, il est encapsulé dans l’interface ou livré dans une notice. Il plonge le plus souvent le découvreur directement dans l’univers narratif comme dans « Postales ». L’entrée se fait pas une image altérée dans sa plastique laissant deviner dans l’abstraction des formes qu’un mot s’y trouvait. Ce titre est le premier fragment actif, puis nous finissons par savoir que nous faisons des choix, contre d'autres, que nous prenons des chemins et passons à côté d'autres. L'apparition n'a qu'un temps, il faut être de celui-là ou re-passer. « Il tempo fugge e non s’arresta un’ora ». Mais c'est là le propre de l'hypertexte, de torturer le lecteur à chaque instant de décision, à chaque lien. De l'installer dans la perte. Brouiller les pistes, musarder, se promener dans les marges d'un texte qui se tisse [ à l'écran ] en même temps qu'ici [ sur le fil narratif qui nous est lu ]. Nous pouvons avoir l'impression de lire le journal intime, ou plutôt de l'effeuiller en même temps que l'auteur nous parle. La navigation hypertextuelle accompagne ici l'écoute, lui fait écho comme une volonté de lecture par le geste. Et nous l'avons vu plus haut, les liens ne sont pas "documentés" comme ils peuvent l'être en html (lien actif, lien suivi, lien cliqué codé en couleurs), la notion d'historique n'est plus efficiente ici (même si elle le reste au niveau inférieur du navigateur par l'accès à l'historique ou aux signets).

Avec le texte dans la page, nous sommes dans une pensée de "l'intérieur", individuelle, noématique ; avec l’écran nous sommes dans une pensée de "l'extérieur", du paysage, du spectacle et de la (re)présentation, parfois de l’émergence. Avec l’image interfacée, nous sommes dans une actualisation par l’action, le visionnage. L’image actée fait de l’écran un système, davantage qu’un paysage. Un dispositif constitué d'éléments distincts mais interdépendants et doté d'entrées et de sortie, autorégulé et producteur d'interactions entre les différents régimes de signes qui y sont à l'œuvre. En resémiotisant les anciens médias 21 dans une même unité d’espace, l'ordinateur a intégré les complexités d'écritures des mondes graphiques, textuels, cinématographiques, télévisuels, et communicationnels en les rendant tous opérables, potentiellement manipulables dans leur contenu, leur durée et leur mode de présence à l'écran.

temps et médias 

temps et praxis 

formes en devenir 

Note(s)

1 Dall'Armellina Luc « Signes e-mouvants - images actées en hypertextes narratifs » communication séminaire "Action sur l'image - Pour l'élaboration d'un vocabulaire critique" 1999-2000, le 23-02-00

2 Dall'Armellina Luc « Support fluide - espace virtuel : l'écran agi » communication séminaire "Action sur l'image - Pour l'élaboration d'un vocabulaire critique" 2000-2001, le 21-03-01

3 Golder Gabriela « Postales » juin 2000, voir aussi http://abecedario.free.fr/index1.htm

4 Bantock Nick / Realworld Multimedia - "Ceremony of Innocence" - cédérom mac-pc d'après la trilogie "Sabine et Griffin" de Nick Bantock - 1997 - Ed. Abbeville (pour la version française)

5 Dictionnaire Le Robert électronique, 1991

6 Le Moigne Jean-Louis – « La théorie du système général – théorie de la modélisation » PUF – Paris, 1977-1994, pages 89 à 93

7 états dont les plus basiques correspondent aux trois états de l’usage du web : non survolé, survolé, cliqué.

8 Weissberg Jean-Louis « Présences à distance – déplacements virtuels et réseaux numériques » - L’Harmattan 1999, Paris. J.L. Weissberg y développe également le terme de spectacteur (pages 171 à 173), insistant sur le gestus de l’acte et son association à la fonction perceptive.

9 Manguel Alberto "Une histoire de la lecture" Ed. Actes Sud - Collection Babel - 1998

10 Aarseth Espen J. « Cybertext, Perspectives on Ergodic Literature », John Hopkins University Press, Baltimore 1997.

11 Saporta Marc « Composition n°1 » Ed. du Seuil - 1964

12 Ibid. extrait traduit par Jean Clément pour le « Groupe Ecritures Hypertextuelles »

13 Clément Jean « Du livre au texte - Les implications intellectuelles de l'édition électronique » Sciences et techniques éducatives. Volume 5 - n°1/19998

14 Groupe µ, « Traité du signe visuel. Pour une rhétorique de l'image », Paris, Seuil, 1992, p.81

15 Debray Régis « Vie et mort de l’image – une histoire du regard en occident » Gallimard, Paris, 1992, voir notamment les pages 290 à 296.

16 où l’intime devient ici l’« in-time », comme connaissance libérée dans le temps de l’action.

17 Kac Eduardo « Secrets » - 1996

18 VRML : Virtual Modeling Langage. Il s'agit d'un système de description d'objets en trois dimensions "équivalent" au HTML pour le texte et permettant à un lecteur, depuis son navigateur web, de manipuler des espaces de données en trois dimensions.

19 AkTyPI Madeleine « Des récits, pour le meilleur et pour le pire ? #2 » journées d’études du séminaire "Action sur l'image - Pour l'élaboration d'un vocabulaire critique" juin 2002

20 Shaw Jeffrey « The Legible City » Manhattan version (1989), Amsterdam version (1990), Karlsruhe version (1991) Computergraphic installation with Dirk Groeneveld Collection of ZKM-Medienmuseum, Karlsruhe, Germany.

21 Lellouche Raphaël « Une théorie de l’écran » Revue Traverses n°2– CNAC Georges Pompidou, 1996 – Paris

22 Leroy Gourhan André - « Le geste et la parole - 1 - Technique et langage », Ed. Albin Michel - Sciences, 1964, Paris

23 Ces cinq derniers siècles d’évolution sont à resituer au regard des cinquante que compte l’histoire de l’écriture.

24 op.cit Saporta Marc

25 Depraz N., Varela F. Vermersch J.& P. « Die phänomenologische Epochè als Praxis » Juin 2000 -

26 Bachelard Gaston - « L’intuition de l’instant » Ed. Stock / biblio poche essais– 1931-1992

27 ibid – p.37 - Bachelard Gaston

28 Le terme fait référence à la théorie de l’information, avec tout ce que celle-ci contient de risque réductionniste. La théorie des systèmes a montré que les notions de processus et d’environnement créaient davantage les conditions d’une interactivité complexe où les changements s’opèrent de part et d’autre dynamiquement et mutuellement. Voir Le Moigne Jean-Louis, op.cit, notamment chap.2 « Le paradigme systémique » p.55

29 Bootz Philippe "Profondeur de dispositif et interface visuelle" - CIRCAV n°12

30 Moles Abraham « Les sciences de l’imprécis » - Seuil - Paris – 1995 et plus spécialement les pages 119 à 122 consacrées aux infralogiques visuelles. « Les règles infralogiques sont […] plus ou moins indépendantes des lois du raisonnement formel qui ne s'exercent que dans la mesure où l'esprit humain dispose du temps nécessaire pour penser formellement […] : propagation illimitée de la causalité dans les chaînes de syllogisme, principe du tiers exclu, principe de transitivité, etc. »

31 Varela Francisco / Thompson Evan / Rosh Eleanor « L’inscription corporelle de l’esprit – sciences cognitives et expérience humaine » – Ed. Seuil – 1993 - p. 120

32 Cet aspect semble spécialement visible dans le cd-rom « Isabelle » de Thomas Cheysson, voir le texte de contribution à la séance du séminaire « L’action sur l’image » du 23-01-02 - Dall’Armellina Luc « Errance et Praxis »

33 Ce trait de style, d’écriture, est significatif dans : « Moments de Jean-Jacques Rousseau » Jean-Louis Boissier – Ed. Gallimard. Voir à ce propos la présentation de Frédérique Mathieu pour le séminaire « L’action sur l’image » séance du 10 avril 2002

34 Barboza Pierre, dans « Isabelle : cette forme de fiction est-elle viable ? » pose la question de l’avenir du genre « fiction interactive ». Voir séance du 23 janvier 2002