archée
                 • • •  revue d'art en ligne : arts médiatiques & cyberculture


Capture de mouvement, capture de performance et danse virtuelle

Marc Boucher

section cybertheorie

Loïe Fuller (1898) dans La Danse Blanche
Crédit photo: Taber, San Francisco.
Archives de New York Public Library

Selon Dick Tomasovic, Loïe Fuller ne voulait pas être filmée alors qu’elle exécutait La Danse Serpentine, car elle pressentait que sa danse ne pourrait pas le supporter :

« Nouveau type de spectacle reposant sur l’avènement de l’éclairage électrique et participant au rêve d’une scénographie révolutionnaire formulée par les théoriciens de la scène moderne et de l’art de la mise en scène, la danse serpentine présentait le mouvement dansé comme une énergie désincarnée dépassant les frontières définitoires du corps humain, annihilant même l’idée de corporalité, transformant la présence scénique en une pure image animée. » 1

Loïe Fuller (1902) Archives de la Bibliothèque nationale de France.

Lorsque l’on visionne la captation sur film de la Danse Serpentine (1895) 2, on peut difficilement saisir la raison du succès phénoménal des spectacles de Fuller. Les dithyrambes de l’élite parisienne, Cocteau et Valéry en tête, ne portaient pas sur le film de la Edison Company, pastiche parmi d’autres, exécuté par une des nombreuses imitatrices de celle que les Parisiens appelaient « la Loïe ». Ce sont plutôt les spectacles de cette Américaine, véritables féeries Art nouveau, qui soulevaient l’enthousiasme général. D’ailleurs, il aurait été impossible de filmer ces féeries lumino-cinétiques; à cette époque, les tournages se faisaient à l’extérieur, en plein soleil. La pellicule cinématographique n’était pas assez sensible pour capter les scènes d'intérieur sous un éclairage artificiel, encore moins celles qui étaient caractérisées par l’évanescence et l’éphémérité.

L’éclairage électrique, alors tout nouveau, a non seulement rendu les projections cinématographiques possibles, mais a aussi révolutionné la scénographie. Le pionnier du théâtre moderne Adolphe Appia considérait alors le corps et la lumière comme les composantes essentielles de la scène. Pourtant, le corps semblait disparaître dans l’art inédit de Loïe Fuller, pour se muer en formes lumineuses et dynamiques qui enchantaient les poètes autant que le grand public. Fuller animait des mètres de tissu de soie sur scène, les spectateurs percevaient des formes lumineuses et dansantes; papillons, fleurs ou flammes. L'interaction de la lumière électrique et du tissu générait un spectacle virtuel. Les formes perçues s’effaçaient alors qu’elles se dessinaient, se déployaient alors qu’elles se volatisaient, toutes éphémères, en dépit de la présence du corps, plus ou moins dissimulé par la fantasmagorie qu'il créait.

Le virtuel, avant le numérique 

Dans le cas du film La Danse Serpentine, on peut considérer que l'image projetée de la danseuse — illusion réaliste résultant, d’une part, des phénomènes de la perception et, d’autre part, d’un appareillage technique astucieux — est un corps virtuel. Le terme « virtuel » se prête bien sûr à d’autres significations et utilisations, dans des domaines aussi variés que l'optique 3, l'esthétique, la philosophie et l'informatique. Toutes ont des incidences sur ce que nous entendons par danse virtuelle. Elle est déterminée, en grande partie, par les technologies qui la rendent possible.

La danse virtuelle peut cependant être comprise en deçà des apports technologiques, la notion de virtuel précédant de fort loin celle de la magie de l’électricité et du cinéma. Au milieu du XXe siècle, Suzanne Langer a porté le terme « virtuel » au-delà des idées convenues à propos des images illusoires. D’ailleurs, elle a écrit non seulement sur le caractère virtuel des images, mais aussi sur l'espace, les pouvoirs et la mémoire virtuels. Pour Langer, une image est un « objet » purement virtuel 4alors qu’une image virtuelle est l'illusion d'un espace qui est nouveau, la création de quelque chose qui n'a jamais existé auparavant. 5

À la suite de Gilles Deleuze qui a ranimé le concept du virtuel dans la philosophie, 6 Brian Massumi, Erin Manning et José Gil ont traité de thèmes tels que le corps virtuel, le geste virtuel, la puissance virtuelle et l'espace virtuel. Citons José Gil pour donnée une idée de ce que l’on peut entendre, par exemple, par « corps virtuel » dans un contexte philosophique  :

« Il s'ensuit qu'il n'y a pas d'organisme unique, comme le "corps propre" de la phénoménologie, mais plutôt des corps multiples. Le corps du danseur, le corps de Cunningham, mais en fait le corps de tous les danseurs, est composé d'une multiplicité de corps virtuels. » 7

Burt Ramsay a par ailleurs poussé la réflexion sur la danse virtuelle en s'appuyant, d’une part, sur Langer et, d’autre part, sur l’interprétation de Deleuze des idées de Bergson portant sur la mémoire et l'imagination. Dans les pièces de danse dont il traite dans son article, « un ou plusieurs interprètes jouent le rôle de narrateur, de sorte que ce qui se développe est en effet une danse virtuelle. » 8 On relève un propos assez semblable chez Steve Dixon, confirmant le fait que la notion de « virtuel » à la scène n’est pas nécessairement liée à la questions des effets technologiques, mais dépend de facteurs psychologiques :

« Mais de manière importante, le théâtre lui-même a toujours été une "réalité virtuelle" où les acteurs emploient leur imaginations pour se faire complices du public afin d’évoquer une croyance (procédé autrement connu, après Coleridge, comme une "suspension de l'incrédulité") qu'une scène nue est en fait la cour d'un ancien palais thébain, ou le tribunal du procès de 1692 des sorcières de Salem. » 9

Dans un contexte épistémologique, contemporain, le virtuel est, pour Pierre Lévy, l'un des quatre modes d'être, avec l’actuel, le possible et le réel, modes décrits comme étant presque toujours en jeu dans un quelconque phénomène concret analysable. Lévy résume leur relation ainsi: « le réel ressemble au possible, alors que l’actuel répond au virtuel. » 10

Enfin, dans les nouveaux médias, la réalité virtuelle renvoie généralement à la navigation par les utilisateurs dans un monde donnant un rendu en temps réel des trois dimensions de l’espace visuel. On peut aussi donner à entendre ce qu’est la réalité virtuelle à partir des liens qu’elle entretient avec le multimédia interactif et les réseaux numériques.

Hormis tous les discours sur le virtuel qui se sont élaborés par la suite, la scène et le cinéma peuvent être considérés comme impliquant, au tout début de l’ère de électricité, deux idées fort différentes de ce que peut être la danse virtuelle. Dans la mise en scène de Fuller, nous avons affaire à une image naturelle, indépendamment du fait qu'elle soit illusoire. Il n'y a ni papillons, fleurs ou flammes, mais une danseuse qui crée des formes virtuelles, un peu à la manière d’un marionnettiste. Dans le cas du film, on voit une image matérielle, une image représentée, une image dont le support est lié à certains développements technologiques caractéristiques du cinéma.

De nos jours, par contre, la danse virtuelle renvoie surtout à la danse des personnages virtuels, qui sont eux-mêmes des images générées par ordinateur. À vrai dire, ce sont bien plus que des images, dans la mesure où les données de mouvement proviennent de performeurs, et qu’elles sont traitées d'une manière qui peut en conserver un certain caractère d’authenticité, c’est-à-dire la signature dont nous traiterons plus loin. En d’autres mots, le lien génétique ne passe pas par la dimension visuelle, mais par la dimension « kinésique » (du mouvement). D’ailleurs, nous n’avons pas tant affaire à de l’animation par ordinateur qu’à de l’animation assistée par ordinateur, mais nous traiterons aussi de cela plus en avant.

Danse virtuelle, danseurs virtuels, corps virtuel 

Danse, danseurs, corps: tous sont maintenant souvent qualifiés de « virtuel » bien que le sens de ce qualificatif varie considérablement, sinon est tout à fait imprécis. Le danseur virtuel et le corps virtuel peuvent cependant être compris en termes de relation entre image iconique et corps physique. L’idée même de personnage virtuel a vraisemblablement pour origine les images générées par ordinateur de personnages animés, d’abord en 1985 avec Tony de Peltrie 11 de Philippe Bergeron, Pierre Robidoux, Pierre Lachapelle et Daniel Langlois. Deux ans plus tard, des « humains virtuels » ou « clones numériques » étaient conçus par Nadia et Daniel Thalmann pour Rendez-vous à Montréal 12, un autre jalon dans l'histoire de l'animation par ordinateur. La capture de mouvement n'était pas en jeu, mais les personnages à l'image de Marilyn Monroe et Humphrey Bogart étaient animés de façon réaliste en 3D. Des acteurs synthétiques, ou « synthespiens », animés par capture de mouvement, étaient aussi en développement au studio de Jeff Kleiser et Diana Walczak 13.

Ghostcatching

On peut parfois reconnaître l'identité d'un individu dont le mouvement a été capturé par la ressemblance « kinésique » (du mouvement) avec le danseur virtuel correspondant, plutôt qu’une ressemblance purement morphologique. Un exemple probant en serait la danse de Bill T. Jones pour le projet Ghostcatching (1999) 14, de même ce qui relève de la « signature de mouvement » où le réalisme de l'image, son degré de résolution et la ressemblance à l’original importent moins, comme nous le verrons. En effet, comme le rapporte E. de Aguiar: « Le mouvement est un repère visuel fondamental dans la perception de l'homme et de légères imprécisions sont immédiatement remarquées. Ainsi, même si le rendu est parfait, le mouvement vous dit tout de même qu’il s’agit d’une prise de vue artificielle. » 15

Jones et ses collaborateurs de Ghostcatching soulèvent une question importante au sujet de la capture de mouvement: « Qu’est ce que le mouvement humain en l'absence du corps? » 16 La question qui nous intéresse ici est de savoir si la relation entre les données de la capture de mouvement et leur utilisation informatique ultérieure, en vue de les animer, est comparable à celle entre virtualisation et actualisation.

La signification du terme « virtuel » lorsque joint à « danse » dans un contexte technologique peut prendre plusieurs formes et exploiter diverses propriétés des images de synthèse. C’est du moins ce que donnent à penser nombre de déclarations d’artistes, rapports de recherche, devis et communiqués se rapportant à des mises en scène, installations, logiciels, appareils électroniques, réseaux (Internet compris), CD et DVD interactifs et autres. Johannes Birringer signale deux conceptions différentes du virtuel par rapport à la danse telle qu’elle apparaît sur les écrans:

« D'une part, il est vrai que la vidéo danse, en tant que précurseur de la danse numérique et de la danse Web, est une forme hybride, qui existe dans un espace virtuel dont le contexte est fourni par le médium et la méthode d'enregistrement. D'autre part, l'impact du numérique sur l'image en mouvement (vidéo, cinéma) est assez paradoxale, si nous nous rappelons que l'histoire des films de fiction et d'action est basée sur des enregistrements photographiques de la réalité au moyen de lentilles — des actions qui ont eu lieu dans l'espace physique réel. » 17

Il faut en effet souligner que les technologies numériques permettent, avec la capture de mouvement, de s’affranchir de la caméra optique et du point de vue qu’elle impose. Le terme « virtuel » a ainsi pris un sens résolument technologique (tout à fait différent de ceux attribués par Langer, Deleuze et autres) lors du passage du cinéma traditionnel au cinéma d’animation par ordinateur et aux longs métrages réalisés par capture de mouvement.

Birringer ne propose aucune définition du terme « virtuel » dans son article de 1999, ni pour les nombreux termes associés dont il traite: « espace virtuel », « installation de danse virtuelle », « performance virtuelle », « implications virtuelles de l'interactivité », « environnements virtuels », « studio virtuel », « géographie virtuelle aux possibilités de calcul potentiellement infinies », « conscience virtuelle », « mouvement virtuel », « toucher virtuel avec les yeux », « site virtuel », « concert virtuel »,«  réalité virtuelle », « espace de représentation virtuelle »,« corps virtuel »,« images virtuelles »,« environnement du corps virtuel », « scène virtuelle » et « espace de la scène virtuelle ». Dans un article ultérieur (2002), il évoque un débat dans Internet portant sur de nouvelles définitions de « danse virtuelle ou numérique » 18, ce qui indique que ces deux termes étaient considérés comme équivalents.

À travers la documentation, le terme « virtuel » est souvent utilisé à la place de « télématique », « cyber », « web », « immatériel », « quasi », « irréel », ou même pour désigner toutes sortes d'images, projetées ou affichées, synthétiques ou naturelles. Dans le contexte des technologies de l'art numérique, le terme « virtuel » fonctionne en quelque sorte comme un joker, étant donné la complexité conceptuelle et technologique du domaine. Dans les entretiens sur la danse virtuelle, la notion d'interactivité apparaît souvent, même si le terme « interactif » est habituellement utilisé abusivement, au lieu de « réactif », plus juste, dans la mesure où ni la réciprocité, la mutualité ou la rétroaction ne sont véritablement en jeu.

Une typologie de la danse virtuelle pourrait être dressée selon les caractéristiques saillantes, les contextes, les dispositifs ou autrement:

- interactive, notamment avec DO (not) DISTURB (2004) de Cécile Babiole, 19 une installation dans laquelle le spectateur est invité à « perturber les mouvements filmés d’un danseur en bougeant lui-même devant l’espace de projection », en se mettant lui-même en mouvement devant l'écran.

- immersive, comme dans l'installation vidéo Phantom Exhibition (2009) de Steve Paxton, 20 qui se compose de cinq grands écrans montrant des images vidéo de Paxton et d'autres artistes, ainsi que des images générées par ordinateur et qui analysent leurs mouvements de danse. Entourés par des images projetées sur  les quatre murs et le plafond de l'installation, les visiteurs sont présumés percevoir « avec tous leurs sens » 21 la relation entre le corps humain et la gravité, entre l'intérieur et l'extérieur du corps et la structure de son système osseux.

- de collaboration dans un espace virtuel 3D, tel que dans le cadre de Collaborative Dancing in Tele-immersive Environment, au Département d'informatique de l'Université de l'Illinois à Champaign-Urbana en 2006. 22

- en performance / installation avec The Brain Stripped Bare (2002) de Rebecca Allen, œuvre qui n’est d’ailleurs pas présentée explicitement comme une œuvre en réalité virtuelle, mais est quand même décrite en rapport à la réalité virtuelle. 23

- en télématique c’est-à-dire où les danseurs sont dans des lieux différents, mais dans une même temporalité (ou à peu près, selon les délais occasionnés par les technologies)

- en « scène intelligente », nouvelles scénographies interactives où la détection des mouvements des danseurs déclenche des effets variés. 24

- en capture de mouvement et animation, où les données peuvent être utilisée pour manipuler les « cyber-humains » dans les espaces virtuels. 24

- en rapport avec l'utilisation du logiciel Life Forms. 25

Les nouvelles technologies permettent de combiner la danse en direct et les environnements scénographiques virtuels en 3D animés en temps réel. 26 L'intérêt pour la scénographie virtuelle, en pleine croissance, est apparemment plus grande en théâtre qu’en danse.

La danse virtuelle peut même être comprise à partir d'un point de vue kinesthésique et haptique plutôt que visuel, comme dans le projet Immersence de l'Université Technique de Munich pour l'interaction directe entre personnes dans les environnements virtuels:

« L'interaction entre les partenaires de danse est d’abord enregistrée. Puis l'un des partenaires sera substitué par un robot qui fournit les informations haptiques enregistrées au partenaire. Enfin, le principal défi sera de construire un agent haptique et visuel qui interagit de manière réaliste avec le partenaire humain. » 27

L’haptique, science du toucher et domaine de recherche privilégié de Claude Cadoz et collaborateurs 28, correspond, d’une part, à un besoin de développer les nouveaux médias au-delà des modes visuels et sonores et, d’autre part, au développement d’interfaces plus complexes et attrayantes que les habituels claviers, souris et écrans tactiles.

L’emploi du terme virtuel est parfois hyperbolique, par exemple lorsque dans un contexte scénique, on définit comme « haptique virtuel »  ce qui est en fait une illusion visuelle, astucieusement façonnée de manière à donner l'impression que le danseur touche réellement les images projetés. 29

Capture de  mouvement 

Illustration accompagnant le brevet de  Max Fleischer déposée en 1915

Une définition traditionnelle de la danse virtuelle a surtout à voir avec la capture de mouvement, la modélisation et les techniques d'animation puisque ces procédés sont de plus en plus utilisés au cinéma. La capture de mouvement n’est d’ailleurs pas nouvelle puisqu’il est possible de la faire remonter aux travaux de Eadweard Muybridge et Etienne Jules Marey. Le cinéma, comme son étymologie l’indique, implique nécessairement la capture de  mouvement tout comme la rotoscopie, procédé qui permet d’extraire le mouvement d’une figure pour la reporter sur une autre. Inventée en 1915 par Max Fleischer 30, la rotoscopie fut utilisée par Rebecca Allen pour The Catherine Wheel (1982) de Twyla Tharp.

« À l’Institute of Technology Computer Graphics Lab de New York, Rebecca Allen employa un miroir semi-argenté pour superposer des bandes vidéo montrant des danseurs réels sur l'écran de l’ordinateur. Cela lui permit de déterminer les poses afin de créer un danseur généré par ordinateur pour The Catherine Wheel deTwyla Tharp. L'ordinateur a utilisé ces poses comme images clés pour générer une animation fluide.
La rotoscopie n'est pas un processus automatique, et la complexité du mouvement humain nécessaire pour The Catherine Wheel a nécessité la création d’images clés toutes les quelques images.
En tant que tel, la rotoscopie peut être considérée comme une forme primitive ou précurseure de la capture de mouvement, où le mouvement est "capturée" laborieusement à la main. » 31

Photogramme du film Catherine Wheel de Twyla Tharp.
Animation par ordinateur de Rebecca Allen

La rotoscopie peut être considérée comme une forme de capture de mouvement, alors que certains soutiennent qu'il s'agit tout simplement d'une technique d'animation. Elle consiste à extraire le mouvement d'un personnage à partir d'une séquence filmée, au moyen d’un dessin sur support transparent placé sur chaque photogramme. La capture de mouvement informatisée peut donc être considérée comme un moyen automatisé de faire ce qui était auparavant effectué manuellement par rotoscopie. « La capture de mouvement est essentiellement de la rotoscopie 3-D. Si vous considérez la rotoscopie comme forme d'animation, vous devez alors alors en faire de même pour la capture de mouvement. » 32 Donc, si la capture de mouvement est une forme d'animation, alors la danse par capture de mouvement est une forme d’animation par ordinateur. Bien que l’on puisse réfuter ce syllogisme en rappelant que le mouvement vient du danseur et non de l'ordinateur, il reste néanmoins le fait que l'ordinateur est absolument nécessaire. Si l’on considère que la capture de mouvement n’est pas une forme d'animation par ordinateur, on doit quand même convenir qu’il s’agit d’une animation à tout le moins assistée par ordinateur.

Pour en revenir au débat sur le statut de la rotoscopie, Maureen Furniss considère que la capture de mouvement partage avec l’animation par rotoscopie le fait d’être en étroite relation avec un modèle (ici le mouvement humain), et qu’un certain sentiment de la présence d'un être humain persiste dans la plupart des animations de ces deux types.

« Lorsque vous regardez un film [d’animation] comme Gulliver’s Travels (1939) de Fleischer, on perçoit aisément que Gulliver est essentiellement très différent des petits personnages autour de lui, vous n'avez pas besoin de savoir que la rotoscopie a été employée pour percevoir cette différence. » 33

Notons toutefois que, pour des raisons qui lui sont propres, The Academy of Motion Pictures Arts and Sciences a décrété en 2010 que « la capture de mouvement n'est pas en elle-même une technique d'animation ». 34 Par ailleurs, on peut affirmer qu’il en va de même pour la rotoscopie que pour la capture de danse, en ce que certains estiment qu’il ne s’agit pas d'animation par ordinateur, mais de « la danse libérée du corps ». 35

Les trois principaux types de systèmes de capture de mouvement sont mécanique, optique et électromagnétique, chacun comportant un ensemble donné d’avantages et d’inconvénients. Les cinéphiles sont familiers avec la capture de mouvement dans les longs métrages à succès, tels que Beowulf (2007) Robert Zemeckis, Avatar (2009) de James Cameron, ou Tintin (2011) de Steven Spielberg.  Puisque les personnages de ces « films » sont davantage en lien avec le métier d’acteur que de danseur, on comprend que la capture des expressions faciales et du mouvement des doigts soit nécessaire. C’est ainsi que l’expression « capture de performance » a été retenue dans le monde du cinéma.

BIPED (1999)
Chorégraphie: Merce Cunningham,
Musique: Gavin Bryers
Décor: Paul Kaiser et Shelley Eshkar
Costumes: Suzanne Gallo
Éclairages: Aaron Copp
Danseuses: Holley Farmer et Lisa Boudreau.
Photo et copyright: Stephanie Berger

Une image aussi détaillée n’est peut-être pas nécessaire en danse, dans la mesure où le mouvement du corps dans son ensemble est suffisant pour en communiquer le potentiel kinesthésique. L’aspect du personnage dansant lui-même peut être minimalement figuratif, comme dans Ghostcatcher ou les projections de Biped (1999) de Cunningham 36. Dans la danse virtuelle telle que la rend possible la capture de mouvement, l’important est que la qualité du mouvement soit convaincante, et non pas que l’apparence originale de l’interprète soit fidèlement reproduite.

Une des raisons pour lesquelles, avec la capture de mouvement, la danse est estimée virtuelle est le fait qu’elle puisse être observée à partir de n'importe quel point de vue, de n'importe quel angle ou distance choisi par l’utilisateur. Cela est possible car plusieurs détecteurs de mouvement, préalablement placés stratégiquement dans la zone de capture, sont employés de manière synchrone pour enregistrer le mouvement des marqueurs sur le corps du danseur. Tout visionnement ultérieur n’est qu’une actualisation parmi un nombre illimité puisque les paramètres peuvent être modifiés pour chaque instant sur la trame temporelle.

Fait intéressant, l’origine des technologies de capture de mouvement semble remonter à un système développé au MIT en 1983 par Carol Ginsberg et Delle Maxwell, appelé Graphical Marionette 37. Par ailleurs, une marionnette appelée Waldo, de faible résolution mais contrôlée par ordinateur en temps réel, a été réalisée en 1988 par Jim Henson Productions (créateurs de la populaire série télévisée The Muppets). 38

Les capteurs de mouvement (motion trackers) enregistrent uniquement l'emplacement et le mouvement des marqueurs, qui sont placés sur le costume du performeur. Contrairement à la caméra en vidéo et en cinéma, ni la figure ni le fond ne sont enregistrés : on appliquera par la suite les « habillages » de son choix. Plusieurs détecteurs de mouvement sont disposés dans l'espace de danse pour une session de capture (la précision des données augmentant avec leur nombre), de sorte que tous les marqueurs sur le corps puissent être suivis en tout temps, ou presque.

Les données peuvent ensuite être reportées par mappage sur un modèle (le danseur virtuel) afin de l'animer, ce qui permet de visualiser la séquence de danse suivant la perspective choisie. Compte tenu des contraintes, techniques et physiques, un nombre limité de capteurs et de marqueurs peuvent être utilisés, mais le système permet à l'ordinateur de déterminer certaines valeurs par interpolation. Les données sont considérées comme objectives en ce qu'elles ne correspondent pas à un point de vue unique, comme doit nécessairement le faire une caméra optique pour donner des images cohérentes. En effet, une caméra virtuelle peut passer à travers ou autour de la scène d'une manière qui serait physiquement impossible sur une scène réelle; en d'autres termes, c’est le point de vue de l'utilisateur qui constitue la caméra virtuelle. En film et vidéo, l’emplacement et les mouvements de la caméra doivent être établis au préalable, à moins, bien sûr, d’être improvisés. Avec la capture de mouvement, on peut régler la caméra virtuelle en tout temps par la suite. Il s’agit donc en quelque sorte d’une révolution copernicienne, pour paraphraser Kant : on ne règle pas le mouvement sur les objets, mais les objets sur le mouvement.

Les mouvements de la caméra peuvent être re-chorégraphiés ad libitum, tandis que la qualité de la performance reste la même dans la mesure où elle correspond à une prise (séance de capture) unique. La capture de mouvement est la forme la plus objective de notation de la danse en ce qu’elle ne repose ni sur l'appréciation subjective d’individus, ni sur leurs descriptions verbales, mais est plutôt déterminée mathématiquement par la précision des coordonnées spatiales sur les trois axes (x, y et z), selon la fréquence d’échantillonnage des marqueurs. Ces données sont « interprétées » par la cybernétique (communication homme-machine), tandis que les méthodes précédentes de notation de la danse sont basés sur des représentations symboliques, comprises, écrites et lues par les humains seulement.

Les données de mouvement peuvent être utilisés pour créer de nouvelles formes artistiques, la visualisation des données étant l'une des nombreuses nouvelles formes d'art hybrides que la numérisation rend possible. 39 Un exemple récent est Synchronous Object For One Flat Thing Reproduced (2009) de William Forsythe et la Ohio State University; première phase d’une banque de mouvement, « réservoir d'idées développées par l'investigation chorégraphique. » 40

William Forsythe entouré de Maria Palazzi et Norah Zuniga-Shaw
de Ohio State University. Crédit photo: Synchronous Objects Project,
The Ohio State University and The Forsythe Company
The Forsythe Company. Crédit photo: The Forsythe Company


Analyse topographique des mouvements des danseurs.
Crédit photo: Synchronous Objects Project, The Ohio State University
and The Forsythe Company
Traitement vidéographique des motifs de la danse.
Crédit photo: Synchronous Objects Project, The Ohio State University
and The Forsythe Company

Signatures de mouvement 

La capture de mouvement permet l’enregistrement de certaines caractéristiques du mouvement propres à chaque individu. Ainsi on peut reporter par mappage les données du mouvement sur un personnage morphologiquement très différent de celui à partir duquel ce même mouvement a été extrait, de sorte que Laurel puisse se déplacer comme Hardy et vice versa. O. Alex Vasilescu, spécialiste dans le domaine de la biométrie informatisée, a publié en 2002 un algorithme qui extrait les « signatures de mouvement » sur la base de la démarche d'une personne (marche, danse, ou course) et qui peut être utilisée pour animer des personnages.

« À partir d’un échantillonnage de la démarche de Charlie Chaplin, est-il possible de synthétiser d'autres mouvements en conservant ce style si distinctif?
Plus généralement, si on fait une analogie avec la signature manuscrite, les gens possèdent-ils  une signature de mouvement qui caractérise leurs manières de bouger?
Si oui, ces signatures peuvent-elles être extraites de mouvements exemplaires?
En outre, peut-on utiliser ces signatures de mouvement pour reconnaître, par exemple, la démarche d’un individu simplement à partir de l'observation d’autres mouvements de cette même personne? » 41

Dans la mesure où le mouvement saisi correspond à des points déterminés sur la surface du corps, le mappage de ces points sur un avatar qui est morphologiquement différent crée une sorte d’aberration « morpho-kinesthétique ». En effet, les données de mouvement saisies sont superficielles dans le sens littéral du terme; elles font abstraction du fait que le mouvement d'un corps ne provient pas de la surface du corps. Les données relatives aux composantes musculaires, squelettiques et tissulaires ne sont pas prises en compte aussi systématiquement qu’elles peuvent l’être en kinanthropométrie. En effet, on mesure dans ce domaine l’importance d’un ensemble de données qui se rapportent au volume du corps, à sa masse, au centre de masse, au moment d’inertie, et ce pour le corps dans son entier tant que pour ses segments.

Pour illustrer les limites de la capture de mouvement par mappage, tournons-nous vers le monde animal. Une girafe ne se déplace pas comme un fourmilier, le mappage des données de mouvement de l'un sur l'autre se traduit par quelque chose qui est physiquement impossible à cause des divergences anatomiques et morphologiques extrêmes. Bien sûr, l'animation par ordinateur qui en résulterait pourrait être affiché sur un écran, et reconnue comme mouvement biologique 42, de sorte que le fourmilier pourra être perçu comme se déplaçant en quelque sorte comme une girafe, et vice-versa. Mais cela revient à de la « tératologie kinesthétique », pour ainsi dire, car bien que de telles créatures puissent peupler un monde virtuel et fantaisiste, elles n’existent pas dans le monde réel. Dans son article sur Ghostcatching et Biped, Ann Dils exprime d’ailleurs ses réserves sur la validité de la capture de mouvement:

« Mais la capture de mouvement n’enregistre que le mouvement dans l'espace et le temps, en omettant de faire directement mention du flux (la tension relative ou la relaxation des muscles) et des transferts de poids (notre relation à la gravité).
Chez un interprète vivant, le flux est perceptible sur la surface du corps, alors que ses muscles se tendent ou s’assouplissent.
Les transferts de poids se manifestent dans les milliers d’ajustements musculaires et squelettiques, alors que les danseurs succombent ou résistent à la force de gravité ou interagissent avec d'autres personnes ou objets.
Les capteurs de mouvement n’enregistrent le mouvement que d'un nombre limité de points sur le corps, ce qui ne constitue pas vraiment le corps, de sorte qu’une part de la souplesse et de l’aisance d'expression est perdue. » 43

La recherche contemporaine au Japon montre que la quantification du mouvement de la danse peut être plus complet que les protocoles de capture de mouvement habituels quand il unit les données de captation optique de mouvement aux informations biophysiques. 44

La danse par capture de mouvement en tant que danse virtuelle 

Si la capture de mouvement par rotoscopie n'est pas de l'animation, alors la capture de mouvement avec la technologie numérique n’en est pas non plus. On devrait par ailleurs accorder à la capture de  mouvement un statut d'autonomie ontologique car, après tout, la danse et la performance virtuelles n’existeraient pas sans elle. Kevin De Spain pose trois questions importantes concernant l'ontologie de la danse alors que le numérique avait commencé à transformer la danse:

« Devrait-on considérer comme de la danse les données obtenues à partir d’une véritable prestation, dont on peut par la suite visionner une interprétation par des danseurs virtuels sur ordinateur?
Pourquoi ne pas simplement tendre la main et accueillir tout mouvement sous l'égide de la danse? 
Si le mouvement est l'essence de l'œuvre, pourquoi la technologie influerait-elle sur son ontologie?
J'ai personnellement plaidé en faveur de ce que l’on pourrait appeler un critère basé sur le médium (par opposition à un critère basé sur le mouvement) pour distinguer ce qui revient à la danse de ce qui lui est connexe parce que le film et la vidéo peuvent tout autant être considérés comme étant basés sur le mouvement que la danse elle-même. » 45

Certes, la danse virtuelle doit être pensée d'une manière qui la distingue des films d'animation, de l'art cinétique, de la robotique et ainsi de suite. Durant les années 1990, le terme « virtuel » est devenu à la mode et a commencé à être appliqué rétrospectivement aux médias plus anciens, comme je l'ai fait avec l’exemple de La Danse serptentine de Loïe Fuller en introduction. Ce que l'on entend par virtuel dans un contexte qui pourrait être contemporain d’Alexander Graham Bell est totalement différent de ce que cela peut signifier à l'ère numérique, même s'il est sans doute légitime de prétendre qu’une conversation téléphonique a lieu dans une sorte monde virtuel. Assimiler le télématique au virtuel peut être symptomatique d’une confusion entre les différentes configurations spatio-temporelles que les technologies créent; celles où la distance est abolie et celles où le temps est aboli.

Dans l'actualisation du virtuel (ici la manipulation de la caméra virtuelle à travers une séquence obtenue par capture de mouvement), les données stockées sont reportées le long d’une trame temporelle, que l’on peut considérer comme une succession ordonnée de configurations ou d’événements. Une multitude de temporalités en puissance se substituent à la temporalité unique de la captation optique. Par contre, avec le téléphone et la télématique, c’est plutôt la distance qui est abolie, le temps est le même (à part les micro-délais de transmission).

Synchronous Objects

Bien que le nom de Deleuze soit incontournable quand on parle du virtuel en philosophie contemporaine, nous ne pouvons que conjecturer sur ce qu’il aurait eu à dire au sujet de la danse virtuelle et de la capture de mouvement. Comme Mark Poster l’affirme, « ... Deleuze n'a pas théorisé la technologie. Pire encore, du point de vue de la recherche sur les nouveaux médias, non seulement il ne les théorise pas, il les mentionne rarement. » 46 Quoi qu’il en soit, il reste que si la danse virtuelle n'est ni danse, ni animation, nous devrions la considérer simplement comme capture de mouvement, qui comprendrait également des films tels Beowulf et Avatar, et des œuvres réalisées à partir de la danse telles Ghostcatching, Biped et Synchronous Object For One Flat Thing Reproduced.


Conclusion 

Le moment est venu de tenter de répondre aux trois questions précédentes de De Spain, étant donné l'utilisation répandue du terme « danse virtuelle », la diversité des phénomènes qu'il désigne et la succession rapide des nouvelles technologies et des appareils utilisés dans la danse et arts connexes :

« Devrait-on considérer comme de la danse les données obtenues à partir d’une véritable prestation, dont on peut par la suite visionner une interprétation par des danseurs virtuels sur ordinateur? »

Tant que le terme « danse » n'est pas défini, chacun peut s’en tenir à ses propres hypothèses sur ce qu'est la danse, selon que l’on distingue absolument ou non présentation et représentation, chorégraphie et montage numérique, temps linéaire unidirectionnel et temps manipulé. Cela dit, l'expression « interprété par les danseurs numérique » est métaphorique et son utilisation prête le flanc à la critique; sinon, elle est ironique. Sur une toute autre piste, Brian Massumi affirme que: « Ce qui est affiché sur l'écran est une icône. Derrière, il y a un ensemble de permutations, des algorithmes et des possibilités logiques. Rien de cela n’est le virtuel. » 47

Les danseurs numériques sur l'écran résultent d’un traitement informatique. L'ordinateur effectue des opérations, il exécute des instructions, il traite de l'information; rien à voir avec le travail d’un interprète dans les arts de la scène qui incarne la danse, lui donne son souffle. Si l'on considère que la danse est un art d’interprétation, exigeant une présence incarnée, la danse virtuelle (au sens technologique du terme) n'est pas admissible en tant que danse. La danse virtuelle par capture de mouvement n'a aucun poids, aucun souffle, aucune spontanéité. On n’a pas affaire à un artiste interprétant une chorégraphie ou improvisant une danse, à une expérience vécue et partagée dans un même espace-temps, basée sur une connaissance intime du corps développée au fil des ans et ouverte aux fluctuations du moment, mais à de données traitées en fonction du matériel et des logiciels utilisés. Qu'est-ce que retirer des données d'une archive de signatures de mouvement a à voir avec la respiration dans un espace où les lois de la gravité s'appliquent, ne serait-ce que minimalement, en microgravité avec Kitsou Dubois? 48 Pourtant, la « danse » est un terme que nous sommes contraints à employer par défaut pour décrire certaines actions ou qualité de mouvement des personnages virtuels.

« Pourquoi ne pas simplement tendre la main et accueillir tout mouvement sous l'égide de la danse? »

Il serait absurde de regrouper l’art cinétique, la robotique, la gymnastique, le cinéma et le multimédia sous l'égide de la danse. Une proposition plus raisonnable serait d'englober toutes les danses sous l'égide du mouvement.

« Si le mouvement est l'essence de l'œuvre, pourquoi la technologie influerait-elle sur son ontologie? »

Bien que la chorégraphie et le cinéma puissent être réunis sous l'égide du mouvement, les deux sont clairement distincts, peut importe les rapprochements qui tendraient à placer le cinéma, du moins certains films, sous l'égide de la chorégraphie. On constate que De Spain fournit une réponse à ses propres questions à la fin du passage précité:

« J'ai personnellement plaidé en faveur de ce que l'on pourrait appeler un critère basé sur le médium (par opposition à un critère basé sur le mouvement) pour distinguer ce qui revient à la danse de ce qui lui est connexe parce que le film et la vidéo peuvent tout autant être considérés comme étant basés sur le mouvement que la danse elle-même. »

Si le médium est l'essence de l'œuvre, la danse a deux essences, le corps et le mouvement. Or il n’y a pas nécessairement plus de consensus à ce que l’on entend par corps que ce que l’on entend par média. Comme le souligne Francis Balle, l’inventaire des médias décourage toute tentative de définition 49.

Cela dit, nul besoin de diffamer la danse en la qualifiant de prisonnière du corps 35 pour faire l’apologie d’une danse sans corps. Il n'y a pas de danse sans corps, bien que l’on puisse chanter la danse lumineuse des aurores boréales ou de tout ce qui brille, scintille ou frétille. D'ailleurs, forger des expressions comme « haptique virtuel » 29 pour désigner un processus qui n'implique pas une véritable expérience tactile mais crée l’illusion d’un lien de causalité entre le geste ostensible de l’interprète sur scène et l’environnement visuel dans lequel il est immergé a moins à voir avec le virtuel et le « haptique » qu’avec l'imagination du spectateur. Ces déclinaisons amphigouriques du virtuel tablent sur une mystification technologique fusionnelle qui nie la sensorialité sous le couvert d’en amplifier l’étendue.

Il conviendrait de réserver le terme « virtuel » pour les danses qui sont conformes à une définition plus stricte de ce qualificatif, moins vague que ce que l’on entend quand il est question de la danse sur le web, de la danse télématique ou des personnages numériques dansant sur un écran.

On peut dire que la capture de mouvement virtualise la danse et que l'animation l’actualise en la rendant perceptible. Le terme « danse virtuelle » pourrait également être utilisé en robotique (et téléopération) avec des robots automobiles et autonomes. La danse implique différents types d'expériences, celle du spectateur, du danseur, du chorégraphe. De même en ce qui concerne la danse virtuelle; l'expérience d'un utilisateur immobile qui interagit avec un système informatisé via une interface gestuelle diffère de celle d'un immersant en réalité virtuelle tout en se mouvant physiquement. Mais, bien sûr, nous ne sommes jamais vraiment totalement immergé dans la réalité virtuelle, notre sens du poids est ancré dans la réalité physique, qui est aussi l’espace où nous respirons.

La danse virtuelle obtenue par capture de mouvement, modélisation et animation de personnages est différente des autres formes de danse, en ce qu’elle rompt le lien traditionnel entre le corps et le mouvement. Le passage de la capture optique (cinématographique) à la capture de mouvement représente un saut quantique dans les arts des nouveaux médias.

Alors que le terme « danse virtuelle » continuera sûrement à être employé dans un sens très large (en particulier en tant que synonyme de télématique ou Internet), son utilisation est plus légitime dans les cas où un processus d'actualisation du virtuel a lieu. En d'autres mots, même s’il n’y a pas de danseur incarné, quelque chose doit se passer dans l’« ici et maintenant », chaque fois de manière unique, le rôle de l’utilisateur étant d’actualiser la danse qui existe dans la mémoire de l'ordinateur en tant que données.

Ghostcatching (Bill T. Jones) 14 ne remplit pas ce critère puisqu’il s’agit ni plus ni moins d’une vidéo jouant en boucle, il n’y a pas actualisation mais répétition à l’identique. DO (not) DISTURB (Cécile Babiole) 19 se passe dans l’« ici et maintenant », mais son registre chorégraphique est limité, il s’agit en fin de compte d’une forme de « VJing » où sont déclanchées des échantillons de prises vidéo.

La danse virtuelle en tant que produit du numérique doit être comprise à la fois en termes technologiques et philosophiques. La capture de mouvement pourrait être un critère d'analyse pour distinguer ce qui revient à la danse virtuelle en vertu de l'universalité des principes de la capture de mouvement en tant que technologie numérique, et ce en dépit de la singularité des systèmes, dispositifs et méthodes conçus sur mesure pour les projets artistiques singuliers

 

NOTE(S)

Une première version de cet article a été publiée en anglais sous le titre « Virtual Dance and Motion Capture » par Contemporary Aesthetics en 2011.

1 Tomasovic, Dick, Kino-Tanz L’art chorégraphique du cinéma  (Paris, Presses universitaires de France, 2009), p. 65.

2 Film où Annabelle Whitford Moore imite la danse originale Loïe Fuller, produit par la Société Edison. Consulté le 7 janvier 2011 sur http://www.kino.com/edison/qt3.html

3 En optique, une image virtuelle est une image réfléchie qui semble être derrière la surface d'un miroir. En holographie, une image virtuelle n'est pas une image réfléchie, même si elle peut parfois sembler se trouver derrière la surface du support.

4 Suzanne Langer, Feeling and Form (New York: Scribner, 1953), p. 48.

5 Suzanne Langer, Problems of Art (New York: Scribner, 1957), p. 29.

6 Pour Deleuze, les états de virtualité seraient « réels sans être actuels, idéaux sans être abstraits. » Gilles Deleuze, Le Bergsonisme (Paris : Quadrige PUF, 1997) p. 99. Voir aussi Gilles Deleuze et Claire Parnet, Dialogues (Paris: Flammarion, 1996), annexe au chapitre cinq.

7 « It follows that there is no single body, like the “proper body” of phenomenology, but rather multiple bodies. The body of the dancer, Cunningham’s body, but in fact the body of all dancers, is composed of a multiplicity of virtual bodies. » José Gil, « The Dancer's Body » dans A Shock To Thought: Expression after Deleuze and Guattari, dir. publ., B. Massumi (London: Routledge, 2002) pp. 117-127, p. 123.

8 « …a dancer or dancers take on the role of narrator, so that what develops is in effect a virtual dance. » Ramsay Burt, « History, Memory, and the Virtual in Current European Dance Practice » Dance Chronicle 32.3 (2009) 442-467, p. 443.

9 « But in an important sense, theatre itself has always been a “virtual reality” where actors imaginatively conspire with audiences to conjure a belief (otherwise known, after Coleridge, as a ‘suspension of disbelief”) that a bare stage is in fact the courtyard of an ancient Theban palace, or the 1692 witch trial courtroom in Salem. » Steve Dixon, « A History of Virtual Reality in Performance » International Journal of Performance Arts and Digital Media 2.1 (2006) pp. 23-54, p. 24.

Antonin Artaud est apparemment le premier à avoir employé l’expression « réalité virtuelle » (Le Théâtre et son double,1938).
Voir aussi Andrew Murphie, « Putting the Virtual Back into VR » dans A Shock To Thought: Expression after Deleuze and Guattari dir. publ. B. Massumi (London: Routledge, 2002) pp. 188-214.

10 Pierre Lévy, Qu'est-ce que le virtuel? (Paris: La Découverte/Poche,1995) p. 135.

11 « Quand le court métrage Tony de Peltrie a été présenté au monde en 1985, le personnage éponyme a été largement considéré comme le tout premier personnage animé par ordinateur vraiment capable d'exprimer une émotion à travers son visage et son langage corporel. » « When the eight-minute short film Tony de Peltrie was presented to the world in 1985, the eponymous character was widely considered the first computer-animated character to truly express emotion through his face and body language. » Emru Townsend, « Along the Banks of the St. Lawrence... » Animation World Magazine 3.12 (1999) consulté le 7 janvier 2011; disponible sur www.awn.com/mag/issue3.12/3.12pages/townsendcanada.php3

« En contraste marqué avec les personnages robots maladroits des premières animations par ordinateur, De Peltrie ressemble à un humain et comme tel, ses doigts et ses expressions faciales sont lisses, réalistes et merveilleusement attrayants. En créant De Peltrie, l'équipe de Montréal ont fait une percée: un personnage numérique avec lequel un public humain peut s’identifier. »
« In striking contrast to the awkward, robot-like characters in earlier computer films, De Peltrie looks and acts human; his fingers and facial expressions are soft, lifelike and wonderfully appealing. In creating De Peltrie, the Montreal team may have achieved a breakthrough: a digitized character with whom a human audience can identify. »
Time Magazine, le 5 août 1985, consulté le 7 janvier 2011; disponible sur www.time.com/time/magazine/article/0,9171,1048473-3,00.html

12 Nadia Magnenat Thalmann et Daniel Thalmann, Handbook of Virtual Humans (Hoboken, New Jersey: John Wiley and Sons, 2004).

13 « Intrigués par le potentiel de capture de mouvement pour relier le mouvement naturel de l'homme à nos personnages de synthèse, nous avons créé la "music video" Don't Touch Me... dans lequel les mouvements la chanteuse Perla Batalla sont saisis optiquement... de manière à animer un chanteur synthespian appelé Dozo. » « Intrigued by the potential of motion-capture to link natural human motion to our synthetic characters, we created Don’t Touch Me, a music video piece…in which singer/songwriter Perla Batalla was optically motion-captured…to drive a singing synthespian called Dozo. » Jeff Kleiser, « Synthespianism » consulté le 7 janvier 2011; disponible sur www.KurzweilAI.net
Voir aussi: Landon Brooks, « Synthespians, Virtual Humans, and Hypermedia » dans Edging Into the Future: Science Fiction and Contemporary Cultural Transformation (University of Pennsylvania Press, 2002) pp. 57–59, and Barbara Creed, « The Cyberstar » dans The Film Cultures Reader (London: Routledge, 2002).

14 « Ghostcatching est une installation d'art numérique qui fusionne la danse, le dessin et la composition informatique. Paul Kaiser et Shelley Eshkar ont créé la trame sonore et la composition visuelle, Bill T. Jones a créé et interprété la danse et les vocalisations. » « Ghostcatching is a digital art installation that fuses dance, drawing, and computer composition. Paul Kaiser and Shelley Eshkar created the visual and sound composition; Bill T. Jones created and performed the dance and vocal phrases. » Consulté le 7 janvier 2011 Disponible sur www.openendedgroup.com/index.php/artworks/ghostcatching/

15 « Motion is a fundamental visual cue in human perception and slight inaccuracies are directly noticed. Hence, even if the rendering is perfect, the motion will still tell you that it is an artificial scene. » Edilson de Aguiar, « Character Animation from a Motion-capture Database » (Mémoire de maîtrise, Université de Saarland, Max-Planck-Institut für Informatik, 2003) p. 77, site consulté le 7 janvier 2011; disponible sur http://www.mpi-inf.mpg.de/~edeaguia/publications/deAguiar_masterthesis.pdf

16 « What is human movement in the absence of the body? » Bill T. Jones, Paul Kaiser, et Shelley Eshkar, « Statement » (sd), consulté le 7 janvier 2011; disponible sur http://openendedgroup.com/index.php/artworks/ghostcatching/

17 « On the one hand, it is true that video dance, as the precursor of digital dancing and web-based dance, is a hybrid form, existing in a virtual space contextualized by the medium and method of recording.…On the other hand, the impact of digital technology on the moving image (video, cinema) is quite paradoxical, if we recall that the history of fictional films as live action films is grounded in lens-based photographic recordings of reality—actions that took place in real physical space. » Johannes Birringer, « Contemporary Performance/Technology » Theatre Journal 51.4 (1999) 361-381, pp. 362-3.

18 Johannes Birringer, « Dance and Media Technologies » PAJ: A Journal of Performance and Art, 24.1 (2002) 84-93, voir page 84.

19 Consulté le 7 avril 2011; disponible sur http://www.babiole.net/spip.php?article38

20 Consulté le 7 janvier 2011; disponible sur www.ycam.jp/en/art/2009/04/steve-paxton-phantom-exhibitio.html

21 Yamaguchi Center for Arts and Media. Communiqué de presse du 6 avril (2009), consulté le 7 janvier 2011; disponible sur www.ycam.jp/fr/pdf/Paxton_pr_en.pdf

22 Zhenyu Yang, Bin Yu, Ross Diankov, Wanmin Wu and Ruzena Bajcsy « Collaborative Dancing in Tele-immersive Environment » (2006) consulté le 7 janvier 2011; disponible sur cairo.cs.uiuc.edu/teleimmersion/files/MM_sp65_yang.pdf

23 « Ce travail envisage un futur où nous vivons simultanément dans de multiples réalités, où les frontières entre les réalités physique et virtuelles sont floues et les pensées sont exprimées par télépathie. […] Entouré d'un cercle d'écrans le public est libre de changer son point de vue.
Les performeurs se fondent avec les ombres, les images projetées et les sons, révélant d’austères formes humaines se déplacent de manières surprenante et confondante. »
« This work considers a future where we live simultaneously in multiple realities, where the boundaries between physical and virtual reality are blurred and thoughts are expressed telepathically. […] Surrounded by a circle of screens the audience is free to shift their point of view.  Live performers merge with shadows, projected images and sounds, revealing stark human forms that move in startling and perplexing ways. » Archives du matériel promotionnel, site consulté le 7 janvier 2011; disponible sur http://netzspannung.org/cat/servlet/CatServlet?cmd=netzkollektor&subCommand=showEntryentryId=70089 
Aussi disponible sur le site de l'artiste consulté le 7 janvier 2011; www.rebeccaallen.com/v2/work/pop.mov.php?ID=24

24 Eric Wolfram, « Virtual Dance » Dance Magazine février 2003, pp. 65-67.

25 « ...Life Forms is not revolutionizing dance but expanding it, because you see movement in a way that was always there — but wasn't visible to the naked eye. » Merce Cunningham quoted on Credo Interactive website, makers of 3D character animation software Life Forms. « ... Life Forms n'est pas en train de révolutionner la danse, mais l’élargit, parce que vous voyez le mouvement comme vous ne pouviez pas le voir auparavant » « ...Life Forms is not revolutionizing dance but expanding it, because you see movement in a way that was always there — but wasn't visible to the naked eye. » Merce Cunningham cité sur le site Web Credo Interactive, fabriquants du logiciel d'animation 3D de personnages logiciel Life Forms. Consulté le 7 janvier 2011; disponible sur www.credo-interactive.com/

26 Robyn Stuart et Brian Curson, « Exploring Living Room: The Dancing Body and Live Immersion in Digital Scenography » International Journal of Performance Arts and Digital Media  2.3 (2006). pp. 259-273.

27 « First the interaction between dancing partners is recorded.  Then one of the partners will be substituted by a robot providing the recorded haptic information to the partner.  Finally, the main challenge will be to construct a haptic and visual agent which is realistically interacting with the human partner. » Technische Universität München. « First Steps in Virtual Dancing – RECORD & REPLAY of the Disco Fox » consulté le 7 janvier 2011; disponible sur www.immersence.info/Content_Results/Articles/Article_TUM_WP5_M30.htm

28 Annie Luciani, Claude Cadoz, et JL Florens, « The CRM device : a force feedback gestural transducer to real-time computer animation » Displays 15.3 (1994) pp.149-155.

29 Voir : Kim Vincs et John McCormick, « Touching Space: Using Motion-capture and Stereo Projection to Create a 'Virtual Haptics' of Dance” » Leonardo 43.4 (2010) pp. 359–366. [Nous en avons traduit le résumé, sous toutes réserves, étant donné le style particulier de l’original.]
Résumé: « Cet article décrit le travail d'un groupe d'artistes en Australie qui ont utilisé de capture de mouvement en temps réel et la projection 3D stéréo pour créer un environnement de performance à grande échelle dans lequelle les danseurs semblaient "toucher" le volume.
Ce projet réinterprète la conception philosophique de la danse de  Suzanne Langer (1950) en tant que "puissance virtuelle" pour réaliser l'idée de "haptique virtuel" de la danse qui étend les capacités [agency] physiques du danseur littéralement à travers le volume spatial environnant.
Le projet présente une conception de la danse interactive qui « touche » l’espace par la visualisation de la cinématique, de intentionnalité et capacités [agency] Pour ce faire, nous suggérons la possibilité de nouveaux types d'interfaces homme-machine qui mettent l'accent sur le toucher comme étant incarné, capacités [agency] nuancée qui est médiée par les qualités subtiles du mouvement du corps entier, en plus des gestes plus axée sur des objectifs, tels que pointer ou cliquant. »
Abstract: « This paper describes the work of a group of artists in Australia who used real-time motion-capture and 3D stereo projection to create a large-scale performance environment in which dancers seemed to 'touch' the volume.
This project re-versions Suzanne Langer's 1950s philosophy of dance as 'virtual force' to realize the idea of a 'virtual haptics' of dance that extends the dancer's physical agency literally across and through the surrounding spatial volume.
The project presents a vision of interactive dance performance that 'touches' space by visualizing kinematics as intentionality and agency.
In doing so, we suggest the possibility of new kinds of human-computer interfaces that emphasize touch as embodied, nuanced agency that is mediated by the subtle qualities of whole-body movement, in addition to more goal-oriented, task-based gestures such as pointing or clicking. »

30 Max Fleischer, US patent 1242674: Method of producing moving-picture cartoons, issued 1917-10-09. (Procédé de production d'image des dessins animés en mouvement) Voir : Richard Fleischer, Out of the Inkwell: Max Fleischer and the Animation Revolution (University Press of Kentucky, 2005).

31 « At the New York Institute of Technology Computer Graphics Lab, Rebecca Allen used a half-silvered mirror to superimpose videotapes of real dancers onto the computer screen to pose a computer generated dancer for Twyla Tharp’s “The Catherine Wheel.”  The computer used these poses as keys for generating a smooth animation.  Rotoscoping is by no means an automatic process, and the complexity of human motion required for “The Catherine Wheel” necessitated the setting of keys every few frames.  As such, rotoscoping can be thought of as a primitive form or precursor to motion-capture, where the motion is “captured” painstakingly by hand. » David J. Sturman, « A Brief History of Motion-capture for Computer Character Animation » consulté le 7 janvier 2011, disponible sur www.siggraph.org/education/materials/HyperGraph/animation/character_animation/motion_capture/history1.htm Voir aussi le site de l'artiste, consulté le 7 janvier 2011. www.rebeccaallen.com/v2/work/pop.mov.php?ID = 24

32 «  Motion-capture is basically 3-D rotoscoping. If you accept rotoscoping as a form of animation then you have to accept motion-capture. » Norman Badler of the Center for Human Modeling and Simulation cité dans Maureen Furniss, « Motion-capture » [document en ligne] (1999), consulté le 7 janvier 2011; disponible sur http://web.mit.edu/comm-forum/papers/furniss.html

33 Voici la citation complète : « Certainly, mocap shares with roto animation the close relation to a model’s form (human motion).  The extent to which the two—model and image—are related can vary dramatically, some feeling of the “presence” of a human being still exists in most animation of these types.  When watching a film like FIeischer’s Gulliver’s Travels (1939), it is of course easy to sense that Gulliver is quite different in essence from the little people around him; you don’t have to know that rotoscoped footage was used to create him in order to sense that difference. » Loc. cit.

34 Article consulté le 7 janvier 2011; disponible sur www.oscars.org/press/pressreleases/2010/20100708.html

35 « Il ne faudrait pas que la danse tire de l'arrière parce qu'elle est prisonnière du corps. » Martine Époque (LARTech) cité par Frédérique Doyon dans « L'entrevue — Danser sans corps » Article consulté le 7 janvier 2011; disponible sur www.ledevoir.com/2007/08/27/154744.html

De plus, on peut lire sur le site de LARTech: « Dans leurs œuvres récentes (Tabula rasa : la suite, 2003) et en cours (NoBody danse…), les interprètes numériques, affranchis de leur apparence physique, offrent une danse dans laquelle l'humain se manifeste sous-forme d'empreintes dynamiques porteuses de sa signature motrice. Libres de ce repère habituel de la danse, ces œuvres proposent un regard qui magnifie le mouvement dansé et ses manifestations énergétiques. » Article consulté le 24 octobre 2011; disponible sur www.lartech.uqam.ca/accueil.htm

36 Consulté le 7 janvier 2011; disponible sur www.openendedgroup.com/index.php/artworks/biped/

37 Carol M. Ginsberg et Delle Maxwell, « Graphical marionette » Actes du colloque ACM SIGGRAPH/SIGART Workshop on Motion, ACM Press, New York, April 1983, pp. 172-179.

38 Graham Walters, « The story of Waldo C. Graphic » Course Notes: 3D Character Animation by Computer, ACM SIGGRAPH 89, Boston, juillet 1989, pp. 65-79. Cité dans « A Brief History of Motion-capture for Computer Character Animation » (voir note 31).

39 Par exemple, Gongbing Shan, Peter Visentin et Tanya Harnett, « A Novel Use of 3D Motion-capture: Creating Conceptual Links between Technology and Representation of Human Gesture in the Visual Arts » Leonardo, 43.1 (2010) pp. 34-42.

40 « repository of ideas developed through choreographic investigation » The Ohio State University, « Synchronous Objects Media Release » (2009) consulté le 7 janvier 2011; disponible sur http://synchronousobjects.osu.edu/media/inside.php?p=somedia.

41 «  Given motion-capture samples of Charlie Chaplin’s walk, is it possible to synthesize other motions---say, ascending or descending stairs---in his distinctive style?  More generally, in analogy with handwritten signatures, do people have characteristic motion signatures that individualize their movements?  If so, can these signatures be extracted from example motions?  Furthermore, can extracted signatures be used to recognize, say, a particular individual’s walk subsequent to observing examples of other movements produced by this individual? » M. Vasilescu, O. Alex, « Research Projects »  (sd), consulté le 7 janvier 2011; disponible sur http://web.media.mit.edu/~maov/research_index.htm

42 Jean-Louis Vercher, « Perception and Synthesis of Biologically Plausible Motion: From Human Physiology to Virtual Reality » Gesture in Human-computer Interaction and Simulation dir. publ. S. Gibet, N. Courty, JF Kamp (Berlin and Heidelberg: Springer, 2006) pp. 1-12, voir en particulier la p. 8.

43 « But motion-capture only records movement in space and time, omitting any direct indication of flow (the relative tension or relaxation of muscles) or changes of weight (our relationship to gravity).  In a live mover, flow would show up on the surface of the body, as the dancer tensed or eased muscles.  Weight changes show up in the thousands of accommodations movers make in their muscles and skeletons as they drop into or overcome the force of gravity or interact with other people or objects.  Motion-capture sensors record the motion of a finite number of points, not really the whole body, so some of the pliancy and articulateness of the body is lost. » Ann Dils, « The Ghost In The Machine: Merce Cunningham and Bill T. Jones » Performing Arts Journal, 24.1 (2002), 94–104, p. 101.

44 « Nous avons étudié la quantification des mouvements de la danse par la mesure simultanée des mouvements du corps et des informations biophysiques. […] Notre recherche pourra aider les danseurs et les chercheurs sur la danse en donnant de nouvelles informations sur les mouvements de danse qui ne peuvent pas être analysés avec la capture de mouvement uniquement. » « We investigated quantification of dance movement by simultaneous measurement of body motion and biophysical information. […] We can expect that our research will help dancers and researchers on dance through giving new information on dance movement which cannot be analyzed with motion-capture alone. »
C. Woong, I. Tadao, S. Mamiko, T. Seiya et H. Kozaburo, « Quantification of Dance Movement by Simultaneous Measurement of Body Motion and Biophysical Information » International Journal of Automation and Computing 4 1 (2007) pp. 1-6; p.6.

45 « Should a motion-captured documentation of an existing live, human dance (later viewed on computer as performed by digital dancers) also be considered a dance?.…Why not simply reach out welcoming arms to encompass all movement under the aegis of dance?  Why should the technology affect the ontology if movement is the essence of the work?  I have personally argued for what might be called a “medium- based” (as opposed to a movement-based) criteria for parsing the dance from the dance-related, because film and video and graphical computers have as much claim to being movement-based media as does dance Kent De Spain, « Dance and Technology: A Pas de Deux for Post-humans » Dance Research Journal 32.1 (2000) 2-17, p. 6.

46 « …Deleuze did not theorise technology.  Even worse from the standpoint of investigating new media, Deleuze not only does not theorise media, he rarely mentions the term. » Mark Poster, « Afterword » Deleuze and New Technology, dir.publ. Mark Poster et David Savat. (Edinburg University Press, 2009) pp. 258-262, p. 258.

47 «  What’s on the screen is an icon. What’s behind it is a set of permutations and algorithms and logical possibilities.  None of these things are [sic] the virtual. » Brian Massumi et Toni Dove, « The Interface and I : A Conversation Between Brian Massumi and Toni Dove » Artbyte : The Magazine of Digital Arts 1.6 (1999), 30-37, p. 34.

48 Annick Bureaud et Kitsou Dubois, « The Embodiment of (Micro)Gravity. Kitsou Dubois's Analogies: an Artistic and Aesthetic Experience » consulté le 7 janvier 2011; disponible sur www.olats.org/space/13avril/2005-2/te_kDuboisBureaud.php

49 Balle, Francis. Les médias. De Gutenberg à Twitter. PUF, collection Que sais-je?, (2011) p.3.

 

NOTICE BIOGRAPHIQUE

Marc Boucher est un artiste et chercheur qui s’intéresse à la rencontre des arts vivants et des arts médiatiques. Initialement formé en arts du cirque et en danse contemporaine, il a ensuite réalisé plusieurs spectacles chorégraphiques intégrant des projections vidéo. Boursier de Saw Video Coop, du Conseil des Arts du Canada, de la Fondation UQAM, du FCAR ainsi que du CIAM, Centre interuniversitaire en arts médiatiques, il a obtenu un doctorat en Études et pratiques des arts de l’UQAM en 2002. Il est professeur associé au CIAM-Hexagram, où il poursuit ses recherches sur l'exploration artistique de la vision périphérique (Laboratoire Zorved2).

 

haut de la page / retour à la page d'accueil /

 


 

Cette publication a été rendue possible grâce au soutien financier d'Hexagram, du groupe de recherche des arts médiatiques (GRAM), de la Faculté des arts de l'UQAM, de la Chaire du Canada en esthétique et poétique de l'UQÀM (CEP), ainsi qu'à une subvention, pour une quatorzième année consécutive, du Conseil des arts du Canada (CAC).