Digital Klee : représenter et transmettre la fabrique du sensible

Le travail a été découpé en 2 parties principales : la première se fonde sur la conception graphique logicielle dans le cadre de l’initiation aux pratiques artistiques : il s’agit de développer une série d’interfaces graphiques élémentaires sur support mobiles (Tablettes, téléphones) à visée didactique puisque le projet de Paul Klee s’inscrivait dans ce contexte. Par exemple, il est question de s’initier à la manière dont la ligne peut représenter au delà d’elle même l’inscription du mouvement de notre corps dans l’espace, de se sensibiliser à l’interaction des couleurs en permutant des “carrés magiques”, d’étalonner le timbre et l’amplitude de sa voix à des lectures graphiques dynamiques, etc…nous laissons le lecteur découvrir ces applications liminaires accessibles via une demande formulée auprès de la MSHB (Maison des Sciences de l’Homme en Bretagne). La conception suit le process classique pour ce type de projet informatique même s’il reste essentiellement un projet qui conjugue art et design. La deuxième partie est plus singulière, elle semblait dans un premier temps répondre au projet d’une forme de validation de la recherche en art par l’analyse de l’interface graphique à l’aide de tests de ressentis utilisateurs. 

On a esquissé dans un précédent billet (Attrakdiff, je ressens donc je suis ? La mesure des affects à l’épreuve des capteurs digitaux.)  les avantages et les inconvénients des mesures psychosensorielles de l’attractivité dans le cas où interface répond à un projet dont la finalité est de placer l’utilisateur dans les conditions d’une expérience plastique et artistique. La remarque revient souvent auprès de nos étudiant.e.s . Comment se trouve validé le degré de pertinence de telle ou telle interface graphique par rapport aux visées du projet ? où résident ses enjeux artistiques? etc…Les mesures sensorielles s’offrent à l’ergonomie, mais l’ergologie présente un secteur d’observation qui peut avoir tout son intérêt quand le but à atteindre n’est pas directement la mesure et l’évaluation ‘”après coup” des ressentis utilisateurs mais la capacité des testeurs à fabriquer et donner forme à une activité, de se mettre en situation de fabrication, de participer à un jeu et de réaliser un travail d’acculturation. Cette distinction est importante, car trop souvent la mesure d’efficacité de l’interface reste articulée le plus souvent à l’obtention d’un score, à trouver dans un minimum de temps une information par exemple. Directement associée à l’analyse de l’interface, l’étude marketing se trouve trop souvent associée à la rentabilité qui reste dans ce cas le nerf de la guerre…

Dans le cadre de l’approche expérimentale de la transmission qui nous intéresse, ce n’est pas tant la promesse du résultat qui est visé mais l’initiation, l’observation, l’appareillage et les qualités du travail sur le sensible, sa plasticité, sa durée, ses formes de persistance, le mode de connaissance pratique et physique qui s’engagent et se manifestent dans l’expérimentation plastique c’est à dire ce que l’utilisateur perçoit et apprend dans le cheminement de l’activité et par la suite, comment nous pouvons représenter et transmettre graphiquement cette expérience.

Pour modéliser l’expérience perceptive, il me semble que des moyens considérables ont été apportés pour comprendre les mécanismes de la perception et les moyens de la simuler (ce que l’on a appelé un peu vite la reconnaissance de formes). En revanche très peu à été investi pour comprendre comment les représentations peuvent modeler le sensible (A. Roger), ce qui se passe lorsque l’on travaille avec un ordinateur et quel type de perception (et de complicité) cela manifeste. Les sciences cognitives associées à l’expérience esthétique gagneraient sans doute davantage à privilégier l’étude et la simulation des formes de la perception modelée par l’activité plastique. Et l’on apprendrait sans doute davantage des modalités de la reconnaissance des formes par la perception humaine sous l’emprise sociotechnique de Photoshop plutôt que dans l’élaboration des algorithmes visant la conception abstraite et robotisée d’un œil artificiel.  Sans projet ni visée intentionnelle à fabriquer la forme, nous ne voyons rien de ce qui s’adresse à nous, la perception reste aveugle au monde. Dans cette affaire, il me semble que le projet de Paul Klee de rendre visible et de transmettre par le livre le travail du sensible conserve son actualité. Plutôt que de chercher à réaliser ou simuler une œuvre, il reste sans doute aussi pertinent d’interroger comment l’activité plastique qui concerne spécifiquement le trajet exploratoire de la forme et de ses rythmes peut éclairer notre compréhension des mécanismes de la perception.

Nous proposons pour exemple de suivre le trajet des modalités de notre recherche par rapport à l’un des exercices, en commençant par les notes de cours de l’artiste puis leur transcription éditoriale par Laszlo Moholy-Nagy et Walter Gropius:

 

 

Mots Klee

Mots Klee est un exercice basé sur le chapitre 13 de l’édition originale de Paul Klee, qui se nomme “Production -Reception”. Paul Klee compare la création  à la construction d’un ouvrage qui se forme “pierre sur pierre” par addition ou bien par soustraction s’il s’agit d’extraire à partir de quelque chose de déjà là. Les deux démarches en tant qu’édification ou extraction se déroulent dans l’espace temps.

 

Voici la traduction éditée fournie par Pierre-Henri Gonthier pour la traduction de 1964 des Esquisses pédagogiques :

pages 95-96, chapitre 13.

Production-Réception 

Productif

L’ouvrage se forme “pierre sur pierre”(Addition) ou à partir du bloc “morceau par morceau” (soustraction)

Les deux démarches, l’édification et l’extraction, se déroulent dans le temps.

Réceptif 

Dès le début de l’action productrice, peu après le mouvement initial de production, intervient déjà le premier contre-mouvement, le mouvement initial de réception. Autrement dit : le Créateur évalue ce qu’il a fait jusqu’alors. Action humaine (Genèse), l’œeuvre, qu’il s’agisse de production ou de reception, est mouvement (durée).

Dans l’ordre producteur, ceci tient à la limitation manuelle du créateur (Il n’a que deux mains)

dans l’ordre récepteur, ceci tient à la limitation de l’oeil. La limitation de l’oeil est son incapacité de voir simultanément avec une égale acuité tous les points de la moindre surface. L’oeil doit “brouter” la surface, l’absorber partie après partie, et remettre celles-ci au cerveau qui emmagasine les impressions et les constitue en un tout.

L’œil suit les chemins qui lui ont été ménagés dans l’oeuvre.

 

La réalisation / recréation

Le travail plastique réalisé associe une tablette numérique et une feuille de papier. la feuille est imprimée avec des lettres dont les mots sont illisibles. Des informations y sont manquantes. Pour fonctionner, le texte imprimé, dont certaines informations manquent pour pouvoir être lu, doit être visé comme un qrcode. en effet, lors du lancement l’application numérique DKEP, la caméra de l’appareil (smartphone ou tablette de type Android) se met en route et doit pouvoir détecter l’image du texte imprimé. Une fois cette dernière détectée, , une seconde image virtuelle s’affiche à l’écran. On doit alors se mettre à interagir avec le capteur photo et l’image imprimée, en approchant ou en éloignant progressivement les 2 images complémentaires jusqu’à ce qu’il soit possible de recomposer  les 2 parties du texte pour lire enfin les mots-clés : Production et reception. Un son nous avertit lorsque le visuel en réalité augmentée est bien positionné par rapport à l’autre partie d’image imprimée. L’implication du corps et son mouvement de même que la dynamique attentionnelle sont des éléments essentiels au bon fonctionnement de l’exercice. Au delà de l’exercice , le champ référentiel de ce travail s’inspire des dispositifs artistiques historiques mettant en jeu les premières explorations plastiques de l’interactivité logicielle et donc de nouvelle expérimentations perceptives: Jeffrey Shaw (Golden Calf, 1994), Éric Lanz (Manuskript, 1994), Thierry Kuntzel (The Waves, 2003)…

Les données captées et enregistrées :

l’image reconnue, 

les valeurs de l’accéléromètre en x et y toutes les 200 millisecondes, 

la taille de l’image virtuelle (toutes les 200 ms)

la distance entre l’appareil et l’image papier (toutes les 200 ms)

le moment où la superposition des 2 images est parfaite

 

Plusieurs recherches ont été effectuées avec cet exercice. Néanmoins, il nous parait interessant de présenter les deux derniers visuels qui explicitent bien le travail effectué par le joueur pour apparier les 2 formes. Il s’agit d’une captation extraite d’une séquence d’approche par l’utilisateur. On aurait certes pu proposer un extrait filmé de l’approche mais il me semble que la transmission par la représentation graphique montre bien le mouvement de stabilisation homéostase, c’est à dire ce moment ou l’utilisateur finit par équilibrer le pilotage attentionnel des mouvements de son corps au cours du jeu qui mélange le tangible et le digital.

---

note sur l’image mise en avant sur le Blog

Digital Klee Esquisses Pédagogiques. Enquête sur le futur de la forme. L’ouvrage comprend également un carnet de recherche incluant des exercices permettant d’accéder aux recréations numériques des exercices. La couverture est un clin d’œil aux cartes perforées. Façonnée aux Pays-Bas, l’ouvrage principal a été réalisé par la Société coopérative de production Médiagraphic à Rennes. Les programmes avec cartes perforées étaient encore utilisées au Centre de Calcul Paris 1 Panthéon Sorbonne au début des années 80 ;))

 

---

---