Karl-Erik Tallmo,
föredrag
Synestesi - nästa steg efter multimedia?
Brukar ni se färger när ni lyssnar på musik? Eller kanske känna en viss smak när ni ser en särskild färgkombination? I så fall kanske ni hör till ett rätt exklusivt sällskap av s.k. synesteter. Fenomenet att korskoppla sinnesförnimmelser på det där viset kallas synestesi, vilket kommer från ett grekiskt ord som betyder ungefär 'samtidig förnimmelse'.
Ett tidigt litterärt belägg för det här fenomenet brukar man anse finns i John Lockes "An Essay Concerning Human Understanding" (1689), där han berättar om en blind man som efter att ha konsulterat vänner och böcker m.m. äntligen förstått vad scarlet, dvs. scharlakansrött innebär. Det är, säger han, som ljudet av en trumpet.
I de flesta ordböcker förklaras synestesi som 'sinnesanalogi', och många sammanhang som påstås vara synestesi i mera perceptionspsykologisk bemärkelse är i själva verket snarast litterära metaforer. Lockes exempel får nog anses höra hemma där.
Även i vårt vardagsspråk finns ju de här enklare sinnesanalogierna. Toner kan vara höga eller låga, och de kan också vara mörka och ljusa, rent av spetsiga. Inte minst rockmusik kan ju vara såväl tung som hård. En saxofonist kan ha en fyllig ton. Jazzen var under en tid cool - i dag är som bekant det mesta som upplevs som positivt cool. En målning kan vara gjord i särskilt varma nyanser, medan en annan är gjord i kalla färger. Vår chef kanske har tagit på sig en skrikig slips.
Toner kan vara höga eller låga, och de kan också vara mörka och ljusa, rent av spetsiga. Inte minst rockmusik kan ju vara såväl tung som hård.
Just musiken är ju oftast hänvisad till sinnesanalogier, eftersom den inte är föreställande som en målning eller en roman. Om man då inte försöker härma fåglar eller ånglok utan ickeljudande ting eller mera abstrakta känslor, blir förstås sinnesanalogin nödvändig. Men det blir förstås alltid en högst personlig metafor som inte kan dechiffreras på motsvarande sätt hos lyssnaren. Tonsättaren Olivier Messiaen hade t.ex. synestetiska ambitioner i stycket "Couleur de la Cité Celeste" för piano, blåsorkester och slagverk från 1963.
Om vi ser ett barockstilleben t.ex. som är så skickligt och realistiskt utfört att vi tycker oss känna doften av övermogna eller ruttnande frukter, så är det förstås inte heller egentlig synestesi, utan snarast exempel på att betraktaren har god inlevelseförmåga.
Den franske författaren Joris-Karl Huysmans skriver i "Mot strömmen" (1884) hur huvudpersonen uppfattar olika spritsorter som olika instrument som ljuder under gommens valv: curacao lät som en klarinett, crème de menthe som en flöjt, gin och whisky frammanade hela blåssektioner av kornetter och tromboner, och bondkonjaken marc tyckte han dundrade som tubor.
Rimbaud skrev en sonett om vokalerna, där det står:
A noir, E blanc, I rouge, U vert, O bleu: voyelles,
Je dirai quelque jour vos naissances latentes
Alltså: a ser han som svart, e som vitt, i rött, u grönt, o blått. Och en dag skall han kunna avslöja vokalernas dolda ursprung.
Robert Cailliau är en av pionjärerna kring Internet och World Wide Web. Han arbetar på kärnfysikcentret CERN i Genève. På sin hemsida berättar han att han är synestet och visar en plansch över alfabetet, där han - för att nu ta samma bokstäver som i Rimbauds dikt - ser A som svart (precis som Rimbaud) E som grönt (Rimbaud hade vitt), I är grått (Rimbaud hade rött) U är blått (Rimbaud hade grönt) och O är vitt (medan Rimbaud hade blått). Det tycks alltså vara rätt individuellt vilka färger man uppfattar. Ibland kan man se just World Wide Web skrivet som en logotyp med bokstäverna WWW i grönt, och det beror på att Caillau ser just bokstaven W som grön.
Han berättar på sin hemsida att hans interna telefonanknytning 75005 för honom har färgerna mörkblått-svart-vitt-vitt-svart och att den här effekten på ord och siffergrupper fungerar som en stavningnskontroll för honom. Han ser direkt om något är fel, därför att färgmönstret inte stämmer med hans minnesbild.
Författaren Vladimir Nabokov berättade i en intervju 1962 att han ser varje bokstav i en viss färg, och han påstod också att hans fru fick färgförnimmelser av ljud, medan deras son hade en sorts blandning av deras båda egenheter.
Att människor förbinder färger med vissa bokstäver tycks vara ganska vanligt. Frågan är dock om det är synestesi eller en sorts försök att föreställa sig ett relativt abstrakt begrepp. Här finns ju också en viss svävning i huruvida färgen kommer från bilden av bokstaven eller tanken på eller hörselintrycket av själva språkljudet som bokstaven betecknar.
Själv minns jag hur jag som barn föreställde mig veckans dagar. Måndag var en grå kvadrat med en lite mörkare sol i hörnet, ungefär som på solstickeasken ni vet med Einar Nermans teckning av den där lilla pojken, där det finns en orange kvartscirkel i övre vänstra hörnet. Lördag var en mörkblå kvadrat, också med en sådan där liten sol i hörnet i ännu mörkare blå färg, men det mörkare hörnet var också liksom lite knottrigt i strukturen. Tisdag och onsdag var besynnerligt konkreta. Tisdag såg jag som ett diadem av guld, ett sådant där smalt metallföremål som flickorna brukade ha i håret, medan onsdag såg ut som en rund, gul, hög sockerkaka på ett blått fat, ungefär som jag mindes bilden av en kaka på Marabous bakpulverburkar.
Jag misstänker dock att det här har mera med minne och föreställningsförmåga att göra än med riktig synestesi. Som barn behöver vi ju öva oss i att förbinda ord med de objekt de betecknar. När det gäller mera abstrakta saker som dagars eller månaders namn kanske man har hjälp av att skapa sig en visuell föreställning. Kanske skapar vi också en rad felaktiga bilder, så att säga på försök, när vi lär oss även högst konkreta ord som "stol" eller "lampa". Det är ju t.ex. ett rätt stort och svårt steg för ett litet barn att lära sig att förstå att dessa ord kan åsyfta vilken stol eller vilken lampa som helst.
Den franske filosofen och psykologen Maurice Merleau-Ponty var ju något av en mångtydighetens apostel och skrev mycket om perception. Han menade att
synestetisk varseblivning är regeln, men vi är inte medvetna om detta av den enda anledningen att den vetenskapligt grundade kunskapen förflyttar tyngdpunkten i våra erfarenheter, så att vi glömmer allt vi lärt om vad det innebär att se, höra, och - för att generalisera - känna.
Man skulle kanske kunna tänka sig att vi har nytta av korskopplingar av det här slaget när vi lär oss förstå att "stol" och "lampa" kan beteckna alla stolar och lampor. Det här påminner faktiskt om många av de problem som forskningen kring artificiell intelligens brottas med. Hur ska man t.ex. kunna lära en dator att hitta alla bilder i ett elektroniskt bildarkiv, där det förekommer personer med röda tröjor?
Här handlar det om pattern recognition, mönsterigenkänning, något vi människor är mycket bättre på än datorer, och något som vi lär oss tidigt. Kanske har vi då nytta av att så att säga ringa in föremål och företeelser med hjälp av flera dimensioner än de vanliga. Vi ser ju mera i tre dimensioner än på en platt tvådimensionell bild. Och möjligen är det så att den synestetiska upplevelsen så att säga lägger till ytterligare en upplevelsedimension, så att om vi t.ex. upplever en motors brum som färgat eller tycker att olika lampor ger ifrån sig olika toner, så hjälper det oss att pejla in företeelsen från flera håll och sedan katalogisera den på rätt plats i hjärnan.
Men detta ställer en del frågor om hur objektiv vår perception egentligen kan anses vara. För de här upplevelserna är ju knappast något vi i dagligt tal skulle kalla verklighetsbaserade. Om vi hör en lampa, anser de flesta av oss att det är ett hjärnspöke. Och den här pejlingen, lägesbestämningen, är väl närmast ett internt trick av hjärnan i så fall, ett sätt att hitta på en sorts flexibla etiketter på det som finns lagrat i vårt minne och i vår föreställningsvärld.
Kanske är även de simplare sinnesanalogierna ändå ekon av riktig synestesi vi upplevt tidigt i vår utveckling, eller som Baudelaire skriver i dikten Correspondances, - alltså Överensstämmelser - som ofta citeras i sådana här sammanhang:
Likt ekon i fjärran, som avståndet blandarJag tror att även metaforerna vi väljer säger en del om vårt sätt att varsebli världen, vi drar liksom loss en egenskap från ett objekt och liknar det genast vid ett annat som också vidhäftas av denna egenskap. Säger vi "dina ögon är klara som en skogstjärn", så säger det också något om hur vi uppfattar något egentligen osynligt, nämligen sikt utan hinder, total transparens - just i denna metafor dock inte nödvändigtvis kombinerat med ordet "klars" andra sidobetydelse av synskärpa. Skogstjärnens djup är ju inte nödvändigtvis särskilt skarpt och tydligt. Och säger vi "regnet stod som spön in backen", säger det något om ögats tröghet. En horisontellt utsträckt yta som glänser kan komma att bli "fjärden ligger blank som ett nybonat golv". Då är vi åter inne på en sorts mönsterigenkänning.
I dunkel och djup till ett enstämmigt brus,
En storslagen samklang av mörker och ljus,
Blandas färger och dofter och ljud med varandra.(Ekelöfs tolkning)
Den moderna forskningen är faktiskt inne på att Merleau-Ponty hade rätt, att det finns en riktig synestesi, som kanske har en funktion i vår tidiga individuella utveckling.
Den moderna forskningen är faktiskt inne på att Merleau-Ponty hade rätt, att det finns en riktig synestesi, som kanske har en funktion i vår tidiga individuella utveckling.
Den ryske psykologen Aleksandr Luria var ungefär samtida med Merleau-Ponty och dog 1977. Han studerade också hjärnans funktioner och gick emot den traditionella bild vi har av hjärnan som en sorts karta där syncentrum ligger på ett ställe och hörselcentrum någon annanstans.
Han lanserade istället en dynamisk lokalisationsteori, där minne, språk och planeringsförmåga är hela system som bygger på samverkan mellan olika hjärnområden. I boken "Mannen med det fantastiska minnet" beskriver Luria sina undersökningar av en man med ett uppenbarligen fullkomligt oändligt minne. Man lyckades helt enkelt inte finna gränserna för det, skriver Luria. Men förutom denna talang hade också den här personen förmågan - eller handikappet, beroende på hur man vill se det - att reagera synestetiskt.
Luria beättar att hans försöksperson var bekant med den berömde film- och teaterregissören Sergej Eisenstein. Men enligt försökspersonen hade Eisenstein en röst som "en flamma med utstickande fibrer", vilket gjorde honom så intresserad av själva rösten att han inte kunde följa med vad Eisenstein sade. Försökspersonen hade också kontakt med psykologen och språkforskaren Lev Vygotskij. Till honom sade försökspersonen: "En sådan smulig och gul röst ni har."
Många upplever smärta i olika färger. Ett vittne vid namn Carol på Internetsidan om synestesi hos Massachusetts Institute of Technology (MIT) säger att för henne har all smärta som en sorts grundvärde färgen orange. Min mor berättade häromdagen för mig en märklig episod. Hon har lidit av svår huvudvärk i decennier och en gång hade även hennes mor, dvs. min mormor, haft huvudvärk och de talade om detta. De hade aldrig tidigare nämnt färger i sådana här sammanhang, men plötsligt frågade min mor "Var det den röda eller den gröna huvudvärken?" "Den gröna", svarade mormor tveklöst.
Hur vanligt är det då med verklig synestesi? Neurologen Richard Cytowic i Washington som studerat ämnet och skrivit boken "The Man Who Tasted Shapes", hävdar att det bara är en person på 25 000 som har förmågan, medan den brittiske forskaren, dr. Simon Baron-Cohen vid University of Cambridge tror att det kan vara så pass många som en per tusen. Han är en av de mest framstående inom detta fält och har också startat organisationen International Synaesthesia Association med avdelningar både i England och i USA.
Organisationen är delvis till för forskning kring fenomenen men tjänar också som en sorts stödorganisation för synesteter. För många kan detta vara ett stort handikapp. Vissa tycks betrakta det som en krydda i livet, deras musikupplevelser kan t.ex. bli oerhört mångfasetterade. Men andra kanske inte ens kan röra sig ute efter mörkrets inbrott p.g.a. alla neonljus och andra ljusskyltar som de uppfattar som ett öronbedövande dån.
Det svåra för forskningen har hittills varit att studera synestesin med några yttre och pålitliga metoder. Ren introspektion kan förstås inte anses särskilt tillförlitligt. I dag använder man t.ex. tomografi och magnetröntgen (MRI) för att studera vad som händer i olika delar av hjärnan vid olika typer av stimuli. En av dem som håller på med detta är Steve Williams vid Insitute of Psychology i London.
Laurence Gerstly vid skotska University of Stirling har försökt visualisera försökspersoners upplevelser av musik med datoranimationer av de figurer pesonerna säger sig se vid olika tonhöjder och rytmiska förlopp. Forskaren Helen Neville i Kalifornien har undersökt barn och funnit visst stöd för att de här upplevelserna troligen är vanligare hos yngre personer än hos äldre.
Tydligen har synestesi med hjärnbarken och det limbiska systemet att göra. Det är i hjärnbarken den där traditionella kartan över olika sensoriska områden finns, medan det limbiska systemet är en sorts överordnat centrum som utvärderar både inre och yttre signaler och prioriterar reaktionerna på dessa. När man blir sömnig eller kanske är alkoholpåverkad kan det limbiska systemet bli friare, vilket vissa forskare tror underlättar synestesiupplevelser. Därmed förstås inte sagt att alla som har synestetiska upplevelser är sömniga eller alkoholpåverkade.
Synestesin börjar bli intressant för medicinen när det gäller kunskap om hur man ska kunna återuppbygga skadade delar av hjärnan t.ex. Men som nämnts är fenomenet också intressant inom AI. Och personligen tror jag att synestesin kan vara en fruktbar väg även när det gäller de mera multimediala aspirationerna för datortekniken.
I konsthistorien har ju allkonstverksdrömmen dykt upp då och då, drömmen om en konstform som talar till flera sinnen, kalla den intermedium, kalla den opera, kalla den son et lumière, kalla den mixed media, kalla den multimedia.
Multimedia är på sätt och vis en rätt naiv dröm om en högre realism. Precis som ordet interaktivitet är det ett ofta missbrukat begrepp.
När Stewart Brand och Andy Lippman på MIT någon gång vid mitten av 80-talet definierade begreppet interaktivitet, avsåg man en ömsesidig och samtidig aktivitet för båda deltagarna, människan och maskinen. Saker skulle inte vara förutbestämda alltför långt i förväg, ungefär som man inte i ett vanligt samtal har klart för sig alltför långt i förväg vad man tänker säga. Så har det ju dock inte blivit.
Och de multimediala skapelserna motverkar ofta sitt syfte genom att de lider av en sorts horror vacui, precis som i senmedeltida och orientalisk konst, där varenda tom yta måste fyllas med någon dekoration, någon effekt. Naturligtvis är detta ett övergående problem. Nya medier frossar förstås gärna i sina verkningsmedel.
Men kanske kan just synestesin vara en intressantare modell för den multimediala designen än den sensoriska fragmentering som nu så ofta blir resultatet. Synestesin tycks ju vara en djupt mänsklig form av varseblivning, kanske rent av normaltillståndet i hjärnan när vi är små.
Tar man fasta på det, duger det inte att samtidigt pumpa ut en kanal med ljud, en med bild osv. utan man bör intressera sig mera för relationen mellan dem. Hur upplever en blind en skulptur t.ex? Vi tänker ju oftast på en skulptur som något visuellt, samtidigt som den ju skapats med händerna och ofta har en i ordets rätta bemärkelse påtagligt taktil prägel.
De nya digitala medierna erbjuder kanske äntligen möjligheten till ett allkonstverk eller snarare något som speglar den mänskliga erfarenheten mera direkt, men inte genom att blåsa på med alla sinnen på en gång utan genom att just exploatera det här oerhört subtila sättet att skapa en stark illusion genom att välja rätt sinne för rätt budskap - eller rent av anropa sinnet bredvid! De javanesiska skuggspelsmästarna vet nog vad de gör. De har medvetet minskat den s.k. bandbredden - dvs. mängden information som överförs per tidsenhet - för att skapa en starkare illusion. Less is more.
"Colorless green ideas sleep furiously", skrev lingvisten och samhällsdebattören Noam Chomsky 1957 för att illustrera hur en grammatiskt logisk sats ändå kan vara meningslös. Men kanske kommer det att visa sig när forskningen kring synestesi kommit lite längre att en sådan fras inte bara följer grammatiken utan kanske också innehåller någon sorts perceptionspsykologisk logik. Och den kan vi kanske lära oss utnyttja - som ett pedagogiskt instrument och som ett verktyg för de nya former av kommunikation som nu växer fram.