Deze methode van onderzoek steunt op drie poten: psychologie, informatica en muziekwetenschappen. De psychologie levert de theorieën over de waarnemingsprocessen van de menselijke luisteraar en met name de experimentele psychologie levert de methodes om hypotheses daarover te toetsen. In de informatica zijn de formalismen ontwikkeld om algoritmen te beschrijven en daarover te redeneren. Uit de muziekwetenschappen stammen de theoretische concepten en structurele beschrijvingen van het domein zelf. Hoewel deze niet noodzakelijkerwijs direct te vertalen zijn in cognitieve termen, kunnen zij daar wel gegronde hypotheses voor aandragen. Inzichten uit elke discipline maken muziekcognitie-onderzoek mogelijk en de onderzoeksresultaten zijn op hun beurt vruchtbaar voor de afzonderlijke disciplines.

Beat-inductie is het proces waarbij een regelmatig isochroon patroon, de tel of puls, geactiveerd kan worden bij het luisteren naar muziek. Deze "beat", die soms door musici met de voet meegetikt wordt, is een centraal concept in de verwerking van muziek. Maar ook voor niet-experts blijkt het proces van beat-inductie een fundamenteel aspect van de verwerking, codering en beleving van temporele patronen. Om enkele voorbeelden te geven: de geïnduceerde beat ‘draagt’ de tempo waarneming (de perceptuele indruk van tempo is niet direct afhankelijk van de hoeveelheid noten per tijdseenheid of hun lengte, maar van de geïnduceerde beat) en het vormt de basis voor de temporele codering van ritmische patronen (de wijze waarop ritmes onthouden en gereproduceerd worden). Verder bepaalt de beat het relatieve belang van de verschillende noten in ondermeer de melodische en harmonische structuur.

Er zijn verschillende aspecten die beat-inductie tot een proces maken dat niet eenvoudig te modelleren is. Een indicatie van de complexiteit van het proces is misschien wel de hoeveelheid literatuur over beat-inductie en de diversiteit van de formalismen die in de voorgestelde computationele modellen gebruikt worden (zie Tabel I). In dit artikel zullen we een, alles behalve volledige, taxonomie van de gebruikte formalismes geven en aangeven hoe zij gebruikt zijn om de verschillende aspecten van beat-inductie te modelleren. Theorieën die geïnterpreteerd zouden kunnen worden als theorieën van beat-inductie maar niet computationeel volledig geformaliseerd zijn laten we buiten beschouwing. Verder zal in het kort recent onderzoek worden beschreven dat zich richt op een vergelijking tussen deze benaderingen. Hoewel op het ogenblik in ons onderzoek de fundamentele vraag centraal staat hoe dit proces zich bij de luisteraar voltrekt, zijn er duidelijke toepassingen van deze theorieën voorzien. In multi-media systemen bijvoorbeeld, is de beat het eerste en meest fundamentele concept dat geëxtraheerd moet worden, wil muziek "begrepen" en geïnterpreteerd kunnen worden. Een visualisatie van de muziek die gebaseerd is op de juiste beat resulteert in een veel betere integratie en coherentie tussen geluid en beeld. Maar ook voor de automatische transcriptie van muziek (het genereren van muzieknotatie van ingespeelde muziek) en automatische begeleidingssystemen (bijvoorbeeld een "luisterende" drummachine die zich aanpast aan het gespeelde tempo van de musicus) is een goed werkend perceptueel model van beat-inductie cruciaal.

Beat-inductie is een snel proces. Na slechts enkele noten kan een sterk gevoel van beat door een patroon geïnduceerd worden (een "bottom-up" proces). Na de inductie van een dergelijk stabiel beat-percept (i.e. het waarnemen van een duidelijke puls) kan deze gaan functioneren als een referentiekader voor de verwerking van nieuwe informatie (een "top-down" proces). Dit referentiekader maakt het mogelijk dat een zgn. syncope waargenomen wordt: een beat is verwacht, maar er wordt geen noot gespeeld &endash; dit introduceert een mate van spanning in een ritme. Soms is het metrische referentiekader zo sterk dat syncopatie kan worden volgehouden over een aantal beats zonder dat het beat-percept wordt aangepast (bijvoorbeeld bij reggae ritmes). Echter, een te grote mate van syncopering kan het beat-percept instabiel maken, vooral als er een alternatieve organisatie mogelijk is. Als er bijvoorbeeld genoeg evidentie is voor een veranderende beat (of metrum) dan zal het oude percept afbreken en een nieuw percept opgebouwd worden. Deze interactie, waarin een beat geïnduceerd wordt vanuit een patroon, maar waarin tevens een reeds geïnduceerde beat de organisatie beïnvloedt van het inkomende materiaal, is moeilijk te modelleren.

Vanuit het beat-niveau kan ook temporele regelmaat op hogere en lagere niveaus waargenomen. In dit proces van metrum-inductie is de beat slechts één laag in een hiërarchisch systeem van tijdsdelingen. Als de term beat op meer abstracte wijze gebruikt wordt voor een willekeurig niveau in de metrische hiërarchie, dan wordt de term tactus aangewend om aan te geven op wel specifiek niveau men met de muziek meetelt . Dit gebeurt ongeveer tussen 40 en 300 tellen per minuut met een voorkeur voor een tempo rond 100 tellen per minuut, de zogenoemde "preferred rate" &endash; een tijdsinterval van 600 msec (Fraisse, 1982). Deze voorkeur maakt duidelijk dat globaal tempo een belangrijke factor is in beat-inductie. Een ander tempo kan een andere interpretatie opleveren. Tempo kan de tactus naar een ander niveau van de metrische structuur verschuiven. En in ambigue patronen, die verschillende alternatieve organisaties toelaten, zal onder invloed van het tempo de ene interpretatie boven de andere verkozen kunnen worden, gerelateerd aan de "preferred rate" voor beats.

Als we luisteren naar een muziekuitvoering dan bevat die veel meer informatie dan de geïdealiseerde partituur. Musici voegen allerlei continue betekenisvolle variaties toe, gezamenlijk gegroepeerd onder de noemer expressie (Clarke, 1987). Expressieve timing bijvoorbeeld (de subtiele structuur van tempovariatie en asynchronie waarover de musicus een hoge mate van controle heeft) is een rijke bron van informatie over de structurele aspecten van de gespeelde muziek, zoals metrum en beat (Sloboda, 1983). Deze informatie kan het beat-inductie proces ondersteunen of zelfs sturen.

De mechanische traagheid van het bewegingsapparaat bij het geven van een respons (zoals het meetikken met de voet) noodzaakt tot anticipatie. Zo maakt de feitelijke "embodiment" of belichaming van het abstracte proces van beat-inductie &endash;in de concrete vorm van de directe aansturing van bijvoorbeeld een robotvoet door de computer&endash;, planning noodzakelijk.

Er zijn, tenslotte, nog verschillende aspecten die niet aan de orde geweest zijn. Bijvoorbeeld de invloed van toonhoogte, met name melodische herhaling (Simon & Sumner, 1968; Steedman, 1977) en harmonie. Ook andere parameters, zoals timbre en dynamiek, kunnen het beat-inductie proces beïnvloeden. In deze studie beperken wij ons echter tot temporele patronen.

Regel-gebaseerd. In regel-gebaseerde systemen, een veel gebruikte opzet in het artificiële intelligentie (AI) onderzoek, worden procedurele aspecten van kennis expliciet beschreven in de vorm van een verzameling regels die samen een probleem kunnen oplossen. Elke regel bestaat uit een conditie, dit is een patroon dat in de invoer en de toestand van het systeem herkend kan worden, en een actie die dan toegepast moet worden en de toestand kan modificeren.

Hoewel elke regel op zich simpel en expliciet is, is het gedrag van dit soort systemen niet goed van te voren te voorzien. Het uiteindelijke gedrag van het systeem wordt immers bepaald door de volgorde van toepassing van de regels. en de interactie ertussen. Juist deze aspecten worden impliciet gelaten. Dat maakt het vaak moeilijk te redeneren over deze systemen. Hoewel in de individuele regels de kennis van het domein intuïtief kan worden vormgegeven, zoals dat bijvoorbeeld gedaan is door Longuet-Higgins & Lee (1982), is onvoorziene interactie tussen de regels het grote nadeel van deze benadering.

Optimaliseren. Het probleem van beat-inductie kan ook worden geformaliseerd als het kiezen van de best passende beat bij het muzikale materiaal uit alle mogelijke oplossingen. Als we een maat kunnen geven voor ‘goodness-of-fit’ of ‘passendheid’ en mogelijk ook een apriori wenselijkheid van een bepaalde beat, dan kan met deze methode de beat geoptimaliseerd worden. Povel & Essens (1985) gebruikten deze aanpak en definieerden de mate van passendheid op grond van de notie van subjectief accent, waarbij dus niet alle individuele noten even belangrijk zijn. Ambiguë patronen kunnen in dit formalisme op een natuurlijke manier beschreven worden door dat ze een gelijke waardering aan verschillende beats opleveren. Het is echter een vrij abstracte methode. Er wordt geen luisterproces gemodelleerd: de beste beat wordt gekozen voor een min of meer globaal fragment. Deze methode wordt daarom ook vaak toegepast voor cyclische patronen waarbij een natuurlijke keuze van het fragment voorhanden is (i.e. één periode).

Connectionistisch. Dit sub-symbolische paradigma kan gezien worden als een uitbreiding op de optimalisatie benadering. In dit type modellen zijn een relatief groot aantal eenvoudige cellen met elkaar verbonden, elke verbinding met een bepaalde sterkte. Elke cel heeft een eigen activatie niveau en de verbindingen maken wederzijdse inhibitie mogelijk. De cellen kunnen bijvoorbeeld de verschillende beat-hypotheses en hun ‘juistheid’ representeren, zoals in het model van Miller, Scarborough & Jones (1992). Voor een specifiek patroon geeft de cel met de meeste activatie de best passende beat. Doordat de activatiepatronen geleidelijk kunnen worden opgebouwd tijdens de verwerking van de invoer en cellen met een hoge activatie (de winnaars) de anderen kunnen onderdrukken is het procesmatige karakter van het beat-inductie proces natuurlijk te modelleren.

Symbolisch zoeken. Zoeken is een van de meest gebruikte methodes uit de symbolische AI. In plaats van alle mogelijke hypothesen expliciet te representeren (zoals in de bovengenoemde benaderingen) wordt bij deze methode gezocht in de ruimte van mogelijke beats, vanuit één oplossing naar andere, mogelijk betere oplossingen. De methode laat zowel incrementeel als globale verwerking toe. De kandidaatoplossing kan bijvoorbeeld de beat zijn die tot nu toe gekozen is, en terwijl nieuw materiaal wordt verwerkt, wordt er gezocht naar betere kandidaten, gebruikmakend van één van de vele mogelijke zoekstrategieën. De specifieke zoekstrategie maakt dan vaak gebruik van kennis over muzikale structuur. Het model van Longuet-Higgins (1976) bijvoorbeeld, doorloopt de ruimte van mogelijke metra en vergelijkt een kandidaat metrum met het binnenkomende muzikale materiaal, terwijl syncopen geminimaliseerd worden. Dit model is vrij uniek omdat het de numerieke verwerking van expressieve timing combineert met symbolische beslissingen over het metrum op een hoger niveau. Het model vereist echter dat een initiële waarde voor de beat gegeven is bij de aanvang van de verwerking.

Patroon codering. Patroontalen kunnen gebruikt worden bij het beschrijven van beat-inductie in muziek. Een dergelijke codeertaal bestaat uit een alfabet (een verzameling van basis elementen) en een verzameling van operaties die samen een meer abstracte beschrijving kunnen geven van een bepaald patroon. Een patroon kan bijvoorbeeld beschreven worden als een herhaling of spiegeling van een eenvoudiger deelpatroon. Voordelen van deze aanpak is dat zaken als ritmische structuur en herhaling goed gerepresenteerd kunnen worden (Simon & Sumner, 1968). Pogingen om deze aanpak voor beat-inductie te gebruiken zijn echter relatief onsuccesvol gebleken. Met name door de complexe of, beter gezegd, onbegrepen interactie tussen ritmische en metrische structuur.

Systeem- en besturingstheorie. Beat tracking is het volgen van de beat in een gespeeld patroon met tempo variaties. Het kan geformaliseerd worden als een besturingsprobleem. Gegeven een eerste benadering van de beat kan deze doorlopend aangepast worden door middel van een schatting van de fout en een mechanisme van correctieve terugkoppeling (zie bijvoorbeeld Dannenberg & Mont-Reynaud, 1987). Systeem- en besturingstheorie leveren hiervoor de theoretische fundamenten. Ook een complex dynamische aanpak, geïnspireerd op gekoppelde oscillatoren, wordt wel gebruikt om een beat-tracker met een geavanceerde fout- en zekerheidsmaat te beschrijven (Large, 1994; Large & Kolen, 1994). Een probleem bij deze methode is dat ze "doof" is voor het materiaal binnen elke beat, terwijl dat ook informatie over het tempoverloop bevat.

Gedistribueerd. Een alternatief voor de symbolische formalismes is een methode die gebaseerd is op een sub-symbolische, gedistribueerde representatie van de data. Door het relatief hoge niveau van abstractie verschilt deze methode van een neuronaal netwerk. Het continue, numerieke karakter van deze representatie zorgt er echter voor dat een aantal aspecten van beat-inductie natuurlijker gemodelleerd kunnen worden dan in het symbolische paradigma, zoals bijvoorbeeld ambiguïteit, expressieve timing en tempo afhankelijkheid. Desain & Honing (1994a) beschrijven een model dat beat-inductie verklaart op basis van een notie van verwachting (Desain, 1992). Door noten met hoge verwachtingen te herkennen als beat en zwaarder mee te laten wegen in het netwerk, wordt isochronie van de beat een emergente eigenschap van het gedrag van het model. Huidig onderzoek poogt te karakteriseren in hoeverre deze aanpak, zonder gebruik van expliciete representaties van bijvoorbeeld regelmaat, herhaling, metrum, of andere symbolische constructies toch gedrag van vertonen dat deze aspecten juist verwerkt.

Statistisch. Beat-inductie kan ook beschreven worden als het ontdekken van statistische regelmaat in temporeel patronen. Palmer & Krumhansl (1990) gebruiken deze benadering. Zij geven profielen die de kans aangeven dat een noot voorkomt op een bepaalde positie in een maat. Deze profielen zijn verkregen uit tellingen in een collectie van partituren. Impliciet wordt daarmee ook een methode voor metrum-detectie gegeven: de keuze van het profiel dat de hoogste waarschijnlijkheid heeft om het materiaal gegenereerd te hebben.

Ook autocorrelatie wordt gebruikt als methode om periodieke regelmaat in ritmes te detecteren en deze te relateren aan de verschillende niveaus van het metrum (Brown, 1993). Dit kan echter het proces van beat-inductie slechts partieel beschrijven: informatie over de fase van de beat wordt niet geleverd.

Minskiaans. In deze heterogene gedistribueerde aanpak wordt essentieel naar verschillende aspecten van muziek tegelijkertijd gekeken, geïnspireerd op Marvin Minsky’s notie van een "collection of specialized agents" (Minsky, 1986). Rowe (1993) gebruikt in Cypher (een systeem dat in een real-time situatie muzikaal reageert op een musicus) o.a. gelijktijdige melodische, harmonische analyses om het beat-inductieproces te helpen en vice versa. Het is onduidelijk hoe goed deze aanpak van beat-extractie is. Maar men kan zich voorstellen dat ook andere computationele modellen "open gemaakt" kunnen worden voor invloed van andere dan tijd-informatie (bijvoorbeeld luidheidsaccenten of melodische herhaling) en deze informatie dan kunnen gebruiken in het modelleren van het proces.

Musicologisch. In hun invloedrijke theorie over groepering en metrum postuleren Lerdahl & Jackendoff (1983) drie soorten accenten in muziek: phenomenologisch, structureel en metrisch. In hun theorie worden op basis van die accenten een aantal regels gegeven die de voorkeur voor een metrum beschrijven. De partituur wordt hierbij in zijn geheel beschouwd, het eigenlijke proces van de opbouw van een beat- of metrum-waarneming bij de luisteraar is geen onderwerp van studie hier. Hoewel er kritiek is geweest op de status van de theorie als een formeel model lijkt dit aspect realiseerbaar in de vorm van een computationele theorie. Maar ook hier blijft de interactie tussen de regels een probleem.

Auditief. In het zogenoemde "auditory modelling" wordt gepoogd zo accuraat mogelijk de opvang van auditive signalen door het menselijke gehoororgaan, en het deel van de cortex dat deze informatie verwerkt, na te bouwen. Hierbij wordt zoveel mogelijk informatie uit het audiosignaal zelf gehaald. Een scala van signaalverwerkingstechnieken wordt gebruikt in het extraheren van o.a. de beat direct uit het geluidssignaal (Todd, 1994). Over het algemeen lijkt deze laag-nivo aanpak te kort te schieten waar het de "top-down" aspecten van beat-inductie betreft zoals syncopering &endash; niet alle informatie zit in het audio signaal.

Wij moeten hier echter opmerken dat het indelen van de modellen min of meer kunstmatig blijft omdat vaak verschillende methoden gecombineerd worden. Ook geeft een indeling op grond van het gebruikte computationele paradigma op zich niet voldoende inzicht in de wezenlijke mogelijkheden en beperkingen van de modellen. Maar de verscheidenheid aan benadering zal duidelijk zijn.

In ons huidige werk brengen we de belangrijkste modellen van beat-inductie die gebruik maken van de verschillende formalismen in één computeromgeving samen. Een eerste stap in het karakteriseren en begrijpen van deze computationele modellen van beat-inductie is gemaakt met de familie van regel-gebaseerde modellen (Desain & Honing, 1994b). Het beschikbaar hebben van deze modellen als algoritme maakt ook een meer volledige evaluatie mogelijk dan één op basis van enkele zorgvuldig gekozen voorbeelden (een niet ongebruikelijke werkwijze in AI onderzoek). Het gedrag van deze modellen kan nu voor combinatorisch complete verzamelingen van patronen bestudeerd worden, de ruimte van alle mogelijke ritmes. Er kan zo een gedetailleerde beschrijving gegeven worden van het invoer/uitvoer gedrag van deze modellen (abstraherend van de interne details). Door karakteristieke deelverzamelingen te gebruiken (bijvoorbeeld alle strikt-metrische patronen, ritmes die te noteren zijn zonder syncopes en rusten) kan gemeten worden in hoeverre de resultaten van de modellen overeenstemmen. Op deze wijze kunnen ook andere karakteriseringen gemaakt worden van het globale gedrag van de modellen, zoals bijvoorbeeld de snelheid van beat-inductie, de correctheid, de robustheid en de optimale parameter instellingen (zie Desain & Honing, 1995).

Clarke, E.F. Levels of structure in the organisation of musical time. In " Music and psychology: a mutal regard" S. McAdams (ed). Contemporary Music Review, 1987, 2(1).

Dannenberg, R.B. & B Mont-Reynaud. Following an improvisation in real-time. In Proceedings of the 1987 International Computer Music Conference. 1987, p. 241 - 248. San Francisco: International Computer Music Association.

Desain, P. A (de)composable theory of rhythm perception. Music Perception, 1992, 9(4), p. 439-454.

Desain, P. & H. Honing. Advanced issues in beat induction modeling: syncopation, tempo and timing. In Proceedings of the 1994 International Computer Music Conference.. 1994a. San Francisco: International Computer Music Association.

Desain, P. & H. Honing. Rule-based models of initial-beat induction and an analysis of their behavior. In Proceedings of the 1994 International Computer Music Conference.. 1994b, San Francisco: International Computer Music Association.

Desain, P. & H. Honing. Computational modeling of beat induction: the rule-based approach. In AI and Music. Working Notes Interntional Joint Conference on Artificial Intelligence. (IJCAI). 1995, 1-10.

Fraisse, P. Rhythm and tempo. In D. Deutsch (ed.), The Psychology of Music New York: Academic, 1982, p. 149-180.

Large, E. W. & J. F. Kolen. Resonance and the perception of musical meter. Connection Science. 6(1). 1994. p. 177-208.

Large, E. W.The resonant dynamics of beat tracking and meter perception. In Proceedings of the 1994 International Computer Music Conference.. 1994, San Francisco: International Computer Music Association.

Lee, C. S. The rhythmic interpretation of simple musical sequences: towards a perceptual model. In R. West, P. Howell, & I. Cross (eds.) Musical Structure and Cognition. London: Academic Press, 1985, p. 53-69.

Lee, C.S. The perception of metrical structure: Experimental evidence and a model. In P. Howell, R. West, & I. Cross (eds.), Representing musical structure . London: Academic Press, 1991, p. 59-127.

Lerdahl, F., & R. Jackendoff.A generative theory of tonal music. Cambridge, MA: MIT Press, 1983.

Longuet-Higgins, H.C. & C.S. Lee. Perception of musical rhythms. Perception. 11, 1982, p. 115-128.

Longuet-Higgins, H.C. Mental Processes. Cambridge, Mass.: MIT Press, 1987.

Longuet-Higgins, H.C. The Perception of Melodies Nature , 1976, 263: 646-653. Also in Longuet-Higgins, 1987.

Miller, B. O., D. L. Scarborough, & J. A. Jones. On the perception of meter. In M. Balaban, K. Ebcioglu, & O. Laske (eds.), Understanding Music with AI: Perspectives on Music Cognition. Cambridge: MIT Press, 1992, p. 428 - 447.

Minsky, M. The Society of Mind. New York: Simon and Schuster, 1986.

Palmer, C. and C.L. Krumhansl. Mental representations of musical meter. Journal of Experimental Psychology: Human Perception and performance . 1990, 16(4), p. 728-741.

Parncutt, R. A perceptual model of pulse salience and metrical accent in musical rhythms. Music Perception, 1994, 11, p. 409-464.

Povel, D.J. & P. Essens. Perception of temporal Patterns. Music Perception. 1985, 2(4). p. 411-440

Rosenthal, D. Emulation of human rhythm perception. Computer Music Journal, 1992, 16 (1), 64-76.

Rowe, R. Interactive Music Systems: Machine Listening and Composing. MIT press: Cambridge, 1993.

Simon, H. A. & R. K. Sumner. Pattern in music. In B. Kleinmuntz (ed),Formal representation of Human Judgement. New York: John Wiley, 1968.

Sloboda, J. The communication of musical metre in piano performance. Quarterly Journal of Experimental Psychology , 1983, 35.

Steedman, M. The perception of musical rhtyhm and metre. Perception . 1977, 6. p. 555-569.

Todd, N. P. M. The auditory "primal sketch": A multi-scale model of rhythmic grouping. Journal of New Music Research, 1994, 23(1).

Vercoe, B. The synthetic performer in the context of live music. In Proceedings of the 1985 International Computer Music Conference. 1985. p. 199-200. San Francisco: Computer Music Association.