Mens akkorderne fra Pink Floyds "Another Brick in the Wall" fyldte hospitalsstuen, registrerede hjerneforskere fra UC Berkeley flittigt aktiviteten fra de 2668 elektroder, de havde fordelt på hjernen af 29 epilepsipatienter.
Formålet var at genskabe, hvad patienterne hørte ved at opfange aktivitet i de områder af hjernen, der blandt andet registrerer musikkens melodi og rytme.
Og nu, mere end et årti senere, er det for første gang lykkes forskere at oversætte hjernebølger til en genkendelig sang.
Forskerne genskabte sangen ved at træne en kunstig intelligens til at analysere såkaldte neurale mønstre i patienternes hjerne, mens nummeret blev spillet.
Elektroderne overvågede aktivitet fra patienternes såkaldte auditive cortex - et område i hjernen, der bearbejder alle aspekter af lyd, vi mennesker hører.
Ved at sammenligne hjerneaktiviteten i netop det område med sangens lyde opdagede forskerne ikke blot neurale mønstre forbundet med særlige ord, men også med tone, rytmer, betoning og intonation.
Med den information udviklede forskerne en computermodel, der kunne afkode sammenhænge mellem sangen og det, der foregik i patienternes auditive cortex.
Kunstig intelligens giver hjernen et instrument
Fordi den trænede computermodel med tiden kunne genkende, hvilke mønstre i hjerneaktiviteten, der svarede til hvilke musikalske træk, kunne forskerne i sidste ende rekonstruere hjernens egen version af det legendariske hit i et spektrogram, som er en grafisk afbildning af lyde, der blandt andet viser lydes frekvens, længde og lydstyrke.
Sangens rytme og melodi synes intakt i den genskabte sang.
Og selvom ordene er mudrede, kommer sætningen "All in all, it's just another brick in the wall" igennem. Hvis man ved, hvad der kommer, er sangen genkendelig.
Kort lydklip af Pink Floyd-sangen "Another Brick in the Wall" afspillet for forsøgspersonerne
Rekonstruktion af sangen ud fra elektrisk aktivitet i hjernens auditive cortex
"Det lyder lidt, som om de taler under vandet, men det er også kun vores første forsøg. Potentialet er enormt," siger Robert Knight, der er neurolog og professor i psykologi ved UC Berkeley, i en pressemeddelelse.
Forskerne sigter mod at udvikle teknologi, der gør det muligt for patienter, som har mistet evnen til at tale, at kommunikere mere naturligt.
‘’Ved at forstå, hvordan hjernen repræsenterer de musikalske elementer i tale, herunder tone, rytme og lydstyrke, kan vi nemmere lave taleapparater, der lyder mindre robotagtige,’’ siger Knight.