Warning: Undefined array key "bio" in /home/techwatch/domains/test.bits-chips.nl/public_html/wp-content/plugins/wpcodebox2/src/Runner/QueryRunner.php(126) : eval()'d code on line 13
Author:
Reading time: 2 minutes
Belgische en Spaanse onderzoekers hebben een manier uitgedokterd om neurale netwerken voor bijvoorbeeld spraakherkenning radicaal te vereenvoudigen. In plaats van een grote verzameling aan rekeneenheden gebruiken zij er slechts eentje, maar dan met een kleine toevoeging: een terugkoppellus met tijdsvertraging. Lennert Appeltant van de Vrije Universiteit Brussel en zijn collega‘s van de Université Libre de Bruxelles, de Universiteit Gent en het Spaanse Ifisc schrijven dit in Nature Communications.
De nieuwe methode is een variant op reservoir computing, een manier om geavanceerde neurale netwerken te maken die inputsignalen aan de juiste groep kunnen plaatsen. Bij spraakherkenning bijvoorbeeld moet de computer het gemeten geluid aan de juiste klank toekennen. Bij reservoir computing is er een verzameling (reservoir) van rekenelementen die op willekeurige manier met elkaar verbonden zijn. Deze rekenelementen zijn min of meer gemodelleerd naar hersencellen (neuronen): ze integreren meerdere inputsignalen met elkaar op niet-lineaire wijze tot een enkel uitgangssignaal, dat weer wordt gebruikt als input voor andere ’neuronen‘. In het netwerk zijn circulaire verbindingen toegestaan, zodat een input een tijdje kan rondzingen – het systeem heeft een kortetermijngeheugen. De output wordt opgesteld door het signaal van een aantal willekeurige neuronen met elkaar te integreren. Tijdens een trainingsfase wordt bepaald hoe zwaar elk van deze neuronen moet worden meegewogen.
De netwerken presteren goed, maar hebben als nadeel dat er relatief veel componenten aan te pas komen. De Belgische en Spaanse onderzoekers stellen echter voor om het netwerk te vervangen door een enkel neuron dat zijn uitgangssignaal via een lus op zichzelf terugkoppelt. De truc is dat het uitgangsignaal er een tijdje over doet om door de terugkoppellus te reizen. Ook met deze architectuur kan een input dus een tijdje blijven rondzingen. In plaats van verschillende neuronen worden verschillende plekken in de lus gebruikt om het eindresultaat te construeren – omdat het signaal er een tijdje over doet om rond te reizen, zijn er in de lus verschillende toestanden te vinden.
De onderzoekers toonden aan dat de architectuur net zo goed presteerde als een traditioneel reservoir bij taken als het herkennen van gesproken cijfers en het voorspellen van getallen in een reeks. Het ene neuron dat de berekening uitvoert, moet wel krachtiger zijn dan bij een standaard reservoir, want veel van de parallelle rekenkracht in een traditioneel netwerk gaat verloren. Maar zelfs dan is er aanzienlijk minder hardware nodig om dezelfde resultaten te bereiken.
