Stochastisch ic kan deep learning versnellen

IBM heeft een plannetje gelanceerd voor een asic die met resistief geheugen het trainen van diepe neurale netwerken aanzienlijk kan vergemakkelijken. Deze stap is zeer rekenintensief – in tegenstelling tot het toepassen van een eenmaal ingesteld netwerk. Voor het trainen van grote en diepe netwerken moet nu veelal ruimte in een datacentrum geboekt worden. IBM denkt het proces met zijn ontwerp echter met ordegroottes te kunnen versnellen.

Diepe neurale netwerken bestaan uit grote aantallen knooppunten georganiseerd in lagen, waarbij elk knooppunt in de ene laag verbonden is met alle knooppunten in de volgende laag. Tijdens de trainingsfase wordt aan de hand van voorbeelddata bepaald hoe belangrijk elke verbinding is. Aan de basis hiervan ligt het backpropagation-algoritme, dat uit drie stappen bestaat. Eerst wordt het netwerk ‘gewoon’ toegepast op een van de voorbeeld-inputs en bekeken wat de waarde van elk knooppunt wordt. Vervolgens wordt het netwerk achterstevoren doorlopen met de gewenste output om te bepalen wat de waarden voor alle knooppunten zouden moeten zijn. Aan de hand van het verschil tussen waargenomen en gewenste waarden, worden alle verbindingen bijgesteld. Dit proces wordt net zolang herhaald met nieuwe voorbeelden totdat het netwerk fatsoenlijk presteert.

IBM’s voorstel bouwt voort op eerdere ideeën om een geheugenmateriaal met instelbare weerstand te gebruiken voor dit proces, bijvoorbeeld het materiaal in pcm- of rram-geheugens. Dit wordt aangebracht op de kruispunten van een crossbar. De weerstand op elk kruispunt vertegenwoordigt vervolgens de waarde van de verbindingen, en voltages vertegenwoordigen de inputs en outputs. Met deze opstelling kunnen alle onderlinge verbindingen in een keer worden doorgerekend, dus de eerste twee stappen zijn in een vaste tijd uit te voeren.