Wiskundige teststrategie belooft weken winst in doorloop

Reading time: 10 minutes

Author:

Bij ASML in Veldhoven keken twee researchers met frisse blik naar de test- en integratiefase. Ze kwamen erachter dat de machinefabrikant mogelijk weken winst kan behalen op de totale doorlooptijd van zijn waferscanners. Dat is kassa voor ASML, maar ook voor zijn klanten. Een nieuwe teststrategie brengt in Veldhoven mogelijk een kleine revolutie teweeg. Iedere doorgewinterde software-ingenieur heeft er zijn eigen horrorverhalen over: het moment waarop de code perfect voor mekaar lijkt, maar de machine toch geen krimp geeft. Of dat het systeem na een bloedig integratietraject van een jaar de vereiste prestaties niet haalt.

Systeemingenieurs krijgen er geheid mee te maken. Met bloed, zweet en tranen schroeven ze hun machines in elkaar, maar op het einde blijft er iets rammelen. Onverwachte problemen steken de kop op. Altijd maar die stress van de deadline. Het werkt vaak wel, maar het duurt eeuwen voordat alles perfect draait. Om maar niet te spreken van al die noodoplossingen die de softwareploeg er in een paar dagen tijd moet uitwringen.

Of hij nu bij ASML of Thales werkt, iedere technicus herkent test en integratie als een onbestuurbaar, onbegrepen fenomeen. Wat doen ze verkeerd? Tammo van den Berg, hoofd softwareontwikkeling bij ASML, zei twee jaar geleden in Bits&Chips dat hij geen zin had om een complex CMM-traject (Capability Maturity Model) in te voeren. ’Het is zeer kostbaar, je moet jaren investeren en het is de vraag of het helpt.‘ Van den Berg, nooit te beroerd om tegen heilige huisjes te trappen, vond destijds ook dat de academische wereld nog weinig openstond voor de problemen van machinebouwers als ASML. ’Wetenschappers vonden altijd dat er geen academisch vlees aan zat. Het was een kwestie van beheer. Als wij ons werk maar goed deden, dan zou het allemaal wel in orde komen. Leuk gezegd, maar daarmee loste ik mijn probleem niet op.‘

Met het Embedded Systems Institute lukte het in 2003 wel. Binnen het vierjarige project Tangram behandelen ASML, ESI, RU Nijmegen, S&T, TU Delft, TU Eindhoven, TNO-TPD en de UT test en integratie als één grootschalig probleem en niet als een verzameling abstracties. Via de regeling Technologische Samenwerking kregen de partners van het ministerie van EZ 2,34 miljoen euro subsidie.

Tientallen miljoenen besparen

Krap twee jaar na de start van Tangram kan ASML al met een deelresultaat naar buiten komen. Simulaties van Roel Boumen (TUE) en zijn collega Ivo de Jong (ASML) laten zien dat met het volgen van nieuwe teststrategieën de gemiddelde testtijdreductie tot ruim 20 procent kan oplopen. Dat betekent een verkorting van 6 tot 10 procent van de totale doorlooptijd van een waferscanner.

Dat is nogal wat. In de praktijk kan dat een verkorting van de doorlooptijd met enkele weken betekenen. Voor klanten is de winst aanzienlijk. De dagproductie van een chipfabriek bedraagt al snel een tot enkele miljoenen euro‘s. Wie een waferfab enkele weken eerder kan optuigen verdient al snel enkele scanners – met prijskaartjes van tientallen miljoenen euro‘s – terug.

Zo‘n resultaat is bijzonder voor een researchinspanning die nu amper twee jaar loopt. Niet voor niets zijn bij ASML intussen een aantal vice-presidenten van een aantal sectoren betrokken. ’Zij steunen dit en helpen Roel en Ivo om dit veranderingsproces in te gaan‘, zegt Van den Berg, wanneer hij samen met de twee heren op zijn kamer in gebouw 7 uitlegt dat er in Veldhoven een kleine revolutie ophanden is.

Maar eerst nog even wat achtergronden. Bij het ontwerpen en in elkaar zetten van zijn machines hanteert ASML het klassieke V-model. De linkerpoot van de V staat voor het traject van machine-idee naar het ontwerp van monodisciplinaire modules. In die fase brengen ontwerpers het apparaat terug tot behapbare brokken. Eerst definiëren ze subsystemen zoals een lenzenkolom of een waferstage. Die ontrafelen ze vervolgens in monodisciplinaire modules zoals de informatieverwerking van een hoogtesensor of een lineaire-motoraansturing. Elektronici, software-ingenieurs, werktuigbouwers en optische specialisten ontwerpen vervolgens de submodules.

Daarna volgt de klim omhoog op de andere V-poot. Ingenieurs testen daarin de monodisciplinaire modules en integreren ze daarna tot werkende subsys-temen. Zoals gezegd: die fase is een lijdensweg.

Bij de start van Tangram legde Van den Berg al uit waarom hij juist in de test- en integratiefase – de rechterkant van de V – de grote winst zag. ’Specificeer beter, roept iedereen al twintig jaar. Daardoor richt alle aandacht zich op de linkerkant van het V-model, op codegeneratie, betere tools, formele verificatie, enzovoorts. Maar hoe je het ook wendt of keert, we houden die problemen. Met goed specificeren maken we soms de verkeerde dingen. Dus houden we in negen van de tien gevallen een testprobleem over. Daarom gaan we het niet met tools of specificaties oplossen, maar in test en integratie‘, aldus Van den Berg twee jaar geleden.

De kleine series hooggespecialiseerde machines zorgen bij ASML voor een eigen integratieproblematiek. Anders dan consumentenelektronica of auto‘s zijn langdurige levensduurtests uitgesloten. ASML lost dat op door snel zoveel mogelijk informatie uit de systemen te halen. ’Als de machine in elkaar zit, moet je niet alleen bewijzen dat hij functioneel werkt. Je moet ook laten zien dat hij productie kan draaien‘, zegt Ivo de Jong, die voor zijn Tangram-tijd betrokken was bij integratieprojecten voor de Twinscan en de voorloper PAS5500. ’In het begin draaien die machines tien uur voor ze uitvallen, maar dat moet naar honderden uren. Bij het debuggen en integreren moeten we op een gegeven moment de overstap maken naar productietests. Tijdens het proefdraaien kan blijken dat de machine bij specifieke foutmeldingen niet hoeft te stoppen. Als we niet om de fout heen kunnen, dan moeten we het ontwerp aanpassen om de machine robuuster te maken.‘

Introductietraining

Ook de Tangram-researchers moesten van de specifieke ASML-problematiek doordrongen zijn. Nadat in 2003 de juiste mensen aan boord waren, kregen ze alle zestien de ASML-introductietraining. ’Ook de betrokken hoogleraren hebben onder het systeem gelegen‘, zegt Van den Berg. Dat het project in Veldhoven on site draait, vindt hij nog steeds cruciaal. ’De jongens en meisjes van Tangram moeten als een hecht team aan een project werken.‘ Ivo de Jong: ’We moesten het samen eens zijn over het probleem. Zo doen wij concurrent engineering, zoveel mogelijk parallel doen. De time-to-market dwingt dat af.‘

De Tangram-onderzoekers gingen in de startfase op bezoek bij een breed spectrum grote bedrijven om te kijken hoe test en integratie daar verliep. ’We hebben gekeken wat er zo speciaal was aan de time-to-market voor chips, satellieten, telecomsystemen en vliegtuigen. Zo is voor Motorola standaardisatie key. Daarom zitten ze heel vroeg in standaardisatiecommissies. Is een standaard als GSM er eenmaal, dan kun je ook gelijk je test uitvoeren om je nieuwe telefoontjes geaccepteerd te krijgen. Daarvoor loop je enkele tienduizenden testcases af. Altijd, zonder discussie. De truc is standaardisatie. Satellieten zijn weer fundamenteel anders. Daar gaat het puur om kwaliteit en minder om time-to-market. Elke chip en elk boutje zetten ze daar op de trilbank.‘ De rondgang leidde bij ASML tot een beter inzicht in de eigen test- en integratiekeuzes. ’Het gaf ons zicht op onze unieke werkwijze, waardoor we ook beter konden aanpassen en optimaliseren‘, aldus De Jong.

Niet alleen ASML‘s pilotmachines gaan door een testtraject. Iedere machine wordt afzonderlijk getest, afgeregeld en klaargemaakt voor productie. De subsystemen als wafer- en reticlestages, handler en illuminator zijn vrij groot, met multidisciplinaire elementen als mechanica, software, elektronica en optica. De Jong: ’Alleen al de waferstage was voor de Twinscan een heel groot project. Vanaf het eerste concept loopt dat parallel met andere projecten. Op één moment in de tijd komt die stage samen met duizenden andere componenten. Voor satellieten hebben ingenieurs de tijd om elke component volledig uit te ontwikkelen, volledig te testen, volledig te integreren en daarna het volgende onderdeel te nemen. Bij ons is het de uitdaging om alles zo parallel mogelijk te doen.‘

Testvolgorde

Het Tangram-deelonderzoek van Boumen en De Jong richtte zich op teststrategie, waaronder de testvolgorde. ’Je hebt honderd testprocedures met duizenden testcases. In welke volgorde ga je die doen? Dat is in wezen een hele essentiële vraag‘, zegt Roel Boumen. ASML hanteerde jarenlang standaard procedures met standaard volgordes om zijn machines te testen. ’Verbazingwekkend genoeg kun je best met die volgorde spelen‘, zegt Boumen, die inmiddels anderhalf jaar als aio vanuit de TUE-vakgroep Systems Engineering van de faculteit Werktuigbouwkunde bij Tangram betrokken is. ’De hele volgorde is historisch ontstaan, maar er is niets op tegen om die steeds opnieuw aan te passen.‘

Voor de testfase is er de vaak gehanteerde 80/20-regel. Boumen: ’Vier op de vijf gevallen test je, maar je laat 20 procent van het risico over voor de volgende testfase en zo verder. Aan het eind hoop je dat je 0 procent overhoudt, maar in de praktijk blijft er natuurlijk altijd wat hangen. Dus als je honderd testcases moet uitvoeren, laat je de laatste twintig minst risicovolle zitten. Die pak je op een hoger niveau.‘

Boumen geeft als voorbeeld de kalibraties die nodig zijn voor de tafels waarop de silicium plakken komen te liggen. De machine moet de positie van een waferstage met grote precisie weten en eventueel bijstellen. Niet alleen de nauwkeurigheid maar ook de insteltijd wisselt per machine. Boumen: ’Je maakt een vingerafdruk van de stage en zijn gedrag, zodat je kunt corrigeren in de software.‘

Een voorbeeld van een test op hoog niveau is hoeveel wafers de machine per uur kan belichten. ’Haalt de machine die ik nu opbouw in de fabriek wel 110 of 120 plakken per uur? Dat is een standaard test. Maar voor elke machine is het resultaat anders. Door verschillende afregelprocedures, verschillen in onderdelen zoals de intensiteit van de laser en ga maar door. Als alles nét een beetje schuin staat, dan moet het systeem een nieuwe alignmentslag maken om de wafer recht te leggen. Dan is hij net wat langer bezig.‘

Zo hebben honderden onderdelen invloed op de uiteindelijke prestaties en de betrouwbaarheid van de machine. Die kunnen testingenieurs in een tijdrovend proces allemaal aflopen, maar de ervaring kan leren dat een specifiek onderdeel zo betrouwbaar is dat het eigenlijk altijd door de test komt. In het uitzonderlijke geval dat er toch iets mis is, kan het mankement op een hoger niveau een spaak in het wiel steken en alsnog worden ontdekt. Boumen en De Jong stellen voor om gebruik te maken van testervaring en inschattingen en die dynamisch te verwerken in mathematische modellen. ’In het meest extreme geval doe je één test: je kijkt of de machine voldoende wafers belicht. Als dat zo is, kunnen een heleboel tests op detailniveau worden overgeslagen‘, aldus Boumen.

Als een test op hoger niveau faalt, dan moeten ingenieurs wel afdalen naar een lager niveau. Boumen: ’Je moet dan de laser of andere kleinere details testen op hun specificaties. Op bijvoorbeeld doorvoer zijn vele tests van toepassing. Daar zit precies het selectieprobleem: op welk niveau beginnen we met testen en hoe gaan we verder? Die vraag schrijven we wiskundig op, zodat we kunnen uitrekenen welke richting interessant is. Hier rolt een teststrategie uit.‘

Met hun wiskundige model kunnen Boumen en De Jong steeds uitrekenen wat ze moeten testen na de vrijgave van een subsysteem en wat het oplevert in de totale kwaliteit aan het eind. ’Je kunt je bijvoorbeeld ook afvragen of je de 80/20-regel moet volgen‘, zegt Boumen. ’Je kunt kijken wat het oplevert als je 70 procent of 90 procent test en 30 of 10 procent doorschuift. Meer of minder testen op subniveau kan tijd opleveren op het einde. Naar dat soort spelletjes zijn we anderhalf jaar geleden gaan kijken.‘

Het in elkaar zetten van een machine in Veldhoven is maar een deel van het verhaal. Daarna gaan de scanners in stukken met het vliegtuig naar chipfabrikanten. Daar aangekomen begint het hele verhaal opnieuw. Voordat het apparaat weer op volle snelheid met nanometernauwkeurigheid chips kan belichten werken ASML‘s ingenieurs in de waferfab de hele riedel opnieuw af. In het ergste geval duurt de eindinstallatie even lang als de integratie in Veldhoven. Boumen: ’We steken het in Taiwan weer in elkaar en wat blijkt? Er klopt helemaal niets van. Dus lopen we weer alle driehonderdvijftig tests af. Op dit moment is er eigenlijk nauwelijks verschil tussen de testfases in Nederland of Taiwan. Wij stellen nu als het ware een wat flexibelere aanpak voor. Als in Veldhoven de meeste fouten er al uit zijn gehaald, dan kun je in Taiwan gerust wat meer risico nemen en enkele tests overslaan. De machine is immers veel beter. Je bent veel sneller als je een flexibele opstelling kiest in volgordes en testselecties.‘

De Jong: ’In wezen bouwen testers vertrouwen op. Vergelijk het maar met een autofabriek waar ze kijken of de bandenspanning goed is, de ramen en portieren opengaan en of de ontsteking van de motor goed is afgesteld. In onze aanpak starten we als het ware de auto en kijken of hij rijdt. Als de waferscanner het niet doet, dan gaan we fijnmaziger diagnosticeren. Traditioneel werk je van onderaf alles af. Maar de echte killer om doorlooptijd te winnen is ervan uitgaan dat hij het doet. Hij heeft het immers al een keer gedaan. Ik doe nog wel een aantal dingen over, maar hij doet het gewoon. Met ervaringskennis kan ik ervoor kiezen om enkele stappen in het proces over te slaan. Dat helpt ons om echt te versnellen.‘

Boumen: ’Eigenlijk doen mensen met heel veel verstand van onze machines precies hetzelfde. Die doen het op onze manier. Experts onder tijdsdruk nemen ook aan dat een aantal zaken wel goed zal zitten. Ze beginnen op een hoger niveau. Technici met minder ervaring werken volgens de procedure stap voor stap de machine door. Dan duurt het gewoon langer. Experts kunnen een machine binnen drie weken afleveren, terwijl het normaal zes weken duurt. Als wij dat met deze nieuwe werkwijze altijd kunnen, dan zijn we heel blij.‘

Voor Roel Boumen en Ivo de Jong ligt er nu vooral een taak om hun teststrategie te verkopen. ’In wezen hebben ze blootgelegd dat een totaal andere testsequentie is te rechtvaardigen. Dat het compleet anders kan en dat je daarmee doorlooptijd wint‘, zegt Van den Berg. ’Het is nu aan die twee om de goede data op tafel te leggen. Persoonlijk vind ik dat de wetenschap niet tevreden mag zijn met een keurig boekje publicaties. Laat maar in de praktijk zien dat het werkt en pas je theorie zodanig aan dat het succesvol kan zijn.‘

Goede gewoontes kunnen ingesleten raken, zo lijkt een van de belangrijkste lessen uit het onderzoek. De uitdaging is echter om de oplossing ook te ’verkopen‘ aan de rest van de ASML-organisatie. Van den Berg: ’De huidige aanpak werkt. ASML is er niet voor niets groot mee geworden. Wij denken, en zij denken zeker te weten, dat we het bedrijf hiermee een dienst bewijzen. Ook al hebben we alle steun op sectorniveau, dit brengt veranderingen mee. We realiseren ons dat het misschien wat langzamer zal gaan dan we graag zouden willen.‘

`