In highly complex sources of data for pattern recognition, like audio, it is hard to obtain a set of information that is both extensively annotated and includes the wide variety of interfering noises that real life applications would encounter. In order to address these issues, information sharing techniques were devised, known as multi-task learning. These forms of learning algorithms learn multiple tasks at the same time, sharing numerical updates of their parameters. By doing this, a whole new amount of opportunities are opened up to mix and match tasks and datasets and the amount of applications of this are growing. However, while more and more promising results have been achieved using multi-task set-ups, there is an added amount of developmental complexity by having to deal with multiple datasets and tasks. This complexity grows signicantly the more dierences there are in the combinations. Furthermore, research requires experimentation and comparison of dierent set-ups, which is quickly complicated by the combinations, compared to single task set-ups. In order to promote research in this eld, these developmental roadblocks must be cleared up. So far however, no framework seems to aid in the development of multi-dataset, let alone multi-task set-ups. This work addresses the technical diculties in implementing, evaluating and experimenting with multi-task set-ups. By devising the multi-task set-up as a pipeline going from the raw datasets to trained and evaluated models with interchangeable parts, a framework is built that brings the development closer to single dataset, single task learning set-ups. The idea is for developers to only have to focus on implementing single pipeline parts, with the freedom to assemble and re-assemble them without having to worry about the combinatorial problems. This starts by investigating the current literature, where the elds in audio recognition and multi-task learning are analysed, specically for how and what they research and consecutively how these areas came together. Frameworks for the development of deep learning are also examined, determining which lessons to take in tackling this issue and nding the current state of aairs. This study provides the basis for the developmental software framework, CombinaTorch, built on top of PyTorch, that allows free assembly of multi-task pipelines. The framework is subsequently used to implement several set-ups described in the literature, where their comparative reduction in amount of work is assessed. In order to validate the expressiveness of the framework, another delve into the literature is made, discussing several scenarios and their implementation viability with the framework.

Tata Steel IJmuiden, een bedrijf gespecialiseerd in het produceren van kwalitatief staal, is bezig met het digitaliseren van meerdere componenten van hun productieproces. Aan het eind van dat productie proces controleren menselijke inspecteurs of de geproduceerde rollen staal kwalitatief voldoen aan de eisen van de klant. Om dit werk te standaardiseren hanteren deze inspecteurs een aantal kwaliteitsniveau die specificeren welke productiefouten al dan niet aanwezig mogen zijn voor de toepassing van de klant. De inspecteurs worden opgeleid om te weten welke staalfouten al dan niet acceptabel zijn voor elk kwaliteitsniveau en hoe deze staalfouten eruit zien. Deze kennis wordt elk jaar getest door middel van een zogenaamde Measurement System Analysis (MSA) test. Tata Steel heeft het ontwikkelteam gevraagd om deze test te digitaliseren en te gamificeren. De grootste voorwaarde aan deze digitale versie is dat hij statistisch equivalent blijft aan het uitvoeren van een fysieke MSA. Deze thesis bespreekt hoe het onderzoek is verlopen naar zowel de digitalisatie als de gamificatie van de test. Als onderdeel hiervan wordt uiteen gezet welke opties zijn overwogen om de test zo goed mogelijk te vertalen naar een digitale versie. Bij deze digitalisatie is zowel gekeken naar de inspecteurs die de test maken als de begeleiders die de test opzetten. Daarnaast is er onderzoek gedaan naar het gamificeren van de test en zijn er 2 brede richtingen gevonden die het bedrijf kan volgen qua gamificatie: gamificeren en serious games. Ook is er onderzocht of er een patroon te vinden is karakter van de inspecteurs en of het ontwikkelteam hier gebruik van kan maken in het evalueren van mogelijke spelelementen die als toevoeging kunnen dienen. Dit patroon bleek te bestaan, aangezien het grootste deel van de inspecteurs hetzelfde Keirsey temperament hadden. Dit temperament is vervolgens terug geleid naar het Achiever spelerstype van Bartle. Deze termen en de consequenties hiervan worden uitgelegd in 2.3. Na het onderzoek bespreekt dit rapport welke uiteindelijke implementatie het team heeft gekozen. Hierbij is afleiding van het keuren zelf zoveel mogelijk vermeden. Daarom heeft het ontwikkelteam gekozen voor een oplossing die een spel creëert rondom het keuren, in plaats van het keuren zelf vermakelijker te maken. Hiermee wordt bedoelt dat het beoordelen van een plaat wordt gedaan in een omgeving waar het spel geen externe druk probeert te leggen op de inspecteur. Hiervoor is gekozen met het oog op de statistische equivalentie die de digitale test moest behouden. Het systeem is getest op deze statistische equivalentie door de resultaten van inspecteurs op de digitale test te vergelijken met die van de fysieke test. Hieruit is geconcludeerd dat het digitale systeem een bruikbaar alternatief is voor het uitvoeren van een fysieke MSA. Hierbij dient wel vermeld te worden dat dit onderzoek gelimiteerd is qua omvang. Het uitvoeren van verdere testen wordt dan ook geadviseerd. Ten slotte behandelt dit rapport de lessen die het ontwikkelteam heeft geleerd van dit project en doet het team aanbevelingen voor verdere ontwikkeling van het programma. Door middel van het toevoegen van enkele elementen kan Tata Steel op basis van dit werk een aantal interessante richtingen uit. Het eindproduct van deze thesis wordt dan ook voornamelijk beschouwd als een prototype waarop latere evolutie van het programma kan voortbouwen.