Jaarlijks worden er in Nederland miljoenen appels geoogst die voordat ze naar de consument gaan, gesorteerd moeten worden. Dit gebeurt deels door de sorteermachine en deels met de hand. Twee studenten van Fontys stellen op basis van hun onderzoeksbevindingen dat het met behulp van deep learning mogelijk moet zijn om de kwaliteit van appels te bepalen en de appels vervolgens op basis van deze factoren te scheiden. De machine zorgt er met een rollenbaan en sorteercamera’s voor dat de appels met de juiste maten door de juiste uitgangen naar buiten komen. Het is vervolgens mensenwerk om de appels op de kwaliteit te controleren.
IN HET KORT
Dit is de kop
Jaarlijks worden er in Nederland miljoenen appels geoogst die voordat ze naar de consument gaan, gesorteerd moeten worden. Dit gebeurt deels door de sorteermachine en deels met de hand.
Dit is de kop
Twee vierdejaars studenten mechatronica van Fontys Hogeschool, onderzochten in opdracht van Fruitteeltbedrijf Stappers Baarlo of het sorteerproces op kwaliteit van appels kon worden geautomatiseerd d.m.v. deep learning.
Dit is de kop
Om objecten te kunnen detecteren, moet de software eerst weten hoe het desbetreffende object eruit ziet. Hiervoor worden objecten gelabeld. In dit geval ging het om appels en kwaliteitsfactoren, waarvan de labels vervolgens aan het deep learning algoritme gegeven worden, zodat het systeem kan ‘trainen’
Felix van der Heijden en Jelle Stappers, destijds vierdejaars studenten mechatronica van Fontys Hogeschool Techniek & Logistiek in Venlo, onderzochten in opdracht van Fruitteeltbedrijf Stappers Baarlo of het sorteerproces op kwaliteit van appels kon worden geautomatiseerd. Daarbij wilden ze gebruikmaken van de techniek deep learning. Deep learning is een vorm van artificial intelligence, waarmee objecten automatisch gedetecteerd kunnen worden. Dit wordt gerealiseerd door een camera met een deep learning-applicatie in de sorteermachine te plaatsen, waardoor de machine zelf de goede van de slechte appels kan onderscheiden. Hierna kan het acties uitvoeren om op kwaliteit te sorteren.
Labels en weights
Om objecten te kunnen detecteren, moet de software eerst weten hoe het desbetreffende object eruit ziet. Hiervoor worden objecten gelabeld. In dit geval ging het om appels en kwaliteitsfactoren, waarvan de labels vervolgens aan het deep learning algoritme gegeven worden, zodat het systeem kan ‘trainen’. Tijdens deze training worden afbeeldingen met elkaar vergeleken om gewichten (weights) toe te kennen aan allerlei eigenschappen, zoals kleur en vorm. Het uiteindelijke resultaat is een “classes”- en een “weight”-bestand waarmee het algoritme objecten kan herkennen.
Er werd gekozen voor de software / deep learning applicatie Yolo (you only look once), omdat hiervan al kennis was opgedaan. In combinatie met Qt Creator (een Integrated Development Environment) zou het mogelijk moeten zijn om de kwaliteit van appels te detecteren.
“Om appels te kunnen herkennen moest eerst een dataset gemaakt worden. Om dit zo nauwkeurig mogelijk te doen is gebruik gemaakt van de praktijksituatie met camera.”
Van Yolo naar Tensorflow
Er werd besloten over te stappen van Yolo naar Tensorflow, omdat dit systeem meer ondersteuning biedt en meer gebruikt wordt. In Tensorflow zijn meerdere neurale netwerken beschikbaar. Voor het testen werd Mobilenet gebruikt. Het detecteren van objecten in een afbeelding duurt bij dit netwerk 20 ms. Vervolgens zijn twee datasets gerealiseerd: een om de appels te detecteren en een dataset om de kwaliteit te detecteren. Tensorflow bleek beter te zijn in het detecteren van individuele appels, maar door gebrek aan data van afgekeurde appels was het niet mogelijk om alle kwaliteitsfactoren goed te kunnen detecteren.
Kansen voor de toekomst
Uit het onderzoek concluderen de studenten dat Tensorflow geschikter is om te gebruiken in het bedrijfsleven. Het systeem wordt beter ondersteund en is robuuster dan Yolo en het werkt sneller en nauwkeuriger. Door het ontbreken van een grote en gelijkmatig verdeelde dataset is de voorspelling van beschadigingen binnen dit onderzoek niet gelukt. De studenten geven aan dat dit te verbeteren is door een dataset te maken waarbij elke class uit evenveel labels bestaat. Ze zijn hier zelf niet meer aan toegekomen.
De conclusie is hoopvol: op basis van de bevindingen uit het onderzoek moet het mogelijk zijn om met behulp van deep learning de kwaliteit van appels te bepalen en de appels op basis van deze factoren te scheiden.
TIPS
Dit is de kop
Door een camera met deep learning in een sorteermachine te plaatsen kan de machine zelf de goede van de slechte appels "leren" onderscheiden.
Dit is de kop
Door de juiste voorbereiding en "training" krijgt u een grotere kans op uw gewenste uitkomst. Het uiteindelijke resultaat van dit project was een "classes"- en een "weight"-bestand waarmee het algoritme objecten kan herkennen.
Dit is de kop
Uit het onderzoek concluderen de studenten dat Tensorflow geschikter is om te gebruiken in het bedrijfsleven. Het systeem wordt beter ondersteund, is robuuster dan Yolo, het werkt sneller en is nauwkeuriger.
Fontys
Fontys Expertisecentrum High Tech Systems en Materials (HTSM) verbindt Fontys studenten en -onderzoekers met hightech bedrijven in het Brainport gebied.