Bachelorproef: gebarentaal omzetten naar tekst met AI
1 september 2020Vlaamse Gebarentaal (VGT) is de moedertaal van ongeveer 6.000 Vlamingen. Toch begrijpt maar een klein deel van de bevolking ze. Deze bachelorproef onderzocht of AI de communicatie tussen gebarentaal en gesproken taal kan bevorderen door gebaren via de camera om te zetten naar geschreven tekst.
Technische aanpak
Omdat videoherkenning nog niet matuur genoeg was, splitst de aanpak gebarenvideo op in frames en stuurt hij geselecteerde frames naar een API voor beeldclassificatie. Per gebaar worden vijf frames geëxtraheerd voor de beste balans tussen performantie en accuraatheid. De proef vergeleek drie diensten: Azure Custom Vision, Google AutoML Vision en Amazon Rekognition Custom Labels.
Training en resultaten
Met Azure Custom Vision werd het model getraind met zo'n 50 afbeeldingen per gebaar als startpunt. Drie factoren bepalen de kwaliteit: hoeveelheid, balans over de labels en variatie (achtergronden, belichting, hoeken). Via een feedbackmechanisme kunnen gebruikers foute vertalingen markeren, zodat het model blijft verbeteren.
De proof of concept bevestigde dat beeldherkenningstechnologie ver genoeg staat om gebarentaal om te zetten naar tekst. De omgekeerde richting gebruikt het VGT-woordenboek om gebaren te tonen bij gesproken of getypte input.
Studente: Yasmine De Winne (HOGENT), met Wouter Baetens als copromotor
Ontdek meer
Bouw je eigen beelddataset met de Bing Image Search API
Een stapsgewijze Python-gids om je eigen beelddataset te bouwen met de Bing Image Search API, van zoeken en downloaden tot de resultaten opslaan in Azure Machine Learning Studio.
Stageverslag: medische vragenlijsten personaliseren met AI
Stagiair Usman Dankoly onderzocht AI-technieken om PRO-CTCAE-vragenlijsten te personaliseren voor longkankerpatiënten. Met K-Means-clustering en gepersonaliseerde aanbevelingsscores wordt de vragenlast kleiner.
Stageverslag: K-Means-clustering op EWS-data
Stagiair Senne bouwde een patiëntmonitoringdashboard met K-Means-clustering op Early Warning Score-data. Patiënten worden gecategoriseerd volgens hun gezondheidstraject, ter ondersteuning van klinische beslissingen.
