16. Januar 2024

Smile to Enter: Unsere Gesichtserkennungs-App

Wie unser Lernender unsere Gäste zum Lächeln brachte

Umgeben von Whiteboards mit farbigen Post-its, stand Gabriel, unser Lernender, vor einer besonderen Herausforderung. Die Idee war, für einen bevorstehenden Kundenevent eine innovative App zu entwickeln, um unseren Kund:innen zu zeigen, wie cool Anwendungen mit Azure, unserem Cloud-Provider, sind. Schöne Idee, aber wo anfangen? Und was überhaupt zeigen? Und was könnte unsere Kund:innen mit sehr unterschiedlichem technischen Know-how überraschen, oder sogar zum Lachen bringen? 

Gabriels Herausforderung: Ein Datenbank-System dynamisch inszenieren 

Gabriel begab sich mit ein paar Kollegen auf die Ideensuche. Sie liebäugelten mit der Tatsache, dass Azure ein Gesichtserkennungs-Service anbietet, aus dem viel herauszuholen ist. Diesen Dienst kennt man beispielsweise von der Entsperr-Funktion eines Mobiltelefons. Schön und gut, aber wie weiter? Mit diesem Service müsste doch was zu machen sein? Wie könnte man mit so einem Service arbeiten und wie könnte eine App mit solchen Daten schlussendlich aussehen? Alles offen und noch reichlich unkonkret. Gabriel machte sich auf in den Dschungel der Möglichkeiten. 

Inspration und Kreativität: Der Weg zur Gesichtserkennungs-App

Wie wäre es, die künstliche Intelligenz der Gesichtserkennungssoftware anhand Machine Learning mit Bildern unserer Kund:innen trainieren, um eintretende Gäste gleich mit Namen zu begrüssen? Eine tolle Idee, aber leider aus Datenschutzgründen nicht realisierbar. Eine Alternative musste her. Und am besten eine mit einer Interaktion. Leider war die Zeit bis zum Event nicht gerade grosszügig bemessen. Und die Ideen kamen nicht unbedingt haufenweise. Kreativität auf Knopfdruck funktioniert auch nicht immer zuverlässig. Gabriel experimentierte mit verschiedenen Aspekten, welche die Gesichtserkennungs-Software erkennen konnte (Brille, Emotion, Alter, Geschlecht…) und suchte sich zwei davon aus. Seine Wahl fiel auf Emotion und Alter - wobei die Meinungen bezüglich dem zu erkennenden Alter auseinander gingen… Nun hatte er die Erkennungselemente, aber wie weiter? 

Von der Idee zur Realität: Technisches Tüfteln

Wie so oft fand sich die Lösung im Team beim gemeinsamen Brainstorming. Die Idee, den Surface Hub als zentrales Element und wie eine Art Spiegel für die Rückmeldung an den Gast zu nutzen, manifestierte sich schliesslich als Favorit: Die Anwendung würde den eintretenden Gast aufforden, näher zu treten, bis die Software das Gesicht mit der Kamera des Surface Hubs erkennen konnte. Mit der Erfassung der Gesichter würde die Software einen Vorschlag zurückschicken, welche Emotion und welches Alter der Gast zeigt. Soweit so gut. Erste Tests fielen positiv aus und sorgten für Heiterkeit im Team.



Nun fehlte noch die Interaktion. Marcel, der bekennende Filmfan, hatte da die zündende Idee: “Speak *Friend.* and enter”: eine Schlüsselstelle in Tolkiens “Herr der Ringe” kam zum Handkuss. Gabriel und Marcel adaptierten diesen Moment auf “Smile to enter” nachdem Alter und Emotion erkannt waren. So luden wir unsere Gäste ein, zu lächeln, so dass sie dann das grüne Licht bekamen, um einzutreten.

Umsetzung: Blut, Schweiss und (Freuden-)Tränen 

Soweit, so gut! Die Idee war da. “Aber wie setze ich das bloss um?” überlegte Gabriel und klemmte sich hinter seine Tastatur. Nach ein paar Inspirationsrunden mit Kaffee und Red Bull erwachten die ersten Codezeilen. Ganz im Stil eines echten Software-Projektes war dann die Umsetzung nicht ganz so einfach, wie Gabriel es sich ausgemalt hatte. Die Datenmengen des Surface Hubs waren um ein Vielfaches grösser als diejenigen, die Gabriel am Laptop mit der Laptop-Kamera verwendet hatte. Es blieb ihm nichts anderes übrig, sich mit dem Surface Hub auf eine Kompromis-Datenmenge zu einigen. Sozusagen ein Spagat zwischen Verarbeitung, Verifizierung, Verzögerung, Kompression und Geschwindigkeit - flüssig genug, um die aktuelle Emotion einzufangen. (Bild Gabriel im Gang, betend vor dem Surface Hub)


Das Ziel war schon in Reichweite, der Event stand vor der Tür. Als dann die Marketingkollegin noch eine Anpassung des Interface an den YOO-Markenstil wünschte, war das keine grosse Hürde mehr und die App war in Kürze nach allen Regeln der Kunst resp. der Design Guidelines gebrandet.

Der grosse Tag: Spass am Event

Zu Gabriels (und unser aller) Freude war die Face Recognition App am Event pünktlich bereit und überraschte unsere Gäste mit einer digitalen Begrüssung. Sie entlockte den Gästen gleich zu Beginn ein Lächeln - und auch ein paar Faxen 😉 . So verhalf diese spannende Lernenden-Aufgabe den Organisatoren gleich zu Beginn des Events, das Eis zu brechen und und als Aufgabe mit ganz viel Lernpotenzial war die neu entwickelte App auch für Gabriel eine interessante Sache.

Weitere Blogs entdecken

Face Recognition App. Lernender programmierte Gesichtserkennungs-App
16 Jan., 2024
Eine Gesichtserkennungsapp, die unsere Gäste am Tag der offenen Türe begrüsst! Aus einer Idee entwickelte unser Lernender eine entsprechende App, die unseren Gästen ein Lächeln und auch hie und da ein paar Faxen entlockt.
01 Dez., 2023
Vielleicht kennst du es: Du hast viel Aufwand in die Erarbeitung neuer Systeme gesteckt, aber die Einführung klappt nicht so richtig. Die Leute tun sich schwer mit der Adaption. Warum passiert sowas? Jakob hat sich damit auseinandergesetzt.
Unsere Fachartikel präsentieren wir neu auf medium.com
16 Nov., 2023
Ab jetzt findest du unsere beliebten Know-how-Artikel auf Medium, der populären unabhängigen Blogplattform. Hier kannst du dir individuelle Inhalte nach Interessensgebiet periodisch kompakt servieren lassen.
Mehr anzeigen
Share by: