Embedded Technology meets Machine Learning

27.04.2021: Valyue – mit Machine Learning zu Future Mobility – der nächste Schritt im Bereich Embedded Systems.

Embedded Hardware ist die Basis für viele Wirtschaftsbereiche – vom mobilen Device über IoT bis zu komplexen Systemen beim autonomen Fahren. Valyues Ziel ist es, embedded Technologie mit neuen Ansätzen des maschinellen Lernens zu kombinieren, um lauffähige Prototypen zeigen zu können.

Wie das gelingt, lesen Sie hier…
 

Vor 6 Monaten hat ein Valyue-Team von Embedded SpezialistInnen das Projekt „Machine Learning“ gestartet, um die Funktion des Spurhalteassistenten (Lane Keeping Assist) zu entwickeln und in das Valyue Test Car zu implementieren. Um das Ziel zu erreichen, eine kostengünstige, flexible und auch verlässliche Implementierung zu erhalten, setzten sie ausschließlich vorhandene Open-Source Tools und Libraries ein.

Kommunikation und theoretische Grundlagen werden aufgrund der aktuellen Gegebenheiten (Corona/ Homeoffice) mittels einer internen Kommunikationsplattform umgesetzt. Wöchentliche Hands-on Meetings finden im Valyue Labor statt. Dort können die Erkenntnisse schrittweise in einer realen Umgebung umgesetzt und getestet werden.

 
Technische Beschreibung

Die Entwicklungsumgebung besteht aus OpenCV, Python, TensorFlow und Anaconda. Die Simulationen werden in Gazebo durchgeführt, die Projektabwicklung in Git durchgeführt und die Dokumentation in einem internen Wiki abgelegt.

Die Projektphasen definierten wir wie folgt:

• Daten sammeln
• Modell erstellen
• Modell trainieren/ validieren in Simulationsumgebung
• Modell auf Ziel Hardware (Valyue Test-Car) umsetzen und testen

Eine der größeren Herausforderungen bestand darin, die, für das Trainieren der Künstlichen Intelligenz (KI, bzw. das maschinelle Lernen) benötigten Bilddaten, zu generieren, da im Netz zur Verfügung stehende Datensätze nicht zum vorliegenden Anwendungsfall passten. Neben der aufwändigen Erstellung waren auch die Anforderungen an die IT ein Thema. Es handelt sich um große Datenmengen, die mit der Kamera des Valyue Test-Cars in Form von Umgebungsbildern generiert werden. Um zeitlich im Rahmen der Vorgaben zu bleiben, wurden alternativ zum Kauf neuer IT-Komponenten externe Cloud-Ressourcen verwendet (Google Colabs).

Parallel dazu wird das Open-Source Modell von TensorFlow mit den gesammelten Echtzeitdaten gefüttert und iterativ an die Projektanforderungen adaptiert, bis das KI-Modell die gewünschte Genauigkeit erreicht.
 

 
Die Fortschritte testen sie mit einer Simulation für autonomes Fahren in Gazebo. Dort wird das TensorFlow Modell offline evaluiert und weiter feingeschliffen.

In der letzten Phase läuft das KI-Modell auf der embedded Hardware des Valyue Test-Car. Momentan findet die Erprobung statt – das Feedback der Testsituationen wird zur weiteren Optimierung genutzt.

 
Fazit

Das Ziel, embedded Module mittels Künstlicher Intelligenz auf einen neuen Level zu heben, wurde eindeutig erreicht. Auch konnte der Beweis erbracht werden, dass maschinelles Lernen mit Open-Source Tools möglich ist. Und dass Projekte auch während Corona remote realisiert werden können ist kein Geheimnis – die Technologien sind vorhanden, Prozesse mussten nur entsprechend angepasst werden.

So betrachtet ist das Projekt sehr erfolgreich. Neue Technologien, die aktuell in allen Bereichen gefordert und eingesetzt werden, haben den live Test bestanden und stehen Valyue und damit unseren Kunden zur Verfügung. Der Machine Learning/ KI Ansatz wird aufgrund seiner breiten Einsatzmöglichkeiten auch in anderen Projekten und Industrien eingesetzt.

 
Next steps

Aktuell erprobt ein anderes Valyue-Team den Machine Learning Ansatz im Bereich Internet of Things (IoT) für ein cloudbasiertes Projekt der öffentlichen Hand.

Die nächsten Erweiterungen für das Valyue Test Car sind in der Planungsphase – die Erkennung von Gegenständen/ Schildern sind der nächste Baustein im Bereich ADAS.

Für Fragen und Anregungen steht unser internationale Gruppe von SpezialistInnen gerne zur Verfügung. Gerne vernetzen wir uns mit anderen Interessierten und freuen uns auf spannende Diskussionen.