3. Hackathon
Der zweitägige Hackathon wurde am HHZ in Böblingen in dessen Living Lab durchgeführt. Vorab galt es sämtliche Hardware und Software zu beschaffen. Diese ist im Folgenden aufgeführt.
Innerhalb des Living Labs stand folgender Kühlschrank von der Robert Bosch GmbH zur Verfügung:
Zur Aufrüstung des Kühlschranks wurde ein Samsung Galaxy A5 verwendet:
Zur Anbringung des Smartphones wurden folgende Halterungen getestet:
Zur Fotoauslösung des Smartphones wurde folgende Fernbedienung verwendet:
CamKix Wireless Blue - Smartphone-Fernbedienung
Zum Testen der Aipoly Vision App:
Lautsprecher
Zur Erfassung des Kühlschrankinhaltes wurde nach einer geeigneten App recherchiert. Folgende Apps wurden getestet und später bewertet:
- Image Analyse Toolset (IAT)
- Aipoly Vision (Blindenapp)
- TapTapSee (Blindenapp)
- QR & Barcode Scanner
Im ersten Schritt wurden bezüglich des Anbringungsortes des Smartphones im Kühlschrank (Fridge Position) und bezüglich der App sämtliche Bewertungskriterien gesammelt, welche von dem Team als wichtig erachtet wurden.
Im zweiten Schritt wurden die gesammelten Bewertungskriterien innerhalb eines Paarweisen Vergleichs Schritt für Schritt miteinander verglichen, um ihre Wichtigkeit zu bewerten und anschließend ein Wichtigkeits-Ranking zu erstellen. Diese Paarweisen Vergleiche inklusive Rankings sind in den folgenden zwei Abbildungen zu sehen.
Fridge Positions
Apps
Während der Experimentdurchführung wurden zuerst die Fridge Positions festgelegt. Dabei ging man systematisch hervor und überlegte sich welche Positionen sich als sinnvoll eignen. Diese für die Experimentdurchführug ausgewählten Fridge Positionen inklusive der verwendeten Halterungen sind in der folgenden Abbildung zu sehen:
Fridge Positions:
Positionen aus Sicht des angebrachten Smartphones im Kühlschrank:
Aus Sicht der verwendeten Apps:
IAT
Barcode Detector-Funktion:
Die App ist dazu fähig mehrere Barcodes zu scannen. Allerdings werden die im Hintergrund bestehenden Barcodes sowie Barcodes von Produkten die nicht direkt vor der Kamera stehen (Position 2), nicht wahrgenommen.
Bilderkennungsfunktion:
Um Informationen über das Bild zu finden, sucht die App im Internet nach ähnlichen Bildern und verwandten Webseiten, um den Inhalt anhand der erfassten Informationen zu erraten. Dabei können die Produkte auf dem Bild nicht korrekt identifiziert werden.
TapTapSee
Diese App ermöglicht eine richtige Identifikation der Produkte, jedoch können hierbei nicht mehrere Produkte gleichzeitig erkannt werden.
QR & Barcode
Genauso wie bei der vorherhigen App, können auch hier richtige Identifikationen durchgeführt werden. Allerdings funkioniert das Identifizieren (Scannen) nicht gleichzeitig mit mehreren Produkten.
Aipoly Vision
Mit dieser App werden keine Bilder aufgenommen. Sobald die Kamera auf Obejkten gerichtet ist, erfolgt die Identifikation, die laut ausgesprochen wird, weshalb zusätzlich ein Bluetooth-Lautsprecher erforderlich ist. Hierbei ratet die Anwendung drei mal pro Sekunde die erfassten Produkte/Objekte. Die Identifikation ist oft nicht korrekt, da die App nicht nur den Inhalt des Kühlschranks erkennt, sondern es werden auch die Regale im Kühlschrank identifiziert.
Ergebnis:
Das Team hat sich einstimmig für die App IAT entschieden, da innerhalb dieser App die Nutzung der Frontkamerafunktion möglich ist sowie die Bluetooth-Fernbedienung bedienbar ist und da keine zusätzliche Hardware benötigt wird. Das bedeutet mit dieser App konnte das Smartphone aus der Fridge Position ohne großen Aufwand angebracht werden und die Bilderfassung mit der Frontkamera durchgeführt werden.
Fridge Positions
Anhand der Nutzwertanalyse der Fridge Positions ist deutlich zu sehen, dass die Fridge Position 1 mit einer Bewertung von 9,05 den besten Wert aufzeigt. Aus dieser Position ist es möglich, den Großteil der Kühlschranks aufzunehmen. Das bedeutet schätzungsweise 1/3 des Inhaltes inklusive der Inhalte innerhalb der Kühlschranktüre können aus dieser Position erfasst werden. Die Bildaufnahmen unter Schritt 3: "Experimentdurchführung aus Fridge Position 1" unterstützen diese Auswertung und Entscheidung.
Die Positionen 2 bis 4 wurden geringer bewertet. Aus diesen Positionen konnten deutlich weniger Produkte im Kühlschrank erfasst werden. Außerdem könnten hier durch Platzprobleme teilweise Beeinträchtigungen im täglichen Nutzen des Kühlschranks entstehen.
Apps:
Innerhalb der zweiten Nutzwertanalyse bezüglich der ausgewählten Apps, konnte die Entscheidung für die App IAT mit 6,07 nochmals in Werten gezeigt werden. Anhand der Bewertung 10 in der Kategorie "Frontkamera funktionsfähig" ist das Experiment nur mit dieser App ohne großen Aufwand bezüglich der Anbringung im Kühlschrank möglich gewesen.
Die übrigen Apps konnten nicht mit der Frontkamera genutzt werden. Anderenfalls hätte das Smartphone sehr umständlich und umgekehrt an der Halterung angebracht werden müssen, um ein Bild aufnehmen zu können. Daher wurden die restlichen Apps mit 0 bewertet.
Die Sieger-App IAT konnte allerdings nicht immer alle Produkte erfassen. Zusätzlich konnte sie die erfassten Produkte oft nicht richtig identifizieren. Daher wurden diese beiden Kategorien verhältnismäßig niedrig bewertet.
Zusammenfassend kann also gesagt werden, dass die Nachrüstung eines Kühlschranks mittels des eigenen Smartphones für einen smarten "Fridge Retro-Fitting" prinzipiell ein guter Ansatz ist, welcher allerdings noch ausgereift werden muss. Mittels der Halterung "Mount Holder" ist die Anbringung einfach und ohne großen Aufwand möglich gewesen. Allerdings besteht die Gefahr, dass sich dieser über einen längeren Zeitraum durch den handelsüblichen Kleber an der Halterung und durch die Nässe im Kühlschrank löst. Diese Vermutung müsste in einem Langzeit-Experiment untersucht werden.
Aus der Fridge Position 1 war es möglich mit ca. 2/3 einen Großteil der Inhalte zu erfassen. Für eine 100%-ige Erfassung müsste allerdings ein zweites Smartphone an Fridge Position 3 angebracht werden, um die restlichen 1/3 des unteren Kühlschrankbereichs zu erfassen.
Mit der App IAT wurde eine bedingt geeignete Software gefunden, um Produkte zu erfassen und zu identifizieren. Dieser App fehlt allerdings noch die nötige Reife, sodass eine 100%-ige Erfassung aller Produkte und eine 100%-ige Richtigkeit der erfassten Produkte gegeben ist.
Schlussendlich ist anhand dieses Hackathons eine **positive** Zustimmung des Anstoßes bezüglich eines "Fridge Retro-Fitting" entstanden. Nun gilt es herauszufinden, ob dieser Anstoß mit einer ausgereiften App in Zukunft möglich ist.
Eine weitere Ausführung dieser Diskussionspunkte findet sich unter 4. Diskussion.