FoodbyAI
Kunstmatige Intelligentie in het dagelijks leven
FoodbyAI
Klant
Technisches Museum Wien
Locatie
Wenen
Jaar
2020
FoodbyAI
FoodbyAI is onderdeel van de Robotics & AI exhibit van Technische museum Wenen. Op de verdieping met het onderwerp “Smart everyday (applications)” waar er gekeken wordt naar AI oplossingen in het dagelijks leven.
Het originele concept was geïnspireerd door Recipe1M+, een neural network model waarbij gerechten herkend worden uit foto’s waarbij een passend recept wordt gevonden. Het eerste concept was een galerij met foto’s waaruit je kon kiezen waarbij er een recept wordt gegenereerd. De software die beschikbaar was via Recipe1M+ was niet bruikbaar voor deze uitvoering.
Toen moesten we op zoek naar andere oplossing. We vonden het belangrijk dat de gebruiker ook zijn of haar eigen foto’s kan gebruiken om te interacteren met de installatie. Daarom hebben we een scanner toegevoegd van ons eigen ontwerp waarmee de gebruiker een foto op zijn/haar telefoon kan uploaden naar de installatie.
De installatie scant de foto en geeft door middel van de Google Vision API een aantal labels aan de foto. We hebben handmatig een mapping aangelegd van Google Vision AI labels op zinvolle zoektermen in de database, want de labels van Google zijn niet altijd de termen die je als mens gebruikt.
Op basis van deze labels wordt er gezocht naar een recept dat past bij de labels die horen bij de ingescande foto. Het vinden van een toepasbare manier om recepten te koppelen aan de foto’s was een obstakel. We hebben gekeken naar Big Oven API, maar vanwege de aanzienlijke maandelijkse kosten hebben we daarvan afgezien.
In plaats daarvan hebben we de recepten data uit publiek beschikbare Meal Master (MMF) bestanden verzameld. Meal Master is een receptendatabase die met name rond de eeuwwisseling erg populair was, waardoor er vrij veel recepten in dat formaat terug te vinden zijn.
Omdat Google Vision voor voedsel relatief gelimiteerd is in de soorten labels en daarnaast niet erg accuraat is levert deze methode soms wat rare eindresultaten op. Maar omdat de tentoonstelling ook de (huidige) limieten van AI wil laten zien was dit geen probleem. Ook kan de mismatch van foto en recept komische momenten opleveren wat weer bijdraagt aan een positieve ervaring van de gebruiker.
Meer weten over deze experience?
Laat het hier weten
Partners &
Ontwikkeling
Concept
100%FAT, Tinker & TMW
Ontwerp
Tinker Imagineers
Industrieel Ontwerp
100%FAT
Constructie
100%FAT & Brandwacht
Hardware
100%FAT
Software
100%FAT
Content
100%FAT & Tinker
Klant
Technisches Museum Wien