Innowacja może pomóc w walce z brakami kadrowymi w gastronomii. Robot nauczy się przepisu z filmu instruktażowego i odtworzy ruchy kucharza

Naukowcy z Uniwersytetu w Cambridge zaprogramowali robota-kucharza tak, by nauczył się ośmiu przepisów na sałatki. Po obejrzeniu filmu, na którym człowiek demonstruje jeden z przepisów, robot był w stanie zidentyfikować, który przepis jest przygotowywany, i go odtworzyć. Dziewiąty przepis był w stanie już wymyślić sam. Jak przekonują twórcy, choć urządzenie na razie nie poradzi sobie z analizą filmów zamieszczanych przez influencerów, to w przyszłości najprawdopodobniej zyska takie kompetencje. Rozwiązaniem zainteresowani mogą być restauratorzy zmagający się z niedoborami kadrowymi po pandemii.

Naukowcy z Uniwersytetu w Cambridge opracowali osiem prostych przepisów na sałatki i sfilmowali siebie podczas ich przygotowywania. W ten sposób stworzyli bazę, na której uczyli robota-kucharza. Korzystając z widzenia komputerowego, robot przeanalizował każdą klatkę wideo i był w stanie zidentyfikować różne obiekty, takie jak nóż i składniki dania, a także ramiona, dłonie i twarz prawdziwego kucharza.

– Maszyna jest w stanie określić, gdzie znajdują się wszystkie przedmioty i co to jest za przedmiot. Jeżeli na takim filmie zaznaczymy trajektorię ruchu nadgarstka, to, jak się poruszają wszystkie obiekty, możemy wtedy policzyć korelację pomiędzy takimi trajektoriami. Jeżeli mamy korelację pomiędzy jakimś obiektem a prawym lub lewym nadgarstkiem, lub oboma, wtedy robot jest w stanie zrozumieć, że prawdopodobnie człowiek używa właśnie tego przedmiotu w tym momencie – wyjaśnia w rozmowie z agencją Newseria Innowacje Grzegorz Sochacki, doktorant Wydziału Inżynierii na Uniwersytecie w Cambridge.

Robot może na tej podstawie wywnioskować, że gdy człowiek trzyma w jednej ręce nóż, a w drugiej  marchewkę, to prawdopodobnie zostanie ona posiekana. Okazało się, że odtworzył przepis w 93 proc. przypadków, i to pomimo tego, że zidentyfikował zaledwie 83 proc. działań podejmowanych przez kucharza. W ten sposób robot odtworzył i przekonwertował na możliwy do odtworzenia przepis w ramach bazowego doświadczenia osiem przepisów, ale poradził sobie również z opisaniem i skatalogowaniem dziewiątego.

– Zaletami tego robota jest to, że możemy go zaprogramować, po prostu wykonując daną czynność, oraz to, że działa on bardzo dobrze, nawet gdy filmiki nie są najlepsze. Więc nawet gdy widzenie komputerowe zawiedzie na chwilę, mamy kolejną warstwę sztucznej inteligencji, która bierze pod uwagę całość filmiku i jest w stanie określić, czy to jest błąd widzenia komputerowego, czy też może człowiek zrobił przerwę i dodał jeden składnik, miał przerwę i dodał drugi – mówi Grzegorz Sochacki.

Robot został stworzony na bazie kuchni podobnej do takich, które są w zwykłych gospodarstwach domowych. Urządzenie może działać poprzez robotyczne ramię zamontowane na wózku. Druga opcja to metalowa rama podwieszana u sufitu, do której przymocowane ramię lub ramiona mogą pracować od góry, mając dostęp do całej kuchni. Ułatwia to eksploatację, ale i programowanie.

– W tym konkretnym projekcie chcieliśmy sprawić, aby robot uczył się od człowieka przez obserwację. Ten specyficzny projekt wziął się ze współpracy z Google’em. Oni tam mają mnóstwo danych, mnóstwo filmików na YouTubie i nie są w stanie nic sensownego z tym zrobić, dlatego chcieli sprawdzić, czy robot może się z takich filmików uczyć – wskazuje naukowiec z Uniwersytetu w Cambridge.

Urządzenie nie jest jednak w stanie bazować na danych pochodzących z popularnych filmów udostępnianych w mediach społecznościowych. Charakteryzują się one bowiem zbyt dynamicznym montażem, co utrudnia analizę obrazu poprzez widzenie komputerowe. Robot miałby na przykład trudności ze zidentyfikowaniem warzywa, gdyby obserwowany na filmie kucharz owinął je ręką. Aby poprawnie zidentyfikować taki obiekt, robot musi dokładnie zobaczyć całe warzywo. Twórca rozwiązania przekonuje jednak, że wraz ze zwiększaniem bazy zachowań kucharzy, na której urządzenie będzie się uczyło, zacznie ono sobie radzić również z analizą takich treści. Może się okazać, że takie rozwiązania będzie przydatne w gastronomii wobec coraz poważniejszych niedoborów kadrowych.

– Coraz więcej osób interesuje się tym tematem, także politycy na Zachodzie, gdzie po pandemii są problemy z zatrudnianiem kelnerów i kucharzy. Brakuje po prostu chętnych do wykonywania tych zawodów. Jest też kilka start-upów, kilka firm już z sukcesem, które próbują rozwijać tego typu pomysły. Niektóre z nich robią pizzę, inne kawę, inne potrawy wschodnie. Myślę, że prędzej czy później zobaczymy je w restauracji – wskazuje Grzegorz Sochacki.

Roboty już dziś możemy zaobserwować przy wykonywaniu prostych czynności z zakresu przygotowywania żywności. Między innymi na niektórych dworcach kolejowych w Warszawie można kupić kawę przygotowywaną przez robotyczne ramię. Z kolei w samoobsługowych sklepach jednej z sieci osiedlowych sklepów detalicznych robot jest odpowiedzialny za przygotowywanie hot dogów. Są to jednak rozwiązania, dla których schematy postępowania są już z góry zaprogramowane. Roboty te nie uczą się przepisów na podstawie obserwacji.

Według Verified Market Research światowy rynek rozwiązań z zakresu robotyki kuchennej w 2020 roku wypracował przychody w wysokości 1,7 mld dol. Do 2028 roku wzrosną one do 4,4 mld dol.