Google szkoli swoje roboty przy użyciu sztucznej inteligencji Gemini, aby mogły udoskonalać swoje umiejętności nawigacji i wykonywania zadań. Zespół robotyki w DeepMind wyjaśnił w: Nowa publikacja naukowa W jaki sposób długie okno kontekstowe Gemini 1.5 Pro – ograniczające ilość informacji, które model AI może przetworzyć – może umożliwić użytkownikom łatwiejszą interakcję z robotami RT-2 przy użyciu instrukcji w języku naturalnym.
Technologia ta polega na filmowaniu wycieczki wideo po określonym obszarze, np. domu lub biurze, podczas której badacze korzystają z oprogramowania Gemini 1.5 Pro, aby robot „obejrzał” wideo i dowiedział się o środowisku. Robot może następnie wykonywać polecenia na podstawie tego, co zaobserwował, używając komunikatów werbalnych i/lub wizualnych – na przykład kierując użytkowników do gniazdka elektrycznego po pokazaniu mu telefonu i zapytaniu „Gdzie mogę go naładować?” DeepMind twierdzi, że jego robot napędzany silnikiem Gemini osiągnął 90-procentowy wskaźnik skuteczności w przypadku wykonania ponad 50 instrukcji dla użytkownika na obszarze operacyjnym o powierzchni ponad 9000 stóp kwadratowych.
Naukowcy znaleźli także „wstępny dowód” na to, że oprogramowanie Gemini 1.5 Pro umożliwiło robotom planowanie sposobu wykonywania instrukcji wykraczających poza proste wskazówki. Na przykład gdy użytkownik mający na biurku dużo puszek coli pyta bota, czy jego ulubiony napój jest dostępny, zespół stwierdził, że Gemini „wie, że bot powinien udać się do lodówki, sprawdzić, czy są tam puszki coli i następnie wróć do użytkownika i poinformuj go o tym.” „W rezultacie”. DeepMind twierdzi, że planuje dokładniej zbadać te ustalenia.
Prezentacje wideo Google robią wrażenie, choć z artykułu badawczego wynika, że wyraźne klipy po potwierdzeniu przez bota każdego żądania ukrywają fakt, że przetworzenie instrukcji zajmuje od 10 do 30 sekund. Może minąć trochę czasu, zanim będziemy dzielić nasze domy z bardziej zaawansowanymi robotami mapującymi środowisko, ale przynajmniej te roboty będą w stanie znaleźć nasze zgubione klucze lub portfele.
