Robotas naršo biuro erdvę naudodamas „Google Gemini“.
„Google“ rado naują būdą parodyti, ką gali jos Gemini AI modelis, padedant robotui.
Tai buvo robotas iš Google Everybody Robots Division, kuris buvo uždarytas praėjusiais metais. Tačiau, matyt, robotai vis dar yra šalia, todėl „Google“ ant vieno iš jų uždėjo geltoną peteliškę, tada naudojo Dvynius, kad išmokytų robotą reaguoti į komandas ir naršyti „DeepMind“ biuro erdvėje.
Kad tai pasiektų, „Google“ naudoja vizijos kalbos modelius VLM, kurie yra mokomi vaizdų ir vaizdo įrašų kartu su tekstu, leidžiančiais atsakyti į klausimus ir atlikti užduotis, kurioms reikalingas suvokimas.
Pavyzdžiui, viename vaizdo įraše „Google“ darbuotojas prašo roboto nuvežti jį kur nors nupiešti. Robotas sako, kad jam reikia minutės pagalvoti, tada jis nuveda darbuotoją prie baltos lentos. Kitame vaizdo įraše robotui liepta sekti nurodymus lentoje, kur žemėlapyje rodomos nuorodos, kaip patekti į vadinamąją mėlynąją zoną. Robotas seka nurodymus į robotikos testavimo zoną ir praneša: „Sėkmingai vykdau lentoje pateiktas nuorodas“.
Spustelėkite žaisti, kad pamatytumėte, kaip robotas veikia, tada praneškite mums, ką manote komentaruose!
