Gemini Live opisuje otoczenie niewidomym i mówi, jak trzymać telefon, żeby widział lepiej

Google udostępnił 1 października funkcję Guided Vision w Gemini Live na telefonach z Androidem. Gemini patrzy przez aparat telefonu, opisuje na głos otoczenie i odpowiada na pytania o to, co widzi. Funkcja jest pomyślana przede wszystkim dla osób niewidomych i słabowidzących, ale włączyć ją może każdy użytkownik aplikacji Gemini. Google opisał ją we wpisie na swoim blogu.

Gemini podpowiada, jak ustawić telefon

Najważniejsze w Guided Vision jest to, że model sam mówi, jak poprawić ujęcie. Gdy telefon celuje za wysoko, za blisko albo trochę obok, Gemini prosi, żeby powoli przesunąć go w prawo, pochylić w dół albo cofnąć się o krok. Osoba, która nie widzi ekranu, nie musi więc zgadywać, czy w kadrze jest to, o co pyta.

Google podaje przykłady z codziennego życia. Gemini odczyta tabelę wartości odżywczych na opakowaniu albo menu w ciemnej restauracji. Pomoże ustawić pokrętło pralki. Znajdzie słuchawkę douszną, która upadła na podłogę, albo pieprz w zatłoczonej szafce z przyprawami. Powie, jakiego koloru jest kurtka i czy koszula w paski pasuje do spodni. Opisze też nieznane pomieszczenie albo rzeczy rozłożone na stole.

Firma dodaje, że funkcja przyda się też starszym osobom i każdemu, kto próbuje przeczytać mały napis przy słabym świetle.

Kto ją trenował

Google przygotował funkcję razem z firmą Aira. Wspólnie opisywali dane wizualne łącznie przez dziesiątki tysięcy godzin, żeby nauczyć Gemini Live rozmowy o prawdziwym otoczeniu. Ponad tysiąc testerów z sieci Aira sprawdzało model w codziennych czynnościach, a eksperci firmy pomagali ustalić zabezpieczenia. Opisy i podpowiedzi testowały też społeczności osób niewidomych między innymi w Indiach, Brazylii, Singapurze, Indonezji i Japonii.

Jak włączyć Guided Vision

Funkcja działa na telefonach z Androidem 9 lub nowszym, w regionach i językach, w których dostępny jest Gemini Live. Google nie podaje osobnej listy krajów ani nie wymienia języka polskiego. Zanim zaczniesz, zaktualizuj aplikację Gemini i system telefonu.

1. Otwórz aplikację Gemini i wejdź w ustawienia profilu.
2. Włącz opcję Use Guided Vision in Live (nazwa według wpisu Google, w polskiej wersji aplikacji może brzmieć inaczej).
3. Uruchom Gemini Live i dotknij przycisku udostępniania aparatu.

Jeśli korzystasz z czytnika ekranu TalkBack, dotknij ekranu trzema palcami, żeby otworzyć menu TalkBack, i wybierz Guided Vision. Można też ustawić skrót ułatwień dostępu w Ustawieniach Androida, w sekcji Ułatwienia dostępu i dalej w pomocy przy widzeniu. Skrót uruchamia się pływającym przyciskiem, przesunięciem dwoma palcami albo przytrzymaniem obu klawiszy głośności.

Czego Guided Vision nie zastąpi

Google zastrzega, że Guided Vision może się mylić i nie jest wyrobem medycznym. Nie zastępuje białej laski ani innych pomocy w poruszaniu się. Firma pisze wprost, że funkcja nie służy do nawigacji, bezpiecznego przemieszczania się ani wykrywania przeszkód. Na ulicy liczy się dalej laska i sprawdzone sposoby poruszania się.

Wpis nie mówi, czy Guided Vision trafi na iPhone'a, ani czy wymaga płatnego planu Google AI. Jeśli zastanawiasz się, co daje Gemini bez opłat, sprawdź nasz tekst o tym, czy Gemini jest darmowe i jakie ma limity. Gdy chcesz ograniczyć Gemini w telefonie, przyda się poradnik, jak wyłączyć Gemini i usunąć historię rozmów.