Google je nadgradil svojo aplikacijo za vizualno iskanje Lens s sposobnostjo odgovarjanja na vprašanja v skoraj realnem času. Uporabniki Androida in iOS-a, ki imajo nameščeno aplikacijo Google, lahko zdaj preko Lensa začnejo snemati video in postavljajo vprašanja o zanimivih predmetih v videu.
Google Lens uporablja prilagojen model Gemini
Lou Wang, direktor produktnega vodenja za Lens, je dejal, da funkcija uporablja “prilagojen” model Gemini za razumevanje videa in ustreznih vprašanj. Gemini je družina Googlovih modelov umetne inteligence, ki poganja številne izdelke iz portfelja podjetja.
“Recimo, da želite izvedeti več o zanimivih ribah,” je Wang povedal na tiskovni konferenci. “[Lens bo] podal pregled, ki pojasnjuje, zakaj plavajo v krogu, skupaj z dodatnimi viri in koristnimi informacijami.“
Kako do nove funkcije?
Za dostop do nove funkcije analize videa v Lensu se morate prijaviti v Googlov program Search Labs in izbrati eksperimentalne funkcije “AI Overviews and more” v Labs. V aplikaciji Google lahko z držanjem gumba za sprožilec na pametnem telefonu aktivirate način snemanja videa v Lensu.
Med snemanjem videa postavite vprašanje
Med snemanjem videa postavite vprašanje, Lens pa bo ponudil odgovor, ki ga bo zagotovila funkcija AI Overviews, ki v Google Search uporablja umetno inteligenco za povzetke informacij z interneta. Po besedah Wanga Lens uporablja umetno inteligenco za določanje, kateri kadri v videu so najbolj “zanimivi” in pomembni – predvsem pa relevantni za postavljeno vprašanje – ter te kadre uporabi za oblikovanje odgovora iz AI Overviews.
Kako deluje?
“Vse to izhaja iz opažanj, kako ljudje trenutno poskušajo uporabljati orodja, kot je Lens,” je povedal Wang. “Če zmanjšate ovire pri postavljanju teh vprašanj in ljudem pomagate zadovoljiti njihovo radovednost, bodo to hitro začeli uporabljati.“
Meta in OpenAI ne počivata
Zagon funkcije videa za Lens prihaja na sledi podobne funkcije, ki jo je prejšnji mesec predstavila Meta za svoja očala za obogateno resničnost, Ray-Ban Meta. Meta načrtuje, da bodo očala omogočila AI-video zmogljivosti v realnem času, kar bo uporabnikom omogočilo, da postavijo vprašanja o svoji okolici (npr. “Kakšna vrsta rože je to?”).
OpenAI je prav tako najavil funkcijo, ki bo omogočila, da bo orodje Advanced Voice Mode razumelo videoposnetke. Sčasoma bo Advanced Voice Mode — premium funkcija v ChatGPT-ju — lahko analiziral videoposnetke v realnem času in pri odgovorih upošteval vsebino in kontekst vprašanja.