Gemini vai entender o que está na sua tela – no Android, se você deixar

O Google anunciou uma grande atualização do Gemini, seu modelo de inteligência artificial (IA), no evento Pixel 9 nesta terça-feira (13). E a integração entre a IA e o Android ficou mais profunda, segundo a empresa.

A novidade, esmiuçada numa postagem do blog do Google, é que o Gemini vai entender o que está na tela do celular do usuário. É semelhante ao que a Apple anunciou enquanto demonstrava o Apple Intelligence na WWDC 2024.

'Ok, Google' fica esperto com integração mais profunda entre Gemini e Android

A integração mais profunda entre Gemini e Android pode deixar a IA mais eficiente. Após os usuários tocarem em "Perguntar sobre esta tela" ou "Perguntar sobre este vídeo" (tradução livre) – que aparecem com o "Ok, Google" – o Gemini consegue fornecer informações e extrair detalhes do que estiver na tela, segundo o Google.

Digamos que você está se preparando para uma viagem ao exterior e acabou de assistir a um vlog de viagem. Toque em "Perguntar sobre este vídeo" e peça uma lista de todos os restaurantes mencionados no vídeo. E peça ao Gemini para adicioná-los ao Google Maps. Sissie Hsiao, vice-presidente e gerente geral de experiências Gemini e Google Assistente, no blog do Google

Hsiao acrescenta que graças a "integrações profundas" entre Gemini e Android, a IA pode fazer mais do que apenas ler a tela. A IA pode interagir com aplicativos, escreve ela. "Por exemplo, você pode arrastar e soltar imagens que o Gemini gera diretamente em aplicativos como Gmail e Google Messages."

Leia mais:

• IA do Gemini vai turbinar as casas inteligentes do Google
• 5 dicas para se proteger ao usar ChatGPT, Google Gemini e outras IAs
• Como migrar do Google Assistente para o Gemini?

Novas extensões

Além do Gemini Live – modo de conversa por voz também lançado nesta terça – o Google anunciou outros recursos para seu assistente de IA. Entre eles, estão novas extensões (que virão "nas próximas semanas") para aplicativos como Keep, Tasks e YouTube Music.

"Digamos que você está organizando um jantar. Peça ao Gemini para encontrar aquela receita de lasanha que Jenny enviou para você no seu Gmail, e peça para adicionar os ingredientes à sua lista de compras no Keep", escreve Hsiao.

E ela vai além: "Já que seus convidados são seus amigos da faculdade, peça ao Gemini para 'fazer uma playlist de músicas que me lembrem o final dos anos 90'. Sem precisar de muitos detalhes, o Gemini capta a essência do que você quer e entrega."