Гемини, АИ клијенти и нови Гоогле помоћник у Пикел-у 4

Недавно се све више говори о АИ агентима који примају команду и стварно извршавају задатак, укључујући потребне додире и преласке на вашем телефону. Овај разговор о изградњи АИ агента ме много подсећа на „нови Гоогле помоћник“ најављен са Пикел 4 2019.

На И/О 2019, Гоогле је дебитовао са овим помоћником следеће генерације. Хипотеза је била да би обрада звука на уређају учинила да се „тапкање за укључивање телефона осећа готово тромо“.

Гугл је показао једноставне команде које су укључивале отварање и контролу апликација, док је сложенија идеја била „како помоћник уграђен у уређај може да координише задатке у апликацијама“. Пример је био пријем долазног текста, одговарање путем гласа, а затим добијање идеје да се тражи пратећа слика и пошаље је. Могућност „покретања“ и „мултитаскинга“ је заокружена Гмаил-овом способношћу „састављања“ природног језика.

Овај помоћник следеће генерације ће вам омогућити да тренутно управљате телефоном својим гласом, обављате више задатака у различитим апликацијама и обављате сложене радње, све са практично нултом кашњењем.

Нови помоћник је лансиран на Пикел 4 касније те године и постао је доступан на свим наредним Гоогле уређајима.

• „Узми селфи“. Затим реците „Подели ово са Рајаном“.
• У нити конверзације реците „Одговори, на путу сам“.
• „Пронађи часове јоге на ИоуТубе-у.“ Затим реците: „Подели ово са мамом“.
• „Покажи ми имејлове од Мишел на Гмаил-у.“
• Док је апликација Гоогле слике отворена, реците „Покажи ми фотографије Њујорка“. Онда реци „они у Централ Парку.“
• Када је веб локација са рецептима отворена у Цхроме-у, можете да кажете „Потражите муффине са чоколадним орашастим плодовима“.
• Док је апликација за путовања отворена, реците „Хотели у Паризу“.

Ово је основна идеја иза АИ агената. Током прошломесечног позива компаније Алпхабет о заради, Сундар Пицхаи је упитан о утицају генеративне АИ на помоћника. Рекао је да ће то омогућити Гоогле Ассистант-у да „делује као прокси током времена“ и да „пређе одговоре и прати кориснике“.

према Информације Ове недеље, ОпенАИ ради на ЦхатГПТ проксију:

„Ове врсте захтева би подстакле агента да изврши кликове, померање курсора, куцање текста и друге радње које људи предузимају док раде са различитим апликацијама, према особи која је упозната са тим напором.

Затим, ту је зец великог акционог модела (ЛАМ) који је обучен за интеракцију са постојећим мобилним и десктоп интерфејсима како би извршио одређени задатак.

Верзија коју је увео Гоогле Ассистант 2019. изгледала је веома унапред програмирана, захтевајући од корисника да се посвете одређеним фразама уместо да допуштају људима да говоре природно, а затим аутоматски истичу радњу. У то време, Гоогле је рекао да Ассистант „беспрекорно ради са многим апликацијама“ и да ће „наставити да побољшава интеграције апликација током времена“. Колико знамо, то се никада није догодило, док неке од могућности које је показао Гугл више не раде због промене апликације. Прави агент ће моћи да се прилагоди уместо да се ослања на постављене услове.

Лако је видети како би ЛЛМ могао да побољша ово, јер је Гоогле Ресеарцх прошле године показао рад на „Омогућавање конверзацијске интеракције са корисничким интерфејсом за мобилне уређаје помоћу великих језичких модела„.

Гоогле истраживање је показало да је њихов приступ у стању да „брзо разуме намеру мобилног корисничког интерфејса“:

Занимљиво је да смо приметили да су студенти ЛЛМ користили своје претходно знање како би закључили информације које нису представљене у корисничком интерфејсу приликом креирања резимеа. У примеру испод, ЛЛМ је закључио да станице метроа припадају систему лондонске подземне железнице, док кориснички интерфејс за унос не садржи ове информације.

Такође може да одговори на питања о садржају који се појављује у корисничком интерфејсу и да га контролише након што добије упутства на природном језику.

Гемини АИ агент за ваш Андроид уређај биће природна еволуција првог Гоогле-овог, никада раније откривеног покушаја све-у-једном помоћника који нуди нови начин коришћења вашег телефона. Међутим, постоје функције као што је копирање одговора на поруку, а затим могућност да се каже „пошаљи“ директно у куцању гласом Гбоард помоћника.

Чини се да су претходни напори резултат тога што је Гугл каснио да смисли идеју, а није имао потребну технологију. Сада када смо стигли довде, Гоогле би мудро да да приоритет овим напорима како би могао да почне да води у пољу уместо да игра сустизање.