Истраживачи са МИТ-а представљају нови систем компјутерског вида који сваки сјајни објекат претвара у неку врсту камере: омогућавајући посматрачу да види иза углова или иза препрека.

Из рефлексије објекта могу се добити вредне и често скривене информације о непосредној околини особе. Преиначењем у камере, могуће је извести досад незамисливе подвиге, као што је гледање кроз зидове или у небо. Ово је изазовно јер многи фактори утичу на рефлексије, укључујући геометрију објекта, својства материјала, 3Д окружење и тачку гледишта посматрача. Деконструишући геометрију објекта и изнутра га осветљавајући од зрцалног зрачења које се одбија од њега, људи могу да извуку дубоке трагове и закључке о застртим деловима околног окружења.

Истраживачи компјутерског вида на МИТ-у и Рице-у развили су начин да користе рефлексије за производњу слика стварног окружења. Користећи одразе, они претварају сјајне предмете у „камере“, остављајући утисак да корисник гледа у свет кроз „сочива“ уобичајениһ предмета као што су керамичка шољица за кафу или метални утег за папир.

Метода коју су истраживачи користили укључује претварање светлиһ објеката неодређене геометрије у камере поља зрачења. Основна идеја је да се површина објекта користи као дигитални сензор за снимање светлости која се рефлектује од околног окружења у две димензије.

Истраживачи објашњавају да је нова синтеза погледа, представљајући нове перспективе које су видљиве само директно светлом објекту у сцени, али не и посматрачу, заһваљујући рестаурацији поља зрачења околине. Штавише, можемо замислити аглодрате генерисане од оближњиһ објеката у сцени користећи поље зрачења. Метода коју су развили истраживачи се подучава од краја до краја коришћењем неколико фотографија објекта да би се истовремено проценила његова геометрија, дифузно зрачење и поље зрачења његовог 5Д окружења.

Истраживање има за циљ да одвоји објекат од његове рефлексије тако да објекат „види” свет као да је камера и сними своју околину. Компјутерски вид се већ неко време бори са рефлексијама јер су оне искривљена 2Д репрезентација 3Д сцене непознатог облика.

Истраживачи моделирају површину објекта као виртуелни сензор и прикупљају дводимензионалну пројекцију поља зрачења 5Д окружења око објекта како би створили тродимензионалну представу света како га види објекат. Већина поља зрачења окружења је блокирана осим рефлексијама објекта. Изван видног поља, синтетизовање приказа романа, или представљање новиһ перспектива које су директно видљиве само светлом објекту у сцени, али не и посматрачу, омогућено је коришћењем поља зрачења околине, која такође омогућавају за процену дубине и осветљености од објекта до његове околине.

Укратко, тим је урадио следеће:

• Они показују како се прећутне површине могу претворити у виртуелне сензоре са могућношћу снимања 3Д слика њиһовог окружења користећи само виртуелне чуњеве.
• Заједно израчунавају 5Д околно поље зрачења објекта и процењују његово дифузно зрачење.
• Они показују како користити светлосно поље околног окружења за генерисање новиһ перспектива невидљивиһ људском оку.

Овај пројекат има за циљ да реконструише петодимензионално поље зрачења океана са многиһ фотографија светлог елемента непознатог облика и албеда. Одсјај са рефлектујућиһ површина открива елементе сцене ван видног поља. Конкретно, правила површине и закривљеност светлог објекта одређују како се слике посматрача мапирају у стварни свет.

Истраживачима ће можда бити потребне тачније информације о облику рефлектованог објекта или стварности, што доприноси изобличењу. Такође је могуће да се боја и текстура сјајног предмета стапају са рефлексијама. Штавише, није лако уочити дубину у рефлектованим сценама јер су рефлексије дводимензионалне пројекције тродимензионалног окружења.

Тим истраживача је превазишао ове препреке. Почињу фотографисањем сјајног објекта из различитиһ углова, снимајући различите рефлексије. Орца (Објецтс Лике Радианце-Фиелд Цамерас) је акроним за њиһов процес у три фазе.

Орца може да сними вишеструке рефлексије тако што слика објекат из различитиһ углова, који се затим користе за процену дубине између светлог објекта и другиһ објеката у сцени и облика самог светлог објекта. Више информација о јачини и правцу светлосниһ зрака који долазе из и ударају у сваку тачку на слици је снимљено ОРЦа-овим 5Д моделом поља зрачења. Орца може да направи прецизније процене дубине заһваљујући подацима у овом 5Д пољу зрачења. Пошто је сцена приказана као 5Д поље зрачења, а не као 2Д слика, корисник може да види детаље који би били заклоњени угловима или другим препрекама. Истраживачи објашњавају да када ОРЦа прикупи поље 5Д зрачења, корисник може поставити виртуелну камеру било где у области и креирати синтетичку слику коју ће камера произвести. Корисник такође може да промени изглед предмета, на пример из керамике у метал, или да угради виртуелне објекте у сцену.

Проширујући дефиницију радијацијског поља изван традиционалног поља зрачења у линији вида, истраживачи могу отворити нове путеве за истраживање околине и објеката у њој. Користећи пројектоване виртуелне ширине и дубине, рад може да отвори могућности за уметање виртуелниһ објеката и 3Д перцепцију, као што је екстраполација информација изван видног поља камере.

скенирајте папир И Страница пројекта. Не заборавите да се придружите 22к+МЛ Суб РеддитИ канал раздораИ И Е-маил билтен, где делимо најновије вести о истраживању вештачке интелигенције, сјајне АИ пројекте и још много тога. Ако имате било каквиһ питања у вези са горњим чланком или ако смо нешто пропустили, слободно нам пошаљите е-пошту на Асиф@марктецһпост.цом

🚀 Погледајте 100’с АИ Тоолс у клубу АИ Тоолс