Kui sirutad käe teiste asjade vahel seisva kruusi poole, algab haaramine ammu enne puudutust. Sõrmed võtavad sobiva kuju, käsi pöördub õigesse asendisse ja liigub takistustest mööda. Enamasti ei pea sa ühelegi neist liigutustest mõtlema. Robotile on aga juba see lühike teekond keeruline ülesanne, eriti kui kaamera näeb kruusist ainult üht külge.

Uus tehisarumudel DGS-Net aitab robotkäel just sellises olukorras haaret valida. Mudel ei otsusta üksnes seda, kuhu käsi lõpuks asetada, vaid ka seda, kuidas sõrmed enne esemeni jõudmist valmis sättida. Laborikatsetes õnnestus selle abil viiesõrmelisel käel ligikaudu neli haaramist viiest, kusjuures katseesemeid polnud mudel treenimise ajal näinud.

Harbini tehnoloogiainstituudi, Huawei ja Londoni King’s College’i teadlaste arXivis kirjeldatud töö ei tähenda veel, et kodu koristav robot oleks valmis. Küll aga näitab see, kuidas lahendada üht tema vältimatut argimuret: võtta ese teiste vahelt kätte olukorras, kus kogu vajalik info pole nähtaval.

Kaamera näeb pinda, käsi vajab haaret

Robotile ei piisa teadmisest, kus ese asub. Sama tähtis on see, millisest suunast läheneda, kui laiali sõrmed hoida ja kuhu paigutada käsi, et haare püsiks. Segamini laual lisandub veel üks tingimus: teel esemeni ei tohi sõrmed naaberesemete vastu põrgata.

DGS-Net saab sisendiks sügavuskaamera punktipilve ehk hulga ruumilisi punkte, mis kirjeldavad kaamerale nähtavaid pindu. See pole eseme täielik kolmemõõtmeline mudel. Tagumine külg ja teiste asjade varju jäävad osad võivad pildist puududa.

Siin tekib oluline vahe nähtava pinna ja sobiva haardekoha vahel. Kaameras paistvat punkti ei saa lihtsalt käe sihtmärgiks võtta: nii võib käsi sattuda eseme suhtes valesse kohta. Seepärast ennustab DGS-Net ka nihet nähtava tugipunkti ja käele sobiva haardekeskme vahel.

Nii kasutab mudel õpitud seoseid, et valida haare ka puuduliku vaate põhjal. Selleks ei pea ta esmalt taastama iga eseme terviklikku kuju ega vaja sisendis esemete eraldi väljapiiritlemist.

Miks täiesti avatud käsi pole alati hea lähtepunkt?

Viiesõrmelise robotkäe puhul pole küsimus ainult selles, kuhu see liigub. Loeb ka käe kuju liikumise ajal. Haarde lõppasend võib olla sobiv, ent sellest pole kasu, kui sõrmed teel sinna millegi vastu põrkavad.

DGS-Net ennustab seetõttu lisaks lõplikule haardele sõrmede asendi lähenemise ajaks. See meenutab inimese ettevalmistavat liigutust: kruusi poole sirutudes ei hoia me kätt tingimata lõpuni pärani, vaid hakkame sõrmi juba varem selle ümber sobitama. Robotile annab samalaadne ettevalmistus võimaluse teiste esemete vahel paremini manööverdada.

Teadlased kontrollisid simulatsioonis, kas sellest on ka mõõdetavat kasu. Kui mudeli valitud lähenemisasend asendati püsiva avatud käega, langes edukate haaramiste osakaal ligikaudu 80 protsendilt 70 protsendile. Selles katses polnud sõrmede eelnev sättimine seega pelgalt inimese liigutuse jäljendamine, vaid aitas robotil ülesandega paremini toime tulla.

Sajad tuhanded virtuaalsed haarded, 165 päris katset

Robotkäe õppematerjal loodi füüsikasimulaatoris. Esmalt otsisid autorid sobivaid haardeid üksikutele esemetele. Seejärel kontrollisid nad neid mitme esemega stseenides ja jätsid alles variandid, mille puhul sai käsi läheneda kokkupõrketa. Nii valmis andmestik, mis hõlmab 307 eset ja üle 350 000 simulatsioonis kontrollitud haarde.

Need suured arvud kirjeldavad virtuaalset harjutamist, mitte pärisrobotiga tehtud katseid. Füüsilises katses kasutati Franka FR3 robotmanipulaatorile kinnitatud viiesõrmelist DexHand Pro kätt. Laual oli korraga neli kuni kuus eset ning kokku katsetati 29 treenimisel nägemata eset 30 erinevas paigutuses.

Tulemus oli 131 õnnestunud haaramist 165 katsest ehk umbes 79 protsenti. Edukaks loeti katse siis, kui robot tõstis eseme vähemalt kümne sentimeetri kõrgusele. Seejuures ei kohandatud mudelit enne katseid täiendavalt pärismaailma andmetega.

Ka „üks vaatenurk” vajab siin täpsustust. Robot ei tühjendanud tervet lauda üheainsa pildi põhjal: pärast iga katset jäädvustati olukord uuesti ja valiti järgmine haare. Piiratud vaade tähendas seda, et iga konkreetse haarde kavandamiseks kasutati ühest vaatenurgast saadud infot.

Eseme kujust ei selgu veel, kuidas teda hoida

Tulemused näitavad edasiminekut, kuid katsete ulatus oli piiratud. Sama töökindlust ei saa nende põhjal eeldada suvaliste esemete või paigutuste korral. Lisaks keskendub mudel käe haardele: isegi hästi valitud haare võib jääda teostamata, kui kogu robotmanipulaatori ulatus või liikumistee seda ei võimalda.

Kaamera jätab vastuseta ka küsimused, mille inimene lahendab sageli puudutusega. Nähtavate pindade põhjal ei selgu piisavalt hästi, kui jäik või kare ese on või kuidas selle mass jaotub. Autorid soovivad seepärast lisada süsteemile puutetundlikkust.

DGS-Neti oluline samm on näidata, et edukas haaramine algab juba enne kontakti: käsi peab valmistuma nii esemeks kui ka teekonnaks selleni. Järgmine proovikivi ootab aga puudutuse hetkel. Robot peab õppima mitte ainult seda, kust tundmatut eset haarata, vaid ka seda, kui tugevasti ja millisel viisil teda hoida.

Artikkel valmis Yawni AI-agendi toimetamisel.