Počuli ste už o Morecovom paradoxe? Paradox uvádza, že pokročilé zdôvodnenie si vyžaduje veľmi malú výpočtovú silu pre systém umelej inteligencie (AI), pričom implementácia vnímavých motorových zručností, ktoré ľudia považujú za samozrejmé, si vyžadujú obrovské výpočtové zdroje. V podstate sú zložité logické úlohy pre AI jednoduchšie ako základné zmyslové úlohy, ktoré môžu ľudské inštinkty splniť. Tento paradox v tejto fáze zdôrazňuje rozdiel medzi AI a ľudskými kognitívnymi schopnosťami.
Ľudia sú vo svojej podstate multimodálni. Každý z nás je ako inteligentný terminál, ktorý zvyčajne potrebuje ísť do školy, aby bol vzdelaný (vyškolený), ale účelom a výsledkom tohto školenia a učenia je, že máme schopnosť pracovať a žiť autonómne bez toho, aby sme sa vždy spoliehali na vonkajšie pokyny a ovládanie.
Dozvieme sa o svete okolo nás prostredníctvom viacerých zmyslových modalitov, ako sú zrak, reč, zvuk, dotyk, chuť a vôňa, aby sme analyzovali, rozum, rozhodovali a konali.
Po rokoch fúzie senzorov a vývoja AI sú roboty v tejto fáze do značnej miery vybavené multimodálnymi senzormi. Keď prinášame viac výpočtovej energie na okrajové zariadenia, ako sú roboty, tieto zariadenia sa stávajú múdrejšími a inteligentnejšími, schopnými snímať svoje okolie, porozumenie a komunikáciu v prirodzenom jazyku, získavajú haptiku prostredníctvom digitálnych snímačov, ako aj snímanie špecifickej sily robota, Uhlová rýchlosť a dokonca aj magnetické pole okolo robota kombináciou akcelerometre, gyroskopov a magnetometre a ďalších.
Smerom k novej ére robotiky a kognície stroja
Pred transformátormi a veľkými jazykovými modelmi (LLMS) si implementácia multimodality v AI zvyčajne vyžadovala použitie viacerých samostatných modelov zodpovedných za rôzne typy údajov (text, obrázky, zvuk) a integráciu rôznych modalít prostredníctvom zložitého procesu.
S príchodom transformátorových modelov a LLM sa multimodalita stala integrovanejšou, čo umožňuje jedinému modelu súčasne spracovať a porozumieť viacerým typom údajov, čo vedie k systémom AI, ktoré sú schopné komplexnejšie snímať svoje prostredie. Tento posun výrazne zlepšil účinnosť a účinnosť multimodálnych aplikácií AI.
Zatiaľ čo LLM, ako napríklad GPT -3, sú primárne založené na texte, priemysel dosiahol rýchly pokrok smerom k multimodalite. Z klipu OpenAi a Dall-E a teraz Sora a Gpt -4 o sú príklady modelov, ktoré sa posunuli smerom k multimodalite a prirodzenejšej interakcii s ľudskými počítačmi. Napríklad Clip chápe obrázky spárované s prirodzeným jazykom, a tak preklenuje priepasť medzi vizuálnymi a textovými informáciami; Cieľom Dall-E je generovať obrázky na základe textových popisov. Vidíme model Google Gemini, ktorý prechádza podobným vývojom.
V roku 2024 sa multimodálny vývoj zrýchľuje. Vo februári vydal OpenAI Sora, ktorý generuje realistické alebo imaginatívne videá na základe textových popisov. Keď o tom premýšľate, mohlo by to poskytnúť sľubnú cestu k budovaniu simulátorov univerzálnych svetov alebo sa stať dôležitým nástrojom pre výcvik robotov. Po troch mesiacoch GPT -4 o výrazne zlepšila výkon interakcie človeka-robotu a je schopná uvažovať v reálnom čase medzi zvukom, víziou a textom. Kombinácia informácií o texte, vizuálnych a zvukových informáciách na školenie nového modelu End-to-end eliminuje dva modálne prechody z vstupnej modality na text a potom z textu na výstupnú modalitu, čo zase dramaticky zlepšuje výkon.
V tom istom týždni vo februári vydal Google Gemini 1.5, ktorý dramaticky rozšíril dĺžku kontextu na 1 milión tokenov. To znamená, že 1.5 Pro dokáže spracovať veľké množstvo informácií naraz, vrátane hodiny videa, 11 hodín zvuku a kodefázy, ktorá obsahuje viac ako 30, 000 riadkov kódu alebo 700, 000 Words.Gemini 1.5 je postavený na poprednom výskume spoločnosti Google o architektúre expertov Transformer a zmiešaného člena (MOE) a otvorených zdrojov 2B a 7B, ktoré je možné nasadiť na strane okraja. Na konferencii I/O Google v máji, okrem zdvojnásobenia dĺžky kontextu a uvoľnenia série generatívnych nástrojov a aplikácií AI, spoločnosť Google preskúmala svoju víziu pre budúcnosť projektu Astra, všeobecného asistenta AI, ktorá spracováva multimodálne informácie , chápe kontext, v ktorom je užívateľ umiestnený, a interaguje s ľuďmi vo rozhovoroch veľmi prirodzeným spôsobom.
Ako spoločnosť za otvoreným zdrojom LLM Llama sa Meta tiež pripojí k skladbe General Artificial Intelligence (AGI).
Táto skutočná multimodalita výrazne zvyšuje úroveň strojovej inteligencie a povedie k novým paradigmám pre mnoho priemyselných odvetví.
Napríklad roboti boli veľmi homogénni, s niektorými senzormi a schopnosťami lokomócie, ale vo všeobecnosti nemali „mozog“, aby sa naučili nové veci a prispôsobili sa neštruktúrovaným a neznámym prostrediam.
Očakáva sa, že multimodálne LLM transformujú schopnosť robotov analyzovať, učiť sa a učiť sa, presúvať ich od špecializácie na zovšeobecnenie. PC, servery a smartfóny sú vodcami vo všeobecných výpočtových platformách a môžu spustiť mnoho rôznych druhov softvérových aplikácií, aby sa dosiahla široká škála funkcií. Zovšeobecnenie pomôže rozšíriť, vytvárať úspory z rozsahu a ceny sa dajú dramaticky znížiť, keď sa rozšíria, čo vedie k cnostnému cyklu adopcie vo viacerých oblastiach.
Elon Musk si všimol výhody zovšeobecnenej technológie na začiatku, keď sa roboti spoločnosti Tesla vyvinuli z Bumblebee v roku 2022 na Optimus Gen 1, oznámené v marci 2023 a Gen 2, oznámené na konci roku 2023, s neustále sa zvyšujúcou všestrannosťou a učebnými schopnosťami. V minulosti 6-12 mesiacov sme boli svedkami niekoľkých prielomov v oblasti robotiky a humanoidnej robotiky.
Nové technológie za robotikou novej generácie a stelesnená inteligencia
Niet pochýb o tom, že ešte stále musíme urobiť veľa práce, kým stelesnení spravodajská služba dosiahne hromadnú výrobu. Potrebujeme ľahšie návrhy, dlhšie runtime a rýchlejšie a výkonnejšie výpočtové platformy na spracovanie a poisťovanie údajov o senzoroch, aby sme robili včasné rozhodnutia a riadili akcie.
A my sa pohybujeme smerom k vytváraniu humanoidných robotov; Tisíce rokov ľudskej civilizácie vytvorili všadeprítomné prostredie určené pre ľudí a očakáva sa, že humanoidné robotické systémy budú schopné pohodlne interagovať s ľuďmi a životným prostredím a vykonávať požadované operácie v prostredí vystavujúcich človeku kvôli ich podobnosti vo forme ľudí. Tieto systémy budú vhodné na zvládnutie špinavých, nebezpečných a nudných úloh, ako je starostlivosť o pacienta a rehabilitácia, služby v oblasti pohostinstva, učebné pomôcky alebo učebné spoločníci vo vzdelávacej oblasti a nebezpečné úlohy, ako je reakcia na katastrofy a manipulácie s nebezpečnými materiálmi . Takéto aplikácie využívajú ľudské atribúty humanoidu na uľahčenie prírodných interakcií s ľudskými robotmi, pôsobia v priestoroch zameraných na človeka a vykonávajú úlohy, ktoré sú pre tradičné roboty často ťažké.
Mnoho spoločností AI a robotík zakladá nový výskum a spoluprácu v súvislosti s tým, ako školiť robotov, aby lepšie odôvodnili a plánovali v nových neštruktúrovaných prostrediach. Keďže nové „mozgy“ robotov majú modely, ktoré sú vopred trénované na veľké množstvo údajov v rôznych dynamických prostrediach.
Ako zaujímavý príklad, robotský pes Boston Dynamics, Spot, môže pôsobiť ako sprievodca v múzeu, interagovať s návštevníkmi, predstaviť ich rôznym exponátom a odpovedať na ich otázky. Môže byť ťažké uveriť, ale v tomto prípade je zábavné, interaktívne a jemné predstavenia spoločnosti Spot dôležitejšie ako zabezpečenie toho, aby boli fakty správne.
Robotický transformátor: Nový mozog robotiky
Robotický transformátor (RT) sa rýchlo vyvíja, aby prekladal multimodálne vstupy priamo do kódu, ktorý je možné vykonať. RT -2 Google DeepMind vykonáva rovnako ako jeho predchodca, RT -1, s takmer 100% úspešnosťou pri vykonávaní úloh, ktoré boli predtým vidieť. Ak je však trénovaný s Palm-E (modelom s multimodálnym jazykovým modelom orientovaným na roboty) a Pali-x (rozsiahly viacjazyčný vízia a jazykový model, ktorý nie je špeciálne navrhnutý pre roboty), RT -2 má lepšie zovšeobecnenie schopností zovšeobecnenia a prekonáva RT -1 na neviditeľných úlohách.
Spoločnosť Microsoft predstavila Llava, rozsiahlu asistent jazyka a videnia. Llava, pôvodne navrhnutá pre textové úlohy, využíva silu GPT -4 na vytvorenie nového paradigmy pre multimodálne pokyny na dodržiavanie údajov, bezproblémovo integráciu textových a vizuálnych komponentov, ktoré môžu byť užitočné pre robotické úlohy. Po svojom úvode spoločnosť Llava stanovila nové záznamy pre multimodálne chatovacie a vedecké kvízovacie úlohy, ktoré už presahujú kapacity ľudského priemeru.
Ako už bolo spomenuté, Tesla's Rating do Humanoidu a AI na všeobecných robotikách je významný nielen preto, že je určený pre mierku a hromadnú výrobu, ale aj preto, že si môže byť použitý silný plne vlastný riadenie (FSD) Technology Foundation of Tesla's Autopilot for Automobily pre automobily pre automobily roboty. Spoločnosť Tesla má tiež prípad inteligentného výrobného použitia na aplikáciu Optimus na svoj nový proces výroby energetických vozidiel.
Arm je základným kameňom budúcnosti robotiky
Arm verí, že robotický mozog, „veľký mozog“ a „malý mozog“, by mal byť heterogénny počítačový systém AI, ktorý poskytuje vynikajúci výkon, reakciu v reálnom čase a energetickú účinnosť.
Robotika zahŕňa širokú škálu úloh, vrátane základných výpočtov (napr. Odosielanie a prijímacie signály do az motorov), pokročilé spracovanie údajov (napr. Interpretácia údajov o obraze a senzoroch) a spustenia spomenutých multimodálnych LLM uvedených vyššie. CPU je vhodný pre všeobecné účely úloh, zatiaľ čo plynové pedále AI a GPU môžu efektívnejšie zvládnuť úlohy paralelne spracovania, ako je strojové učenie (ML) a grafické spracovanie. Na vylepšenie možností videnia robota a účinnosti skladovania/prenosu môžu byť tiež integrované ďalšie plynové pedále, ako sú procesory obrazových signálov a video kodeky. Okrem toho by CPU mala mať citlivosť v reálnom čase a musí byť schopná prevádzkovať operačné systémy, ako sú balíčky Linux a ROS.
Pri rozšírení na zásobník robotického softvéru môže vrstva operačného systému vyžadovať aj operačný systém v reálnom čase (RTO), ktorý dokáže spoľahlivo zvládnuť časovo kritické úlohy, ako aj distribúciu Linuxu prispôsobeného pre robotiku, ako je ROS, ktorý môže poskytnúť Služby určené pre heterogénne výpočtové zoskupenia. Sme presvedčení, že štandardy a certifikačné programy sponzorované ARM, ako sú SystemReady a PSA certifikované, pomôžu rozšíriť vývoj robotického softvéru. Spoločnosť SystemReady je navrhnutá tak, aby zabezpečila, že distribúcie štandardných bohatých OS spúšťajú na širokej škále systémov na čips (SOC) založených na architektúre ARM, zatiaľ čo certifikát PSA pomáha zjednodušiť riešenia zabezpečenia zabezpečenia, aby splnili regionálne bezpečnostné a regulačné požiadavky na pripojené zariadenia.
Pokroky vo rozsiahlych multimodálnych modeloch a generatívnej AI hlási novú éru vo vývoji robotov AI a humanoidných robotov. Spolu s výpočtami AI a ekosystémom, energetická účinnosť, bezpečnosť a funkčná bezpečnosť sú nevyhnutné na to, aby robotika v tejto novej ére tvorila hlavné prúdy. Procesory ARM sa už široko používajú v robotike a tešíme sa na úzku spoluprácu s ekosystémom, aby sa ARM stala základným kameňom budúcnosti robotiky AI.