Má vlastní vibecoded RPA šanci proti Claude Computer Use? 2. díl

S Raspberry Pi jsem začal v roce 2017. První Raspberry, typ Raspberry Pi Zero W, jsem si objednal z britského e-shopu Pimoroni a tehdy stálo cca 10 liber. Po vložení SD karty s operačním systémem a připojení USB myši, klávesnice a monitoru přes HDMI to byl relativně použitelný počítač.

Výhodou Raspberry (mimo malých rozměrů) je snadné připojení periferií typu čidla, kamery, displeje nebo součástek pro práci s elektrickými obvody a proudy (tím myslím H-můstky, automation HATy apod.). I když je k Raspberry na internetu dost příkladů softwaru, někdy zprovoznění trvalo opravdu dlouho a některé příslušenství se mi vůbec nepodařilo oživit nebo projekt dotáhnout do životaschopné podoby. V době před AI mi velmi pomohl článek „Pojďme programovat elektroniku: Špionážní tank s nočním viděním“ od Jakub Čížek, kde bylo vysvětleno, jak pracovat s H-můstkem, řídit Raspberry na dálku z jiného počítače, zapojit kameru a další věci, včetně dobře použitelného a srozumitelného kódu. Mnohokrát jsem toto řešení modifikoval pro dálkové řízení LEGO vlaků a modelů lodí.

Dnes je s AI programování Raspberry mnohem jednodušší, což je konkrétně pro mě skvělé, protože software býval obvykle větším limitem než hardware.
Když jsem přemýšlel, jak vytvořit fyzického robota pro práci s Legito, Raspberry Pi tedy byla jasná volba.

Vedle psaní na klávesnici bylo třeba přesné řízení pohybu myši a spolehlivé „klikání“ a zároveň jsem chtěl, aby to bylo řešení oddělené od počítače, na kterém běží aplikace. Do sestavy jsem proto přidal Raspberry Pi Pico. Pico lze koupit za cca 170 Kč. V aktuálním setupu je Pico připojené k Raspberry Pi 5 přes GPIO piny (UART), zatímco k Raspberry Pi 400, na kterém běží cílová aplikace, se hlásí přes USB jako standardní klávesnice a myš. V praxi tak funguje jako most mezi „mozkem“ a počítačem, který robot ovládá.

"Mozek", tedy Raspberry Pi 5, posílá Pico jednoduché textové příkazy (např. pohyb myši, kliknutí nebo psaní textu) a Pico je okamžitě převádí na USB HID reporty. Z pohledu cílového stroje to vypadá, jako by u něj seděl člověk s fyzickou klávesnicí a myší.

Firmware na Pico je napsaný v C (pico-sdk + TinyUSB). Hlavní smyčka je jednoduchá - čte příkazy z UARTu, zpracuje je a pošle odpovídající HID události přes USB. Díky tomu mám plnou kontrolu nad časováním i přesností jednotlivých akcí. Pico je tedy rukou, která vykonává příkazy přesně a opakovatelně.

Příště se budu věnovat Raspberry Pi 400, tedy Pi zabudovanému rovnou v klávesnici.

hashtag
#RPA
hashtag
#CLM
…more