Code Club #3: Zašto AI agenti padaju na upravljanju kontekstom?

U prepunom CroAI HQ-u, gost predavač Luka Kladarić, iskusan stručnjak za cloud infrastrukturu i bivši CTO (Noom, Hitlist), odmah je uvodno srušio čestu zabludu: AI agenti ne zakazuju zato što su modeli loši, već zato što je upravljanje kontekstom u praksi potpuni nered.

Iako alati poput ChatGPT-ja i Claudea prodaju "memoriju" kao ugrađenu značajku, ta je memorija uglavnom skriveno stanje (hidden state) koje korisnik ne može pregledati, uređivati niti pratiti kroz verzije. Modeli rade sjajno dok sjedite za stolom, ali sustav puca čim se odmaknete jer stvarni kontekst ostaje zarobljen u privremenoj sesiji.

Ključni naglasci s predavanja i demonstracija:

• Strukturirana baza znanja: Umjesto oslanjanja na kratkotrajnu memoriju unutar jedne LLM sesije, predstavljen je pristup građenja trajnog sustava znanja koji omogućuje čisto prebacivanje između više potpuno odvojenih radnih tijekova.

• Alati u praksi: Kroz live demo i alate kao što su NanoClaw, Obsidian i Claude, Kladarić je pokazao praktične primjere organizacije osobnih i poslovnih slojeva konteksta.

• Izbjegavanje truljenja konteksta (context rot): Raspravljalo se o tome kako spriječiti situacije u kojima agent gubi nit i počinje miješati irelevantne informacije iz prošlih zadataka.

Fokus na stvarne inženjerske probleme, a ne na hype

Kladarić, koji svoja oštra inženjerska mišljenja redovito dijeli na svom newsletteru chaosguru.substack.com, privukao je publiku koja je aktivno sudjelovala u raspravi. Postavljeno je mnoštvo tehničkih pitanja o samoj implementaciji, optimizaciji tokena i postavljanju infrastrukture.

Događaj je još jednom potvrdio da domaća developerska zajednica ima veliku potrebu za naprednim tehničkim raspravama koje adresiraju stvarne probleme u produkciji, daleko od generičkih marketinških priča o umjetnoj inteligenciji.

Veliko hvala Luki Kladariću na izvrsnom predavanju te Valentini Zadriji i Hermanu Zvonimiru Došiloviću na organizaciji i moderiranju još jednog uspješnog inženjerskog susreta. Vidimo se na idućem Code Clubu!