Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten cykl odtwarza się wielokrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu konsultacyjnego agenta. To on odczytuje instrukcje użytkownika, dzieli złożone zadanie na mniejsze podzadania i sugeruje kolejność ich realizacji. Środowisko modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje precyzyjnych danych spoza swojej pamięci treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć robocza, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie gubi wątku nawet wtedy, gdy proces rozciąga się na wiele etapów i wymaga przełączania między różnymi źródłami informacji. To właśnie ta umiejętność odróżnia agenta od prostego skryptu, który wykonuje jedynie wcześniej zapisaną listę poleceń.
Osobną kwestią pozostaje mechanizm oceny własnych działań. Odpowiednio zbudowany agent potrafi zidentyfikować, że otrzymany wynik odbiega od zamierzonego, i cofnąć się do poprzedniego etapu, by podjąć próbę alternatywnej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej złożeniem.