Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego serca jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten cykl powtarza się kilkakrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu doradczego agenta. To on interpretuje polecenia użytkownika, dzieli złożone zadanie na drobniejsze podzadania i proponuje kolejność ich realizacji. Otoczenie modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga precyzyjnych danych spoza swojej pamięci treningowej.
Ciekawym elementem architektury jest tak zwana pamięć robocza, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy procedura rozciąga się na kilka etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność odróżnia agenta od podstawowego skryptu, który odtwarza jedynie wcześniej ustaloną listę poleceń.
Oddzielną sprawą pozostaje mechanizm oceny własnych działań. Odpowiednio skonstruowany agent jest w stanie zidentyfikować, że otrzymany wynik nie zgadza się od zamierzonego, i wrócić do poprzedniego etapu, by podjąć próbę alternatywnej ścieżki. Taka autokorekta zbliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej oddaniem.