Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego rdzenia jego architektury. U podstaw leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten cykl powtarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę własnego głosu konsultacyjnego agenta. To on interpretuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i proponuje kolejność ich realizacji. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje konkretnych danych spoza swojej pamięci treningowej.
Interesującym elementem architektury jest tak zwana pamięć operacyjna, w której agent trzyma tło bieżącego zadania. Dzięki niej nie gubi nici nawet wtedy, gdy proces rozciąga się na kilka etapów i potrzebuje przełączania między różnymi źródłami informacji. To właśnie ta zdolność wyróżnia agenta od prostego skryptu, który odtwarza jedynie z góry ustaloną listę poleceń.
Osobną kwestią pozostaje sposób ewaluacji własnych działań. Dobrze skonstruowany agent potrafi rozpoznać, że otrzymany wynik nie zgadza się od oczekiwanego, i cofnąć się do wcześniejszego etapu, by podjąć próbę innej ścieżki. Taka autokorekta przybliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej złożeniem.