|
| 1 | +# Домашно 2 |
| 2 | + |
| 3 | +Сестрата на Декстър, Диди, успя да влезе в лабораторията на брат си и да обърка кода на агента, който той беше написал. Декстър отново се обръща към вас за помощ за да създадете още по-добър агент от изтрития. |
| 4 | + |
| 5 | +## Функционални промени |
| 6 | + |
| 7 | +Досега нямахме възможност да си говорим с нашия агент. Време е да добавим такава възможност. За целта обаче, трябва да се отървем от XML-а, и да го заменим с JSON. |
| 8 | + |
| 9 | +Имплементацията на класът `LLM` остава извън това, което трябва да имплементирате. В решението си оставете следния stub (ще го използвате в type hint-овете на агента): |
| 10 | + |
| 11 | +```python |
| 12 | +from collections.abc import Generator |
| 13 | +from typing import Any |
| 14 | + |
| 15 | + |
| 16 | +class LLM: |
| 17 | + def generate(self, user_message: dict[str, str]) -> Generator[dict[str, Any], None, None]: |
| 18 | + raise NotImplementedError |
| 19 | +``` |
| 20 | + |
| 21 | +Обект от класа все още ще се подава като аргумент на нашия агент. Методът `run` на агента вече приема потребителското съобщение като низ - `run(user_message: str)`. В него трябва да го форматирате като потребителско съобщение (виж по-долу) и да го подадете на метода `generate` на `LLM`. Като резултат ще получите поредица от съобщения на модела (отново като генератор). |
| 22 | + |
| 23 | +Първо ще дефинираме потребителското съобщение по следния начин: |
| 24 | + |
| 25 | +```json |
| 26 | +{ |
| 27 | + "content": <response_text>, |
| 28 | + "role": "user" |
| 29 | +} |
| 30 | +``` |
| 31 | + |
| 32 | +А това от модела, по следния начин: |
| 33 | + |
| 34 | +```json |
| 35 | +{ |
| 36 | + "model": <name_of_model>, |
| 37 | + "content": <response_text>, |
| 38 | + "role": "assistant", |
| 39 | + "finish_reason": null |
| 40 | +} |
| 41 | +``` |
| 42 | + |
| 43 | +Извикване на tool се случва по следния начин |
| 44 | + |
| 45 | +```json |
| 46 | +{ |
| 47 | + "model": <name_of_model>, |
| 48 | + "content": "", |
| 49 | + "role": "assistant", |
| 50 | + "tool_calls": [ |
| 51 | + { |
| 52 | + "tool_name": <tool_name_1>, |
| 53 | + "arguments": [ |
| 54 | + "arg1", "arg2", ... |
| 55 | + ] |
| 56 | + }, |
| 57 | + { |
| 58 | + "tool_name": <tool_name_2>, |
| 59 | + "arguments": [ |
| 60 | + "arg3", "arg4", ... |
| 61 | + ] |
| 62 | + } |
| 63 | + ], |
| 64 | + "finish_reason": "tool" |
| 65 | +} |
| 66 | +``` |
| 67 | + |
| 68 | +Вече ще поддържаме изпълнението на няколко tool-а в рамките на едно съобщение. За всеки tool агентът връща (`yield`) низ "Tool result: " и резултата от tool-а (например "Tool result: 9"). Резултатите **не** се изпращат обратно към модела. |
| 69 | + |
| 70 | +За край на отговор ще се връща: |
| 71 | + |
| 72 | +```json |
| 73 | +{ |
| 74 | + "model": <name_of_model>, |
| 75 | + "content": null, |
| 76 | + "role": "assistant", |
| 77 | + "finish_reason": "stop", |
| 78 | + "usage": { |
| 79 | + "completion_tokens": <usage> |
| 80 | + } |
| 81 | +} |
| 82 | +``` |
| 83 | + |
| 84 | +Логиката за изчисляване на използваните token-и вече е извън агента, ще бъде връщана от модела. |
| 85 | + |
| 86 | +`run` е генератор и връща (`yield`): |
| 87 | + |
| 88 | +- За съобщение от модела с `finish_reason` `null` - неговото `content`. |
| 89 | +- За край на отговор (`finish_reason` `"stop"`) - наредена двойка `("stop", <usage>)`, където `<usage>` е стойността на `completion_tokens`. След това агентът спира да обработва съобщенията от текущото извикване на `generate` - всички следващи съобщения от модела се игнорират (и не се записват в историята). |
| 90 | +- За всеки tool call - "Tool result: ...", "Memory written" или "Memory loaded: ..." (виж по-долу). |
| 91 | +- При грешка от tool (виж "Изключения") - текста на грешката. |
| 92 | + |
| 93 | +Друга важна промяна - достъпа до паметта ще е през tool call. Достъпването ще става през `read_memory`, а писането е през `write_memory`. Паметта остава в агента, като вече е речник с низове за ключ и стойност. |
| 94 | +Tool-овете `read_memory` и `write_memory` се обработват директно от агента, а не през `ToolRegistry` - не е нужно да бъдат регистрирани, и имат предимство пред tool-ове със същото име в `ToolRegistry`. |
| 95 | +`write_memory` приема ключ като първи аргумент, а стойността е останалите аргументи, слепени с интервал (например `["name", "Dexter", "Lab"]` записва `"Dexter Lab"` под ключ `"name"`). След записване агентът връща (`yield`) низа "Memory written". |
| 96 | +При прочитане на паметта (`read_memory` приема ключа като единствен аргумент), агентът връща (`yield`) низ "Memory loaded: " и съдържанието на паметта за дадения ключ. Ако ключът липсва в паметта, вместо съдържанието се използва "Memory not found" (т.е. низът е "Memory loaded: Memory not found"). Както и при останалите tool-ове, нищо от това не се изпраща към модела. |
| 97 | + |
| 98 | +Към агента вкарваме метод `read_memory()`, който връща копие на паметта на модела. |
| 99 | + |
| 100 | +Ще запазваме всички съобщения в агента - потребителските, всички съобщения от модела, както и грешките от tool-ове (виж "Изключения"). Можем да достъпим историята през метод `get_history()`, който връща копие на историята. |
| 101 | + |
| 102 | +Промени по резултата от `read_memory()` или `get_history()` не трябва да променят паметта или историята на агента. |
| 103 | + |
| 104 | +## Type hints |
| 105 | + |
| 106 | +Допишете type hints в сигнатурите на всички методи. Няколко бележки: |
| 107 | + |
| 108 | +- Аргументите на tool винаги са низове |
| 109 | +- Изпълнението на tool връща низ, булева променлива, число (цяло или с плаваща запетая) или `None` |
| 110 | + |
| 111 | +## Изключения |
| 112 | + |
| 113 | +Ще дефинираме следните изключения: |
| 114 | + |
| 115 | +- `UnknownToolError` - грешка, когато потърсим tool в `ToolRegistry`, който не съществува. Хвърля се с "{tool_name} is not found" |
| 116 | +- `ToolExecutionError` - хвърля се с "{tool_name} raised an error.", ако някой tool хвърли грешка по време на изпълнението си |
| 117 | + |
| 118 | +Агентът прихваща тези изключения и връща (`yield`) текста на грешката. Грешката се записва в историята като съобщение: |
| 119 | + |
| 120 | +```json |
| 121 | +{ |
| 122 | + "content": <error_text>, |
| 123 | + "role": "error" |
| 124 | +} |
| 125 | +``` |
| 126 | + |
| 127 | +Грешката **не** се изпраща към модела, а агентът продължава със следващия tool call (ако има такъв). |
| 128 | + |
| 129 | +## Пример |
| 130 | + |
| 131 | +Нека моделът отговаря със следните съобщения: |
| 132 | + |
| 133 | +```python |
| 134 | +class ScriptedLLM(LLM): |
| 135 | + def generate(self, user_message): |
| 136 | + yield {"model": "dexter-1", "content": "Let me compute that.", "role": "assistant", "finish_reason": None} |
| 137 | + yield { |
| 138 | + "model": "dexter-1", |
| 139 | + "content": "", |
| 140 | + "role": "assistant", |
| 141 | + "tool_calls": [ |
| 142 | + {"tool_name": "add", "arguments": ["2", "7"]}, |
| 143 | + {"tool_name": "write_memory", "arguments": ["name", "Dexter", "Lab"]}, |
| 144 | + {"tool_name": "read_memory", "arguments": ["name"]}, |
| 145 | + {"tool_name": "read_memory", "arguments": ["age"]}, |
| 146 | + {"tool_name": "multiply", "arguments": ["2", "3"]}, |
| 147 | + ], |
| 148 | + "finish_reason": "tool", |
| 149 | + } |
| 150 | + yield { |
| 151 | + "model": "dexter-1", |
| 152 | + "content": None, |
| 153 | + "role": "assistant", |
| 154 | + "finish_reason": "stop", |
| 155 | + "usage": {"completion_tokens": 42}, |
| 156 | + } |
| 157 | + yield {"model": "dexter-1", "content": "Ignored", "role": "assistant", "finish_reason": None} |
| 158 | +``` |
| 159 | + |
| 160 | +```python |
| 161 | +registry = ToolRegistry() |
| 162 | +registry.register("add", add) |
| 163 | + |
| 164 | +agent = Agent(ScriptedLLM(), registry) |
| 165 | + |
| 166 | +for result in agent.run("What is 2 + 7?"): |
| 167 | + print(result) |
| 168 | +``` |
| 169 | + |
| 170 | +Изход: |
| 171 | + |
| 172 | +``` |
| 173 | +Let me compute that. |
| 174 | +Tool result: 9 |
| 175 | +Memory written |
| 176 | +Memory loaded: Dexter Lab |
| 177 | +Memory loaded: Memory not found |
| 178 | +multiply is not found |
| 179 | +('stop', 42) |
| 180 | +``` |
| 181 | + |
| 182 | +Последното съобщение (`"Ignored"`) не се връща, защото е след края на отговора. |
| 183 | + |
| 184 | +```python |
| 185 | +>>> agent.read_memory() |
| 186 | +{'name': 'Dexter Lab'} |
| 187 | +>>> for message in agent.get_history(): |
| 188 | +... print(message) |
| 189 | +{'content': 'What is 2 + 7?', 'role': 'user'} |
| 190 | +{'model': 'dexter-1', 'content': 'Let me compute that.', 'role': 'assistant', 'finish_reason': None} |
| 191 | +{'model': 'dexter-1', 'content': '', 'role': 'assistant', 'tool_calls': [...], 'finish_reason': 'tool'} |
| 192 | +{'content': 'multiply is not found', 'role': 'error'} |
| 193 | +{'model': 'dexter-1', 'content': None, 'role': 'assistant', 'finish_reason': 'stop', 'usage': {'completion_tokens': 42}} |
| 194 | +``` |
| 195 | + |
| 196 | +Обърнете внимание, че грешката от tool-а е в историята **след** съобщението с tool call-овете, а последното съобщение (`"Ignored"`) липсва. |
| 197 | + |
| 198 | +## Всичко останало |
| 199 | + |
| 200 | +Всичко, което не е описано изрично тук, остава както в Домашно 1. Изключение е декораторът `observe` - той вече не е нужен. |
0 commit comments