第四章习题

[EverySeptember]

习题1

1. ReAct的执行步骤实际上是一次性出方案，然后调用工具来验证并更正自己的猜想；它的思考部分是智能体自身，执行部分来自于外界，然后通过观察执行结果再次进行思考
   Plan-And-Solve和Reflection的思考和执行都是智能体自身完成
   Plan-And-Solve的思考部分是由一个主智能体对任务进行分析并拆分为执行步骤子任务，然后执行部分分步骤执行子任务
   Reflection的执行步骤是先行动，再纠正；思考部分，实际是由评审者负责的，它负责对执行部分的产物进行评审，执行部分根据评审结果再进行更正
2. 我会选用Plan-And-Solve作为基础架构，执行部分交由ReAct架构进行处理
   首先智能家居的控制并不是单一行动，每次行动都是由多个子任务编排而成的复杂任务，比如用户回家：根据当前天气，是否打开窗帘、新风系统，客户是否在出门前放了衣服到洗衣机里决定是否开始洗衣服，客户回家后的习惯动线，决定打开那些灯等等；这些使用Plan-And-Solve架构进行任务拆分显然更合适，然后单一任务由ReAct架构去执行，它能更好的观察和影响环境
3. 以编程智能体为例，由Plan-And-Solve架构作为基础架构，在用户提出需求之后，首先制定执行方案，在制定方案过程中所需的资料交由ReAct智能体进行查询反馈；方案制定过程中混合Reflection进行评审；方案制定完成之后执行部分交由ReAct执行

习题2

1. 智能体不按照要求的格式进行输出，或者在思考内容中出现了目标格式，导致正则解析失败，获取不到想要的内容；Action部分输出的工具错误或者参数错误，造成程序调用异常；工具输出异常内容，造成上下文污染
2. 结构化文本输出，如要求智能体按照JSON格式进行输出，在获取到响应内容时进行JSON解析，解析失败则重申要求；解析成功则按照目标结构的字段执行下一步动作

REACT_PROMPT_TEMPLATE = """
请注意，你是一个有能力调用外部工具的智能助手。

可用工具如下:
{tools}

请严格按照以下格式进行回应:
{{
    "thought": "你的思考过程，用于分析问题、拆解任务和规划下一步行动。",
    "action": {{
        "tool_name": "你要调用的工具名称",
        "tool_input": [
            "你要调用的工具所需的参数，可以有多个"
        ],
        "finish": "当你收集到足够的信息，能够回答用户的最终问题时，将最终答案输出到finish字段中"
    }}
}}

现在，请开始解决以下问题:
Question: {question}
History: {history}
"""

def _parse_output(text: str):
    """
    解析LLM的输出，提取Thought和Action
    """
    try:
        output_dict = json.loads(text)
    except json.decoder.JSONDecodeError:
        return None, None

    return output_dict['thought'], output_dict['action']

习题3

def caculator(num1: float, num2: float, operator: str) -> float | str:
    """
    仅支持加减乘除的简易计算器，根据传入的operator运算符对num1和num2进行数学运算
    """
    num1, num2, operator = float(num1), float(num2), operator.strip()
    if operator == "+":
        return num1 + num2
    elif operator == "-":
        return num1 - num2
    elif operator == "*":
        return num1 * num2
    elif operator == "/":
        return num1 / num2
    else:
        raise TypeError(f"未知的操作符：{operator}")

caculator_description = "一个仅支持加减乘除的简易计算器，根据传入的operator运算符对num1和num2进行数学运算。Example: caculator(1, 2, '/')"
tool_executor.register_tool("caculator", caculator_description, caculator)

tool_function = self.tool_executor.get_tool(tool_name)
if not tool_function:
    observation = f"错误：未找到名为 '{tool_name}' 的工具 - 可用工具列表\n{tool_desc}"
    print(observation)
    self.history.append(f"- {{ 'action': {action}, 'observation': {observation} }}")
    continue

try:
    observation = tool_function(*tool_input)
except TypeError as e:
    observation = f"错误：调用 '{tool_name}' 参数错误 - {e}，\n工具使用描述：{tool_desc}"
    print(observation)
    self.history.append(f"- {{ 'action': {action}, 'observation': {observation} }}")
    continue

3. 对工具标记标签，将所有可用标签添加到prompt中，然后只给智能体提供“根据标签检索可用工具”一个工具，让智能体执行工具检索工具来获取工具

习题4

# Planner
PLANNER_PROMPT_TEMPLATE = """
...
问题: {question}
执行历史：
{history}
...
"""
...
def plan(self, question: str, history: str = "") -> List[str]:
    """
    根据用户问题生成一个行动计划
    """
    prompt = PLANNER_PROMPT_TEMPLATE.format(question=question, history=history)
...

# Executor
EXECUTOR_PROMPT_TEMPLATE = """
你是一位顶级的AI执行专家。你的任务是严格按照给定的计划，一步步地解决问题。
你将收到原始问题、完整的计划、以及到目前为止已经完成的步骤和结果。
请你专注于解决“当前步骤”，并仅输出该步骤的最终答案，不要输出任何额外的解释或对话。
如果在执行过程中发现某个步骤无法完成或结果不符合预期，仅输出“步骤无法完成”，不要输出任何额外的解释或对话。
...
"""

def execute(self, question: str, plan: list[str]) -> str:
    ...
    history = ""  # 存储历史步骤和结果

    print("\n--- 正在执行计划 ---")

    for i, step in enumerate(plan):
        ...
        if "步骤无法完成" in response_text:
            return history

    ...

# PlanAndSolveAgent
def run(self, question: str):
    ...
    history = ""
    while True:
        plan = self.planner.plan(question, history)
        ...
        if "步骤无法完成" not in executor_answer:
            break

        history += executor_answer

    print(f"\n--- 任务完成 ---\n最终答案：{executor_answer}")

2. Plan-and-Solve 配合 ReAct，由Plan-and-Solve制定计划，ReAct调用外部工具进行验证（余票、天气等）与执行（购票、行程闹钟等）
3. 可以执行更复杂的任务，多个智能体之间的关联可以减到最小，如果完全无关联，可以并行执行

# 在当前Plan和Executor之外，新增主智能体MainAgent
MAIN_AGENT_PROMPT_TEMPLATE = """
你是一个顶级的AI规划专家。你的任务是将用户提出的复杂问题分解为多个子问题。
拆分后的子问题应该尽量保持独立，即每一个子问题的解决都不依赖于其他子问题。如果无法避免子问题之前的依赖关系，严格按照逻辑顺序指出子问题之间的依赖关系。
你的输出必须是一个Python列表，其中每个元素都是一个包含问题描述与它所依赖的子问题。

问题: {question}

请严格按照以下格式输出你的计划...
{
    "子问题1": {
        "dependency": None
    },
    "子问题2": {
        "dependency": None
    },
    "子问题3": {
        "dependency": ["子问题2"]
    },
    ...
}
...
"""

# 当前的Planner提示语新增其他条件，将它依赖的问题答案添加到提示语中
PLANNER_PROMPT_TEMPLATE = """
...
问题: {question}
其他条件：
{conditions}
执行历史：
{history}
...
"""

def plan(self, question: str, history: str = "", conditions: str = "") -> List[str]:
    """
    根据用户问题生成一个行动计划
    """
    prompt = PLANNER_PROMPT_TEMPLATE.format(question=question, history=history, conditions=conditions)
    ...

# 当前PlanAndSolveAgent同样新增conditions，用于将条件传递给Planner；新增答案返回，用于主智能体处理信息

# 主智能体MainAgent依赖控制逻辑
def get_dependency_answer(todos: Dict[str, Dict[str, str | List[str]]], dependencies: List[str]):
    dependency_answer = ""
    for dependency in dependencies:
        todo = todos.get(dependency)
        if todo != None:
            if todo.get('answer') == None:
                return None
            dependency_answer += f"\n- {todo.get('answer')}"

    return dependency_answer


def run(self, question: str):
    ...
    todos = self.main_agent.divide(question)

    while True:
        down_size = 0
        for ques in todos:
            todo = todos.get(ques)
            if not todo.get("answer"):
                dependencies = todo.get("dependency")
                conditions = ""
                if dependencies is not None and len(dependencies) != 0:
                    conditions = get_dependency_answer(todos, dependencies)
                    if conditions is None:
                        continue

                answer = self.plan_and_solve_agent.run(todo.get("question"), conditions)
                todo["answer"] = answer

            down_size += 1

        if down_size == len(todos):
            break

    for ques in todos:
        print(f"Question: {ques}\nAnswer: {todos[ques]}")

习题5

1. 可以尽可能降低成本，或者结合所长；使用一个智能稍低的模型执行，然后使用高智能的模型进行反思，尽可能多的减少重试次数，提高效率，节约成本
2. 不合理，这个完全依赖智能体按要求输出；可以提供一个性能测试脚本，或者要求计算时间复杂度，提供一个目标，如果性能测试脚本或者时间复杂度达到目标，则终止
3. 首先由一个执行智能体完成论文初稿，然后引入段落逻辑性、方法创新性、语言表达、引用规范等多个“编辑智能体”，将论文初稿同时提交这些“编辑智能体”进行评审；在这些“编辑智能体”评审结束之后，综合论文初稿和“编辑”们的审稿意见汇总给一个“主编智能体”，由“主编智能体”进行综合修订；“主编智能体”完成修订之后再次提交给“编辑智能体”们进行评审，循环往复直到完成修改

习题6

1. a.工具，ReAct架构需要借助外部工具完成工作，所以ReAct的工作流程需要围绕工具展开；ReAct需要提供工具列表、提供工具调用格式、以及观察工具响应；Plan-and-Solve则没有工具控制流程
   b. 流程控制，Plan-and-Solve围绕计划定制和执行两类智能体展开，所以流程控制至关重要，在进行计划制定的时候变提出了逻辑顺序的要求；Plan-and-Solve在计划制定阶段，执行者智能体并不入场，在完成任务拆分之后才由执行者入场执行，而且对顺序有要求；相对而言，ReAct的逻辑完全由主智能体控制
2. 改为“你是一位注重代码可读性的开源项目维护者”之后，反思内容更少，极少会对初稿提出意见；可能与我使用的模型有关，大体应该是不再关注性能，而初始版本一般可读性就比较好；关于角色设定，它不只是改变身份，也会隐性地将角色常处的场景带入到上下文环境中，造成了智能体对问题的理解也会出现区别
3. 前几个问题中的解中有部分示例，可以参考

习题7

1. 使用 PlanAndSolve 配合 ReAct 作为核心架构：PlanAndSolve 接入客户对话，理解客户诉求并拆分任务，ReAct 辅助PlanAndSolve工作，给Planner提供信息，或者作为执行者执行具体动作；
   Reflection 作为任务的辅助工具，如 d：评审邮件、e：决策评审

• 查询用户信息工具，根据当前接入用户，获取到用户基本信息、联系信息、地址信息等后续工具可能需要的信息
• 查询用户订单信息工具，查询历史订单，目标订单，已经退货历史等
• 根据订单号查询物流信息工具
• 查询公司退货退款政策的工具
• 发送邮件工具

3. 你是一个资深的电商行业售后客服，主要负责处理客户订单的退款请求。
   你需要站在公司的立场上，在保证公司利益的前提下，响应客户的请求。在与客户对话时，要有服务意识，对话要保持友好，照顾好客户情绪，不能引起客户方案。

• 客户诉求被规则驳回，导致客户投诉：添加兜底策略，如果客户持续要求，则加入人工客服
• AI处理不当造成公司利益受损，大金额处理或者大规模处理，增加人工审核
• 智能体被客户引导不当言论，设置禁用词，如果出现类似谈话，立即终止谈话，引入人工客服

[CodeCola1637]

习题7.3最后一句有错别字，不能引起客户反感。