第三章习题

[xnslong]

1. 自然语言处理中，语言模型经历了从统计到神经网络的模型演进。

   • 请使用本章提供的迷你语料库（datawhale agent learns, datawhale agent works），计算句子 agent works 在Bigram模型下的概率。

     • P(agent)=2/6=0.333
     • P(works|agent)=1/2=0.5
     • 所以: P(agent works)=P(agent)*P(works|agent)=0.167

   • N-gram模型的核心假设是马尔可夫假设。请解释这个假设的含义，以及N-gram模型存在哪些根本性局限？

     • 马尔科夫假设说的是一个词的出现概率，大概只与它前面有限个词有关，我们不必回溯全部历史。这个假设跟计算机程序中的局部性原理比较相似。
     • 这个模型的根本性局限性：（1）如果某个句子没有在语料中出现过，那么他就认为概率是0。（2）不能理解词间的关系，例如这里只有agent learns，而没有robot learns，他会认为robot learns概率是0，而不能理解到robos和agent这俩之间的相似性。（3）这个假说本质上是一种工程上的近似和妥协，实际上还是有非常多的长程依赖和参考，这在有限N的情况下会直接成为不可解决的问题。（4）N不能太大，否则就会遇到 $P(w_n|w_1,w_2,w_3,...,w_{n-1})$ 在语料中将会极难统计等问题（这也是马尔科夫假说需要出场的原因）。

   • 神经网络语言模型（RNN/LSTM）和Transformer分别是如何克服N-gram模型局限的？它们各自的优势是什么？

     • RNN是通过将前面序列产生的结果作为后续生成序列的输入，这样后序序列生成的过程，就能参考到前面完整序列的信息。解决了N-gram中N长度局限的问题；但是因为RNN前面序列的完整信息都是通过隐藏层传递的，传递层数多了之后，久远前的信息影响就会越来越小，对于长程传递和参考难度很大。
     • LSTM与RNN的思想比较接近，但是额外引入了一个独立的长程记忆。通过写入和遗忘控制，将每次值得记忆的长期记忆写入到里面，并将应该遗忘的从里面去掉，维护了一个长期的记忆体。解决了RNN无法做长程参考的问题。RNN和LSTM都还有一个缺点，就是依靠循环进行串行计算，只有前面的词计算完成了，后面的词才能用他们的结果开始计算，这样运行效率会比较低，难以大规模并行计算。
     • Transformer采用了注意力的方式来解决同一个问题，每个token都通过Q和K与所有token算相关度，然后根据计算出来的相关度提取结果，这种方式天然能解决长短依赖的问题，同时由于每个token是独立计算的，因此同时这种方式天然可以并行计算。

2. Transformer架构是现代大语言模型的基础。其中：

   提示：可以结合本章3.1.2节的代码实现来辅助理解

   • 自注意力机制（Self-Attention）的核心思想是什么？

     • 每个词元都与其他词元有不同的关联强度，这决定了当前这个词元的内涵。因此可以通过Q和所有词元的K计算相关度，然后根据相关度吸收各词元的V信息，丰富和完善当前词元的内涵。

   • 为什么Transformer能够并行处理序列，而RNN必须串行处理？位置编码（Positional Encoding）在其中起什么作用？

     • 这是两个结构决定，
       • RNN的结构是前面的序列信息放在计算后产生的隐藏层数据中，再将这个数据交给下一次循环中的后一个词元处理，因此天然的存在后一个词元需要等前一个词元处理完成才能处理的情况。
       • Transformer每个词元可以自主用根据自己的Q与所有的词元K计算的相关度，去吸收他们的V，这个过程计算不依赖前一个词元产出什么结果。这样每个词元就可以单独计算，提供了并行计算的可能性。
     • 位置编码：是给Transformer的每个词元中添加位置信息。这种情况下，每个不同位置会增加一个不同的向量，从而让后续的计算可以注意到每个词元所处的位置信息。如果没有这个编码，那么“我吃饭”和“饭吃我”这两个词元序列就没法区别了。

   • Decoder-Only架构与完整的Encoder-Decoder架构有什么区别？为什么现在主流的大语言模型都采用Decoder-Only架构？

     • Decoder-only架构完全没有encoder部分。
     • Decoder最主要的能力就是预测下一个词，而实际上无论是解题、问答、写方案等等所有的场景，实际上的流程都是往后续写内容，这就是Decoder的能力。这样主流大语言模型都采用Decoder-Only架构，可以让架构更简单。架构更简单，那么发展的潜力也就更大。

3. 文本子词分词算法是大语言模型的一项关键技术，负责将文本转换为模型可处理的 token 序列。那为什么不能直接以"字符"或"单词"作为模型的输入单元？BPE（Byte Pair Encoding）算法解决了什么问题？

   1. 如果以字符为单位，那么处理一段输入的token长度就太大了，后续的计算成本会高太多。而以单词为单位进行处理，则可能会有两个问题：（1）总会出现一些新的单词，他们不在模型的token列表中，模型就没有办法识别他们（发生Out of vocabulary, OOV问题）。（2）新造词、复合词等，则可能会让token列表爆炸。
   2. BPE算法解决的问题主要是：就是一个单词没有见过，也能够把它拆成几个已经存在的token，这样模型就能处理他们，而不会发生OOV的问题。

4. 本章3.2.3节介绍了如何本地部署开源大语言模型。请完成以下实践和分析：

   提示：这是一道动手实践题，建议实际操作

   • 按照本章的指导，在本地部署一个轻量级的开源模型（推荐Qwen3-0.6B），并尝试调整采样参数并观察其对输出的影响

     代码

     from modelscope import AutoModelForCausalLM, AutoTokenizer
     from transformers import TextIteratorStreamer
     from threading import Thread
     import os
     import json
         
     model_name = "Qwen/Qwen3-0.6B"
         
     # load the tokenizer and the model
     tokenizer = AutoTokenizer.from_pretrained(model_name)
     model = AutoModelForCausalLM.from_pretrained(
         model_name,
         torch_dtype="auto",
         device_map="auto",
         # Apple Silicon 上 MPS + 半精度(bf16/fp16) + SDPA 注意力会算出乱码，
         # 改用 eager 实现即恢复正常；如仍异常可把 torch_dtype 改成 torch.float32。
         attn_implementation="eager",
     )
         
     sampling_str = os.environ.get("SAMPLING", None)
     sampling_cfg = {}
     if sampling_str:
         sampling_cfg = json.loads(sampling_str)
         if len(sampling_cfg) > 0:
             sampling_cfg = {**sampling_cfg, 'do_sample':True}
         
         
     def generate_for(prompt):
         """
         为输入的prompt生成内容，生成器：每产出一个 token 就 yield 一次文本片段
         """
         messages = [
             {"role": "user", "content": prompt}
         ]
         text = tokenizer.apply_chat_template(
             messages,
             tokenize=False,
             add_generation_prompt=True,
             enable_thinking=False # Switches between thinking and non-thinking modes. Default is True.
         )
         model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
         
         streamer = TextIteratorStreamer(
             tokenizer,
             skip_prompt=True,       # 不重复打印输入的 prompt
             skip_special_tokens=True,
         )
         
         # conduct text completion
         # do_sample=True,          # 必须开启，采样参数才生效
         # temperature=0.6,         # 控制随机性
         # top_k=20,                # 仅保留概率最高的 20 个候选词
         # top_p=0.95,              # 保留累计概率达 95% 的候选词
         generation_kwargs = dict(
             **model_inputs,
             max_new_tokens=1024,
             streamer=streamer,
             **sampling_cfg,
         )
         
         # generate 是阻塞调用，放到后台线程跑，主线程从 streamer 里逐个取 token
         def _run():
             try:
                 model.generate(**generation_kwargs)
             except Exception as e:
                 print(f"\n[generation error] {e}")
             finally:
                 streamer.end()
         
         Thread(target=_run, daemon=True).start()
         
         for chunk in streamer:
             yield chunk
         
         
     while True:
         # prepare the model input
         prompt = input("user (input 'quit' to exit): ")
         if prompt == "quit":
             exit(0)
         
         print("assistant: ", end="", flush=True)
         for chunk in generate_for(prompt):
             print(chunk, end="", flush=True)
     print()  # 回复结束后换行

     设置温度。可以看到温度为1的时候结果很多样。

     # SAMPLING='{"temperature":1}' python Qwen2.py 
     2026-11-06 21:39:47,431 | INFO    | modelscope_hub.download | Downloading 7 files from Qwen/Qwen3-0.6B@master
     Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00, 639.26file/s]
     2026-11-06 21:39:48,016 | INFO    | modelscope_hub.download | Downloading 11 files from Qwen/Qwen3-0.6B@master
     Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:01<00:00,  9.52file/s]
     W1106 21:39:49.859000 41801 site-packages/torch/distributed/elastic/multiprocessing/redirects.py:29] NOTE: Redirects are currently not supported in Windows or MacOs.
     Loading weights: 100%|██████████████████████████████████████████████████████████████████████████████████| 311/311 [00:00<00:00, 50675.13it/s]
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是**巴黎**。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，称为**巴黎**（Paris）。它是法国的政治、文化、经济和交通中心，也是世界上最繁忙的都市之一。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的**首都**是**巴黎**。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，它叫巴黎（Paris）。不过，如果在其他语言中，比如中文里，可能会用“巴黎”或者“凡尔赛”来指代，因为巴黎在法语中是“Paris”，而凡尔赛是法国的另一座著名城市。所以，如果问题中有中文或非法语表达，答案可能会有所不同。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是**巴黎**。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的**首都**是**巴黎**（Paris）。
     user (input 'quit' to exit): 

     温度接近于0的时候，结果非常稳定。

     # SAMPLING='{"temperature":0.0001}' python Qwen2.py
     2026-11-06 21:42:37,975 | INFO    | modelscope_hub.download | Downloading 7 files from Qwen/Qwen3-0.6B@master
     Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00, 958.51file/s]
     2026-11-06 21:42:38,519 | INFO    | modelscope_hub.download | Downloading 11 files from Qwen/Qwen3-0.6B@master
     Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:01<00:00,  9.76file/s]
     W1106 21:42:40.310000 43099 site-packages/torch/distributed/elastic/multiprocessing/redirects.py:29] NOTE: Redirects are currently not supported in Windows or MacOs.
     Loading weights: 100%|██████████████████████████████████████████████████████████████████████████████████| 311/311 [00:00<00:00, 46964.12it/s]
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，通常指的是**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，通常指的是**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，通常指的是**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，通常指的是**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，通常指的是**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): quit

     温度接近0，但是top-k=2，结果基本稳定在2条

     # SAMPLING='{"temperature":0.001,"top_k":2}' python Qwen2.py
     2026-11-06 23:01:01,876 | INFO    | modelscope_hub.download | Downloading 7 files from Qwen/Qwen3-0.6B@master
     Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00, 921.91file/s]
     2026-11-06 23:01:02,425 | INFO    | modelscope_hub.download | Downloading 11 files from Qwen/Qwen3-0.6B@master
     Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:01<00:00,  9.88file/s]
     W1106 23:01:04.195000 55716 site-packages/torch/distributed/elastic/multiprocessing/redirects.py:29] NOTE: Redirects are currently not supported in Windows or MacOs.
     Loading weights: 100%|██████████████████████████████████████████████████████████████████████████████████| 311/311 [00:00<00:00, 44326.10it/s]
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，通常指的是**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，通常指的是**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，名为**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，名为**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，通常指的是**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): 法国的首都
     assistant: 法国的首都是一座城市，名为**巴黎**（Paris）。它位于法国西部，是法国的政治、经济、文化中心。
     user (input 'quit' to exit): quit

   • 选择一个具体任务（如文本分类、信息抽取、代码生成等），设计并对比以下不同的提示策略（如Zero-shot、Few-shot、Chain-of-Thought）对输出结果的效果差异

     可以看到:

     1. Zero-shot的时候答案没有什么格式规范。
     2. One-shot的时候也不太稳定。应该是还没有确认强烈的规律。
     3. Few-shot覆盖了各种情况的时候，结果格式比较符合示例的格式。

     # python Qwen2.py
     2026-11-06 21:48:25,890 | INFO    | modelscope_hub.download | Downloading 7 files from Qwen/Qwen3-0.6B@master
     Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00, 870.65file/s]
     2026-11-06 21:48:26,417 | INFO    | modelscope_hub.download | Downloading 11 files from Qwen/Qwen3-0.6B@master
     Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:01<00:00,  9.61file/s]
     W1106 21:48:28.229000 45124 site-packages/torch/distributed/elastic/multiprocessing/redirects.py:29] NOTE: Redirects are currently not supported in Windows or MacOs.
     Loading weights: 100%|██████████████████████████████████████████████████████████████████████████████████| 311/311 [00:00<00:00, 56805.67it/s]
     user (input 'quit' to exit): 请判断一下句子的情感：请问：我不喜欢那个人。答：
     assistant: 句子“请问：我不喜欢那个人。”的情感是**负面**的。  
         
     句子中的“不喜欢那个人”表达了对某人的负面情感，因此整体情感为负面。
     user (input 'quit' to exit): 请判断一下句子的情感：示例1. 今天的饭真好吃。答：正向。请问：我不喜欢那个人。答：
     assistant: 句子的情感判断如下：
         
     **示例1. 今天的饭真好吃。**  
     **答：正向。**
         
     **句子2. 请问：我不喜欢那个人。**  
     **答：负向。**  
         
     **判断依据：**  
     - 正向情感：表示积极、愉快、满意。  
     - 负向情感：表示消极、不满、厌恶。
     user (input 'quit' to exit): 请判断一下句子的情感：示例1. 那个电影好拖沓。答：负向。请问：我不喜欢那个人。答：
     assistant: 句子：“我不喜欢那个人。”  
     情感判断：**负向**。
     user (input 'quit' to exit): 请判断一下句子的情感：示例1. 今天的饭真好吃。答：正向。示例2. 那个电影好拖沓。答：负向。请问：我不喜欢那个人。答：
     assistant: 答：负向。

     思维连，可以看到现在的Qwen3已经自己倾向于逐步思考来解决问题了，而不需要人们的提示。但是遇到比较复杂的推理，结果还是可能错的。

     # python Qwen2.py                                         
     2026-11-07 09:19:38,809 | INFO    | modelscope_hub.download | Downloading 7 files from Qwen/Qwen3-0.6B@master
     Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00, 1164.67file/s]
     2026-11-07 09:19:39,385 | INFO    | modelscope_hub.download | Downloading 11 files from Qwen/Qwen3-0.6B@master
     Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:01<00:00,  8.94file/s]
     W1107 09:19:41.487000 81378 site-packages/torch/distributed/elastic/multiprocessing/redirects.py:29] NOTE: Redirects are currently not supported in Windows or MacOs.
     Loading weights: 100%|██████████████████████████████████████████████████████████████████████████████████| 311/311 [00:00<00:00, 32729.36it/s]
     user (input 'quit' to exit): 大舅去二舅家找三舅说，四舅被五舅骗去六舅家，偷七舅放在八舅柜子里九舅借十舅发给十一舅工资的1000元。请问：谁是小偷？钱本来是谁的？
     assistant: 根据描述，我们可以逐步分析：
     
     ---
     
     ### 1. **谁是小偷？**
     
     - 四舅被五舅骗去六舅家，偷了七舅放在八舅柜子里的1000元。
     - 所以，**小偷是七舅**。
     
     ---
     
     ### 2. **钱原本是谁的？**
     
     - 七舅把钱放在八舅柜子里，说明钱原本是七舅的。
     - 因此，**钱原本是七舅的**。
     
     ---
     
     ### ✅ 答案：
     
     - **小偷：七舅**  
     - **钱本来是七舅的**
     user (input 'quit' to exit): 大舅去二舅家找三舅说，四舅被五舅骗去六舅家，偷七舅放在八舅柜子里九舅借十舅发给十一舅工资的1000元。请问：谁是小偷？钱本来是谁的？请逐步思考.
     assistant: 我们来一步步分析这个逻辑推理题：
     
     ---
     
     ### **题目：**
     
     大舅去二舅家找三舅说，  
     四舅被五舅骗去六舅家，偷七舅放在八舅柜子里，  
     九舅借十舅发给十一舅工资的1000元。
     
     **问：谁是小偷？**
     
     ---
     
     ### **分析过程：**
     
     1. **四舅被五舅骗去六舅家**  
        → 四舅是小偷。
     
     2. **七舅被偷放在八舅柜子里**  
        → 七舅是小偷。
     
     3. **九舅借十舅发给十一舅工资的1000元**  
        → 九舅是小偷。
     
     ---
     
     ### **结论：**
     
     **小偷是七舅**。
     
     ---
     
     ### ✅ **答案：**  
     **七舅**
     user (input 'quit' to exit): 大舅去二舅家找三舅说，四舅被五舅骗去六舅家，偷七舅放在八舅柜子里九舅借十舅发给十一舅工资的1000元。请问：谁是小偷？钱本来是谁的？请逐步思考, 并逐步验证思考的结论是否符合题目描述.
     assistant: 我们来一步步分析这个情景，找出谁是**小偷**，以及**钱原本是谁**。
     
     ---
     
     ### 1. **题干描述**：
     
     > 大舅去二舅家找三舅说，四舅被五舅骗去六舅家，偷七舅放在八舅柜子里的**1000元**，然后**借**给十一舅工资的1000元。
     
     ---
     
     ### 2. **分析逻辑链**：
     
     - 大舅 → 二舅 → 三舅 → 四舅 → 五舅 → 六舅 → 七舅
     - 四舅被五舅骗去六舅家 → 小偷是**四舅**，然后**偷了**1000元放在八舅柜子中。
     - 之后**借**给十一舅工资的1000元，说明**十一舅**是借来的。
     
     ---
     
     ### 3. **结论**：
     
     - **小偷是四舅**，因为他偷了1000元。
     - **钱原本是八舅**，因为四舅偷了八舅柜子里的1000元。
     
     ---
     
     ### 4. **验证结论是否符合题目描述**：
     
     - 题干中说“四舅被五舅骗去六舅家，偷七舅放在八舅柜子里的1000元”，符合逻辑。
     - 借的钱是给十一舅的，说明钱原本是八舅的，而不是十一舅。
     - 所以结论正确。
     
     ---
     
     ### ✅ 最终答案：
     
     - **小偷是四舅**，  
     - **钱原本是八舅**。
     user (input 'quit' to exit): 

   • 从性能、成本、可控性、隐私等维度比较闭源模型和开源模型

     • 闭源模型基本上都是一些大模型公司的模型，这些模型相比更先进。
     • 性能：（“性能”是有歧义的。可以分为“效果”和“效率”不同来分别说明）
       - 效果：闭源模型基本代表了当前业界最前沿，效果上应该是更好的。开源模型则相对弱一些，尤其在一些拔尖的方面（如：高难度推理、顶尖数学能力等等）表现还是比闭源模型差一下。但是通识方面，头部的开源模型已经比较逼近闭源模型了。
       - 效率：开源模型基础部署简单，优化空间比较大；和闭源模型公司对模型产品充分优化后的投入相比，应该是差距比较大的。
     • 可控性：闭源模型是部署在对应的模型公司内部的，只提供接口，模型公司各种策略我们都只能接受，没有多少可控性空间。开源模型只提供模型结构和权重，我们可以自己按照需求部署和优化，可控性极高。
     • 隐私：开源模型因为可以自己部署，是用模型时的数据完全不需要传递给第三方公司；相比之下，使用闭源模型则会把数据发送给模型公司，是存在隐私风险的。

   • 如果你要构建一个企业级的客服智能体，你会选择哪种类型的模型？需要考虑哪些因素？

     • 会选择开源模型自己部署。考虑的因素：
       1. 可控性: 闭源模型完全掌握在第三方模型公司手中，例如第三方模型公司升级模型、下线模型，则可能都会对已有的智能体流程造成很大的影响。而这个节奏很难掌控。
       2. 隐私安全：客服智能体在解决客户的问题的时候，难免会涉及公司内部的各种系统和数据，如果使用闭源模型，则这些数据就不得不传递给第三方模型公司，这会有很严重的隐私安全风险。
       3. 成本：闭源的模型需要支付给第三方模型公司一定的token费用，开源的自己部署可以做大量的优化工作，有可能能降低总费用。
       4. 可微调：智能体跟用户问答的语气、方式等等可能都是需要微调，才能符合企业的气质的。闭源模型没有办法微调了。

5. 模型幻觉（Hallucination）是大语言模型当前存在的关键局限性之一。本章介绍了缓解幻觉的方法（如检索增强生成、多步推理、外部工具调用）

   • 请选择其中一种，说明其工作原理和适用场景

     • 检索增强生成：模型训练数据可能比较陈旧，或者没有包含相关私有的知识，导致被问到相关问题的时候，缺少相关信息，此时模型为了顺利续写下去，可能会编造一些“事实”，形成幻觉。检索增强生成，这是在让模型生成之前，先检索到相关的事实信息，并且把信息一起喂给模型，这样模型就有了相关的信息，可以更忠实的使用相关信息进行推理，减少幻觉。
     • 多步推理：面对复杂问题的时候，模型难以给出正确的结论，就容易编造结论。多步推理则是让模型把复杂问题变成多个简单问题，每一步分析和验证其中一个简单问题，通过每一步的自我检查和外部验证，提升结果的可靠性。
     • 外部工具调用：外部工具往往是更能提供一些关于世界的客观反馈的，因此如果模型有幻觉了，那么就会提现成外部世界对这个行为的一些反馈上（例如验证器验证错误），这样模型就能发现问题，并进行纠正，从而更可能得到正确的结果。

   • 调研前沿的研究和论文，是否还有其他的缓解模型幻觉的方法，他们又有哪些改进和优势？

     参考：解决幻觉问题的最新研究方向

     1. 表示工程与激活干预: 最新的研究发现当模型产生幻觉时，模型内部的隐藏状态和激活空间中往往有可以探测、可以操纵的信号。在修改特定层的表示或者激活，可以达到减少幻觉的作用。
     2. 不确定性量化，与风险可控的拒绝回答：当模型产生幻觉的时候，模型是否知道自己不知到结果，正在编造。如果可以，则可以在风险超过阈值的时候主动放弃给出答案。
     3. 参数&神经元级别的知识编辑：当只是陈旧、错误的时候，可以通过找到并修正相关神经元的参数来实现精准知识编辑。主要是解决事实错误类的幻觉。
     4. 内化自校正和元认知：通过训练模型的自校正能力和细粒度内部信号，来解决没有外部信号时，传统自校正方法模型越改越错的问题。

6. 假设你要设计一个论文辅助阅读智能体，它能够帮助研究人员快速阅读并理解学术论文，包括：总结论文研究的核心内容、回答关于论文的问题、提取关键信息、比较多篇不同论文的观点等。请回答：

   • 你会选择哪个模型作为智能体设计时的基座模型？选择时需要考虑哪些因素？

     • 会选择在逻辑推理方面表现比较好的闭源模型。考虑因素：
       1. 效果：模型需要能学习论文中的观点，推理论证的关系。这些在逻辑推理方面表现不好的模型，最终效果会比较差，论文分析结果可能没有太大参考价值。
       2. 隐私性：不怎么需要考虑，因为已经发版的论文往往不包含隐私信息。

   • 如何设计提示词来引导模型更好地理解学术论文？学术论文通常很长，可能超过模型的上下文窗口限制，你会如何解决这个问题？

     • 让模型逐章节、逐段阅读，概述对应章节段落在讨论的问题，建立索引、参考关系等等。每一段按照索引的内容，按需加载其他章节段落的内容。

   • 学术研究是严谨的，这意味着我们需要确保智能体生成的信息是准确客观忠于原文的。你认为系统中加入哪些设计能够更好的实现这一需求？

     • 模型的采样设置，设置成极低temperature，只选择概率最高的那一个（top-1）。
     • 增加证据台账设计，所有的结论都需要有充足的证据支撑，始终关注证据缺口。

[yhbbbbb]

"性能：闭源模型基本代表了当前业界最前沿，效果上应该是更好的。开源模型则相对弱一些，尤其在一些拔尖的方面（如：高难度推理、顶尖数学能力等等）表现还是比闭源模型查一下。但是通识方面，头部的开源模型已经比较逼近闭源模型了。从模型的效率指标来看，这需要看。
"
这里文字存在瑕疵，而且感觉后面应该是还没生成完吧？建议修改一下。

谢谢提供参考，节省不少时间。