Repository navigation
Releases
Releases · ShokouP/classical-poetry-lm
v0.2.0 · poetry-9b-v7(格式+押韵 4/4)
poetry-9b-v7(格式 4/4 + 押韵 4/4)
三步后训练:格式修复 SFT → 真实绝句押韵 SFT(6,000 首)→ GRPO v7(8 prompt × G8,二值押韵奖励 + KL β=0.02)。
| 模型 | 4 句格式 | 押韵 | 抄袭 overlap |
|---|---|---|---|
| sft_v2 | 2/4 | — | — |
| dpo2 | 0/4 | — | — |
| fmt_sft | 4/4 | 4/4 | 1 条抄《鹿柴》 |
| poetry-9b-v7 | 4/4 | 4/4 | 0.00 |
产物
- LoRA adapter:https://huggingface.co/Shokou1/qwen3.5-poetry-9b-v7
- Ollama:
ollama run poetry-9b-v7 - 精选作品:
reports/best-pieces-v7.md - 夜间报告:
reports/night-report-2026-11-08.md
关键工程发现
- 生成/训练必须使用同一 chat template(不一致时四句率 96% → 21%)
- 押韵韵表是繁体键,简体输出查不到 → 押韵奖励恒为 0(第一版 GRPO 因此完全无效)
- 规则奖励里 fmt 权重必须压低,让 rhyme 成为主要区分项
v0.1.0 古典诗文 LoRA + 作品选 + 论文草稿
v0.1.0 — 古典诗文 LoRA / 作品选 / 论文草稿
模型(LoRA adapter,基座 Qwen3.5)
poetry-4b-v2-adapter.safetensors:4B CPT 300 步 + SFT 600 步(含扩写数据),r=64poetry-9b-v1-adapter.safetensors:9B SFT 600 步(seq768),r=32
使用方法
from peft import PeftModel
from transformers import Qwen3_5ForCausalLM
model = Qwen3_5ForCausalLM.from_pretrained(Qwen/Qwen3.5-4B, dtype=bfloat16, device_map=auto)
model = PeftModel.from_pretrained(model, poetry-4b-v2-adapter)附件
- 作品集 PDF《Qwen3.5 9B 诗文专家模型选》
- 论文草稿
paper-draft.md
部署
Ollama:poetry-4b-v2(Q4_K_M 2.58GB)、poetry-9b-v1(Q4_K_M 5.24GB)