Bug: 略微倾斜的竖排文本框会导致检测框顶点顺序错误和识别结果崩坏

[yunhao-qian]

问题描述 / Problem Description

RapidOCR对一个略微向左下倾斜的竖排文本框裁剪方向错误，导致识别结果崩坏。

具体代码：

• TextDetector.__call__()调用DBPostProcess得到检测框。
• DBPostProcess.filter_det_res()调用order_points_clockwise()。
• DBPostProcess.order_points_clockwise()先按x坐标排序，然后把x最小的两个点当成左边、x最大的两个点当成右边。

这个假设对略微倾斜的竖排文本框不成立（此类排版在旧书刊和古籍中很多）。以下复现中，实际返回的检测框为：

[[9, 1605], [90, 32], [144, 34], [63, 1607]]

也就是：

[bottom-left, top-left, top-right, bottom-right]

但后续get_rotate_crop_image()按照[top-left, top-right, bottom-right, bottom-left]来解释这四个点，并传给cv2.getPerspectiveTransform()。因此透视裁剪从错误的边开始映射，最终OCR结果崩坏。

运行环境 / Runtime Environment

Python 3.13.14
rapidocr 3.9.0
opencv-python 4.13.0.92
onnxruntime 1.26.0

复现代码 / Reproduction Code

from PIL import Image, ImageDraw, ImageFont
from rapidocr import RapidOCR

text = (
    "国破山河在城春草木深感时花溅泪恨别鸟惊心烽火连三月家书抵万金白头搔更短浑欲不胜簪"
)
font = ImageFont.truetype("/usr/share/fonts/opentype/noto/NotoSerifCJK-Regular.ttc", 34)

image = Image.new("RGB", (160, 1640), "white")
draw = ImageDraw.Draw(image)

for i, char in enumerate(text):
    y = 32 + i * 39
    x = 116 + (38 - 116) * i / (len(text) - 1)
    left, _, right, _ = draw.textbbox((0, 0), char, font=font)
    draw.text((x - (right - left) / 2, y), char, fill="black", font=font)

image.save("input.png")

ocr = RapidOCR(params={"Global.use_cls": False})
result = ocr("input.png")

print("expected:", text)
print("actual:  ", result.txts[0])
print("box:     ", result.boxes[0].tolist())

程序输出：

expected: 国破山河在城春草木深感时花溅泪恨别鸟惊心烽火连三月家书抵万金白头搔更短浑欲不胜簪
actual:   国花租
box:      [[9.0, 1605.0], [90.0, 32.0], [144.0, 34.0], [63.0, 1607.0]]

可能解决方案 / Possible solutions

不要在DBPostProcess.order_points_clockwise()中把四个顶点分成“左边两个点”和“右边两个点”，这会错误处理略微倾斜的竖排文本框。

可以改成：

1. 先按每个点相对中心点的极角排序，得到四个顶点顺时针的相对顺序。
2. 再把x + y最小的点轮换到第一位，使输出从图像左上角的顶点开始。

这样返回值才是get_rotate_crop_image()需要的[top-left, top-right, bottom-right, bottom-left]，而非依赖“x最小的两个点就是左边”这一错误假设：

def order_points_clockwise(self, pts: np.ndarray) -> np.ndarray:
    pts = pts.astype("float32")
    center = pts.mean(axis=0)

    angles = np.arctan2(pts[:, 1] - center[1], pts[:, 0] - center[0])
    pts = pts[np.argsort(angles)]

    start = np.argmin(pts[:, 0] + pts[:, 1])
    return np.roll(pts, -start, axis=0)

[yunhao-qian]

我又仔细想了一下，上述的修改建议虽然能修正竖排文字的错误，但是很大程度上会改变旋转接近90度的横排文字的处理方式。具体怎么改还欠研究。

[SWHL]

当前代码更多的是针对横排文字处理的。竖排文字我觉得可以单独作为一类来排序。

[yunhao-qian]

我看了一下代码，对于我的具体需求，直接给DBPostProcess.order_points_clockwise()打一个monkey patch就可以解决。至于未来是否有必要在 config 层面提供更好的竖排文字支持，就留给维护者再权衡了。也谢谢您的回复！

[SWHL]

好的。这我记一下。