分词之后段落发生变化

[iclementine]

我在windows平台下使用NLPIR进行分词，使用默认的NLPIR_FileProcess函数，POS选择为1，

NLPIR_FileProcess("C01.txt", "C01.sgemented.txt", 1);

然后分词后生成的C01.segmented.txt和分词之前的C01.txt的行数不同（段落数不同），有一些段落被合并了。

我使用的文件的编码是UTF-8, 换行符号使用LF或者CR/LF结果都是一样。

请问这是为何呢？
谢谢

[iclementine]

我试图将文件C01.txt中的换行符号改成CR之后段落正常了。并且同时注意到分词输出的文件的换行符也是CR。

但是仍然希望能够正确处理LF和CR/LF这两种换行符。