关于step2编码问题

[betterwater]

最近拜读了论文，尝试运行时，step2一直报utf-8编码问题，尝试了网上大多数修改方法，仍没有解决，请问有办法破吗（悲）

• def _read_tsv(cls, input_file, quotechar=None):
  

•     """Reads a tab separated value file."""
  

•     with open(input_file, "r", encoding="utf-8") as f:
  

•         reader = csv.reader(f, delimiter="\t", quotechar=quotechar)
  

•         lines = []
  

•         for line in reader:
  

•             if sys.version_info[0] == 2:
  

•                 line = list(str(cell) for cell in line) 
  

•             lines.append(line)
  

•         return lines
  

[blhoy]

可以看一下报错的信息是什么，可能是数据编码格式变了？

[betterwater]

可以看一下报错的信息是什么，可能是数据编码格式变了？

这是运行时候报的错。
Traceback (most recent call last):
File "F:/acos/ACOS/Extract-Classify-ACOS/run_step2.py", line 351, in
main()
File "F:/acos/ACOS/Extract-Classify-ACOS/run_step2.py", line 174, in main
eval_examples = processor.get_dev_examples(args.data_dir, args.domain_type)
File "F:\acos\ACOS\Extract-Classify-ACOS\run_classifier_dataset_utils.py", line 208, in get_dev_examples
self._read_tsv(os.path.join(data_dir, "tokenized_data/"+string+"_test_pair_1st.tsv")), "test")
File "F:\acos\ACOS\Extract-Classify-ACOS\run_classifier_dataset_utils.py", line 127, in _read_tsv
for line in reader:
File "F:\anaconda\envs\ACOS\lib\codecs.py", line 322, in decode
(result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa8 in position 2954: invalid start byte

[blhoy]

这块我测试了没有这个问题，应该就是遇到解码不了的字符了，或许可以试着按不同编码另存一下输入数据文件？

[betterwater]

好的，我试试，麻烦你了