对于GPT3.5处理过长数据的问题

[zhefox]

这边给出一个建议，自动分块去提交，然后组合让它分析，类似的提问语句示例如下，我将将一个C函数分段提供你给，当我说什么什么的时候，说明我已全部提供给你，然后帮我分析啥啥啥的，然后分段提供，最后让它输出，最后获取最后获取的结果数据，然后输出

[WPeace-HcH]

你好，Auto-WPeGPT自动分析的功能尝试使用过分块，但是由于需要让GPT了解上下文进行历史对话，最后还是会有tokens限制的问题，如果有什么好的思路欢迎联系我！: )

[zhefox]

那就只有参考另外一条建议了，支持选中部分提交ai，过长的可以手动分段，或者手动收掉一些if语句，变量声明进行分析 | | ZHEFOX | | ***@***.*** | ---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 发送日期 | 2023年11月30日 16:09 | | 收件人 | WPeace-HcH/WPeChatGPT ***@***.***> | | 抄送人 | ZheFox ***@***.***>, Author ***@***.***> | | 主题 | Re: [WPeace-HcH/WPeChatGPT] 对于GPT3.5处理过长数据的问题 (Issue #17) | 你好，Auto-WPeGPT自动分析的功能尝试使用过分块，但是由于需要让GPT了解上下文进行历史对话，最后还是会有tokens限制的问题，如果有什么好的思路欢迎联系我！: ) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[tpsnt]

你好，Auto-WPeGPT自动分析的功能尝试使用过分块，但是由于需要让GPT了解上下文进行历史对话，最后还是会有tokens限制的问题，如果有什么好的思路欢迎联系我！: )

使用灵积模型，可以用system角色处理长文本，另外使用qwen-max-longcontext，可以不用修改代码就支持长文本，只是有时会超时