Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于复制完整性 #54

Closed
ZhaoqiangCn opened this issue Jul 3, 2020 · 12 comments
Closed

关于复制完整性 #54

ZhaoqiangCn opened this issue Jul 3, 2020 · 12 comments

Comments

@ZhaoqiangCn
Copy link

这是第一次复制后的提示:文件完成数:48968/153914 提示复制完成
image

之后git pull 了最新代码

执行copy -u后
第二次复制的提示:
image

不知道我这个到底复制完了没有?

@iwestlin
Copy link
Owner

iwestlin commented Jul 3, 2020

这个源似乎是有问题的,一开始好像确实有15w的文件,但后来有人(包括我)统计却只有10w多,可能有部分文件被取消分享或触发审核。

机器人的copy命令默认执行的是 continue,也就是继续任务。然后你加了个 -u表示强制更新源文件夹的信息,这就导致了最终复制的目录数比统计的多这种奇怪的情况。

建议你在命令行执行 ./copy 1YgiXfFp7BMM4osWSd3Njlidrh4t4sFHj -S,然后选 restart 重新开始任务,这样可以看实时进度,如果有错误也能打印出来

@ZhaoqiangCn
Copy link
Author

这个源似乎是有问题的,一开始好像确实有15w的文件,但后来有人(包括我)统计却只有10w多,可能有部分文件被取消分享或触发审核。

机器人的copy命令默认执行的是 continue,也就是继续任务。然后你加了个 -u表示强制更新源文件夹的信息,这就导致了最终复制的目录数比统计的多这种奇怪的情况。

建议你在命令行执行 ./copy 1YgiXfFp7BMM4osWSd3Njlidrh4t4sFHj -S,然后选 restart 重新开始任务,这样可以看实时进度,如果有错误也能打印出来

感谢回复,
在BOT中 似乎没有这个问题,但是到命令行执行 ./copy 1YgiXfFp7BMM4osWSd3Njlidrh4t4sFHj -S 后报错如下,需要我更新什么么?

image

@iwestlin
Copy link
Owner

iwestlin commented Jul 3, 2020

看上去你的系统里有两个版本的node……

试下 node ./copy 1YgiXfFp7BMM4osWSd3Njlidrh4t4sFHj -S 行不行?

不行的话看看这里 https://stackoverflow.com/questions/46384591/node-was-compiled-against-a-different-node-js-version-using-node-module-versio

@iwestlin
Copy link
Owner

iwestlin commented Jul 3, 2020

没有解决的话,在gd-utils目录下执行

rm -rf node_modules
npm install --unsafe-perm=true --allow-root

重新安装依赖,然后 pm2 reload server下

@ZhaoqiangCn
Copy link
Author

没有解决的话,在gd-utils目录下执行

rm -rf node_modules
npm install --unsafe-perm=true --allow-root

重新安装依赖,然后 pm2 reload server下

感谢大佬回复,,
我重新在BOT 执行/copy 1YgiXfFp7BMM4osWSd3Njlidrh4t4sFHj 后目前文件进度又接着之前的在继续

如果有问题我再试试重装node.

@iwestlin
Copy link
Owner

iwestlin commented Jul 3, 2020

你文件数没完成就提示任务成功应该是遇到了比较严重的报错,有可能是sa权限问题,也有可能是并行请求太多,建议 pm2 logs 看看实时日志找找根源。

@ZhaoqiangCn
Copy link
Author

你文件数没完成就提示任务成功应该是遇到了比较严重的报错,有可能是sa权限问题,也有可能是并行请求太多,建议 pm2 logs 看看实时日志找找根源。

你好 这次复制到一一半保存我把日志拷贝出来了,sa权限我用你的方法验证过,都有权限的
01 3|server | Request failed with status code 400 3|server | {"error":{"errors":[{"domain":"global","reason":"authError","message":"Invalid Credentials","locationType":"header","location":"Authorization"}],"code":401,"message":"Invalid Credentials"}} 3|server | {"error":{"errors":[{"domain":"global","reason":"authError","message":"Invalid Credentials","locationType":"header","location":"Authorization"}],"code":401,"message":"Invalid Credentials"}} 3|server | 复制文件失败,文件id: 1fD_qjwLOocFJ1Y_BCDnLpLg9YVdExSDD 3|server | {"error":{"errors":[{"domain":"global","reason":"authError","message":"Invalid Credentials","locationType":"header","location":"Authorization"}],"code":401,"message":"Invalid Credentials"}} 3|server | {"error":{"errors":[{"domain":"global","reason":"authError","message":"Invalid Credentials","locationType":"header","location":"Authorization"}],"code":401,"message":"Invalid Credentials"}} 3|server | {"error":{"err

@iwestlin
Copy link
Owner

iwestlin commented Jul 3, 2020

我刚才也遇到了这个问题,正在处理。。你应该命令运行时间超过了1个小时吧

判断应该是依赖的https://www.npmjs.com/package/gtoken 这个包有问题,它过期时间后没有返回新的 access_token,导致用过期的token去发请求,就报错了

@ZhaoqiangCn
Copy link
Author

我刚才也遇到了这个问题,正在处理。。你应该命令运行时间超过了1个小时吧

判断应该是依赖的https://www.npmjs.com/package/gtoken 这个包有问题,它过期时间后没有返回新的 access_token,导致用过期的token去发请求,就报错了

恩 大佬,最新版重复copy相同源文件是会新建而不是继续了吗?

@iwestlin
Copy link
Owner

iwestlin commented Jul 4, 2020

我刚才也遇到了这个问题,正在处理。。你应该命令运行时间超过了1个小时吧
判断应该是依赖的https://www.npmjs.com/package/gtoken 这个包有问题,它过期时间后没有返回新的 access_token,导致用过期的token去发请求,就报错了

恩 大佬,最新版重复copy相同源文件是会新建而不是继续了吗?

目前如果是在创建目录的过程中被打断,会重新创建目录;如果是已经开始复制文件了,说明目录结构已经创建完毕了,那就会继续

@iwestlin
Copy link
Owner

iwestlin commented Jul 4, 2020

刚更新了下代码,现在支持目录创建过程打断后继续了,会保持文件结构。

另外 Invalid Credentials 这个问题也终于解决了 https://github.com/iwestlin/gd-utils#%E6%9B%B4%E6%96%B0%E6%97%A5%E5%BF%97

@ZhaoqiangCn
Copy link
Author

刚更新了下代码,现在支持目录创建过程打断后继续了,会保持文件结构。

另外 Invalid Credentials 这个问题也终于解决了 https://github.com/iwestlin/gd-utils#%E6%9B%B4%E6%96%B0%E6%97%A5%E5%BF%97

感谢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants