[Julia] update julia sync script

[johnnychen94]

最近把Julia的镜像代码重写了一下，调用方式做了一些改变，所以需要更新一下。

更新：

• 所有数据全部从上游下载，移除了对 /clones 和 /registries 的需求，移除了对git的需求
• 加入了一些缓存机制（存储在/julia/static/.cache中）来避免增量同步时的不必要的CPU和IO开销
• 下载失败的资源现在会记录在 /julia/static/failed_resources.txt里，在24小时内进行增量同步时会略过这里面记录的资源，这样能大大加快增量的效率。
• 把 timeout 的控制调整到了对每一个资源的请求上
• 兼容早期的hash机制，避免了大量的 hash mismatch 错误
• 尝试修复了任务卡住的bug

不再需要 /julia/clones 和 /julia/registries 这两个文件夹了，所以理论上可以把/julia/static 挂载到 /julia下，但不太确定能不能以一种兼容的方式实现。

@z4yx 我不太确定这个应该怎么改进tunasync的脚本里，所以可能需要你们来帮忙，#81 给了一个参考

上游服务器现在有两个：https://kr.storage.juliahub.com 以及 https://us-east.storage.juliahub.com，可以两个都添加进来，也可以只选择一个。kr（韩国首尔）服务器则采用了优化后的构建代码，所以从Github注册表同步的延迟更低，而 us-east大概有30-60分钟的延迟。(Ref: JuliaRegistries/General#16777 (comment))

[z4yx]

好的，我们先不动 /julia/clones 和 /julia/registries，试运行一段时间再删。

[johnnychen94]

最近一周 julia-general.git 和 julia-releases 的同步都是失败的，能帮忙修复一下么？

[z4yx]

julia-releases 是上游权限问题，如果方便可以帮忙反馈给上游： download failed: s3://julialang2/bin/mac/x64/1.5/julia-1.5.0-mac64.tar.gz to julia-releases/bin/mac/x64/1.5/julia-1.5.0-mac64.tar.gz An error occurred (AccessDenied) when calling the GetObject operation: Access Denied

只有这一个文件报错

julia-general.git 已恢复。

[z4yx]

现在的版本运行会报错

ERROR: ArgumentError: Package StorageMirrorServer not found in current path:
- Run `import Pkg; Pkg.add("StorageMirrorServer")` to install the StorageMirrorServer package.

你可以在tunathu/julia-mirror docker中重现

[johnnychen94]

hmmm.. 不是很清楚，我是这样测试的

[z4yx]

我知道了，是权限问题。这边是以UID 2000的用户运行的。你能改下dockerfile，让这个julia包安装到任何用户都可用的地方吗？

[z4yx]

这样还是不行，貌似脚本运行时还会创建文件？

...skipping...
ERROR: IOError: mkdir: permission denied (EACCES)
Stacktrace:
 [1] uv_error at ./libuv.jl:97 [inlined]
 [2] mkdir(::String; mode::UInt16) at ./file.jl:177
 [3] mkpath(::String; mode::UInt16) at ./file.jl:227
 [4] mkpath(::String; mode::UInt16) at ./file.jl:225 (repeats 3 times)
 [5] mkpath at ./file.jl:222 [inlined]
 [6] compilecache_path(::Base.PkgId) at ./loading.jl:1228
 [7] compilecache(::Base.PkgId, ::String) at ./loading.jl:1258
 [8] _require(::Base.PkgId) at ./loading.jl:1030
 [9] require(::Base.PkgId) at ./loading.jl:928
 [10] require(::Module, ::Symbol) at ./loading.jl:923

[johnnychen94]

你看一下 UID 2000 的用户对 ~/.julia 的权限是否正确？看起来像是无法写入到 ~/.julia/compiled

我在新的 tunathu/julia-mirror docker 下创建了一个普通用户然后测试是正常的

test@77d93412dab5:~$ ls -al ~/.julia/
total 0
drwxr-xr-x 4 test test  34 Aug  9 14:35 .
drwxr-xr-x 4 test test 106 Aug  9 14:31 ..
drwxr-xr-x 3 test test  18 Aug  9 14:30 compiled
drwxr-xr-x 2 test test  29 Aug  9 14:35 logs

[johnnychen94]

还有一种策略是把 StorageMirrorServer 的安装写在 julia.sh 里，然后就直接用 julia:1.5 这个docker来跑

[johnnychen94]

FYI 最近在 @skyzh 的帮助下在 SJTUG 部署了这个脚本 https://mirrors.sjtug.sjtu.edu.cn/julia/

[skyzh]

SJTUG 这边是所有 script 都跑在一个 container 里，所以好像没碰到权限的问题（

[z4yx]

过了权限这关，现在是这个错误

┌ Warning: ErrorException("type Nothing has no field status")
│   resource = "/registry/23338594-aafe-5451-b93e-139f81909106/aebe7c8e1e16081198566c02cca8d3e12208aee4"
└ @ StorageMirrorServer /opt/julia/packages/StorageMirrorServer/7L0XF/src/mirror_tarball.jl:67

上游为 https://kr.storage.juliahub.com

[johnnychen94]

这是因为下载最新注册表的时候下载超时了（我的异常处理没做的太好..)，可能还是得切换回 us-east 才行