Skip to content

白嫖Kaggle平台部署教程

SakuraUmi edited this page Jan 24, 2024 · 3 revisions

Kaggle平台白嫖T4*2/P100*1显卡部署Sakura模型教程

0. 你需要有一个ngrok平台的账号,以用来内网穿透。

打开ngrok的官网,点击注册。如果已经有账号了,那么可以直接点击登录,并跳过这一步。

image

注册流程和下面kaggle的注册流程差不多,填写用户名/邮箱/密码,接收验证码进行验证等等。注册成功后,进入dashboard页面的Your AuthToken页面

image

进入这个页面后,直接点击右侧的copy,复制token

image

好的,记录下这个token,后面会用到。

1. 首先,打开Kaggle的官网 https://kaggle.com ,点击注册。如果已经有账号了,可以直接登录,跳过下面的注册环节。

image

2. 选择你想用哪种方式注册。哪种都可以,这里以用邮箱注册为例。

image

image

3. 然后可以看到下面的页面,直接点击I agree

image

4. 从你填写的注册邮箱处查看kaggle发的验证邮件,将验证码填入,并点击Next

image

5. 好了,如果你看到他跳转到了主页面,那说明你注册成功了。接下来,你需要打开这个链接。(注:这里默认使用了llama-cpp-python模型和后端的脚本,如果你需要使用autogptq模型和后端进行推理,那么请点击这个链接

6. 此时,我们仍需要继续进行几步操作才能正常运行。

image

这时会弹出一个认证手机号的窗口,中国大陆的+86手机号就能绑定,所以直接绑定手机号即可。

image

上述操作完毕后,需要到手机上查看验证码短信,将验证码填入后,点击Verify。

如果成功了,就会出现下面的页面,这时点击close,回到之前的页面。

image

7. 之前点击close后,弹出的窗口消失,我们又回到了之前的页面。如果上述步骤均成功,我们会发现右侧的Notebook options栏里多了一项ACCELERATOR,下方也多了一个INTERNET。

image

点击ACCELERATOR,会出现几个选项。这里我们直接使用GPU T4 x2

image

这时会弹出一个确认窗口,点击Turn on GPU T4 x2即可。

image

此时我们可以看到目前账号具有的免费额度30小时,以及已经使用的额度。

image

8. 然后我们看之前说的INTERNET选项

image

点击按钮,将其打开。

image

9. 上述步骤均完成后,点击图中箭头指示的开始按钮。

image

耐心等待,直到下图箭头所指的图标又变回上图的图标,表示这一栏的命令已经执行完毕了。

image

在这个执行过程中,如果你看到了这个报错,请直接无视,这不会有影响。

image

10. 现在我们执行第二个格子。但在执行之前,我们需要先进行一点配置。

下图中框起来的两行就是我们需要配置的两行。第一行是第0步时我们拿到的token,填到双引号之间。第二行是模型的名字,推荐使用sakura-13b-lnovel-v0.9b-Q6_K。当然这一项有很多选择,可以是sakura-13b-lnovel-v0.9b-Q4KM_awq4bit, sakura-13b-lnovel-v0.9b-Q5_K_M(更快,但效果可能稍差,但差得并不多),也可以是sakura-13b-lnovel-v0.9b-Q8_0(更慢,但效果可能稍好,但实测差不多)。

image

11. 如果你已经配置完上述步骤,那么接下来就可以点击格子左上方的启动按钮。

点击后,log的第一行会出现一个address:xxxx,将后面的链接复制出来。

image

这时,程序仍然在启动中,还不能正常使用。我们需要等待模型下载完毕,程序启动完毕,之后才可以使用。

如果log输出了下图红框里的内容,那么程序就启动完毕了。此时上面的链接就是Sakura API。

image

12. 启动完毕后,我们可以将Sakura API放入支持Sakura模型的项目进行使用。

在添加翻译器页面,将上面的Sakura API链接填到"链接"栏里,如下图所示。

image

Clone this wiki locally