挑战一百万.md

挑战一百万

因为测试上传时，发现v2.10.31在上传40万个文件时，有些卡顿，就花时间优化了一下 现在挑战一下，看看最终能优化到哪一步

使用小白羊v2.11.07版，设置为30文件共同执行，测试单次百万文件量、测试巨大单文件

结果:全部测试项都通过🎉无卡顿🎉只需点击一下🎉成功上传下载🎉

👌 1.多个文件夹内共包含100万个小文件

👌 2.一个文件夹里直接包含100万个小文件

👌 3.多个文件夹里包含大小不一的多个文件，体积共1.2TB

👌 4.单个文件，体积巨大（已测试193GB单文件）

⭐注1: 期间涉及到机械硬盘时，读写性能低下造成的系统整体卡顿被忽视

v2.11.07之前的版本没有优化到位，一次10万文件不会卡，一次100万文件会卡！

⭐注2: 在下载直接包含一百万文件的文件夹时，仅解析出100万个文件就用了3个小时，

但小白羊是一边解析一边下载的，所以没有浪费这3个多小时

⭐注3: 百万文件测试仅展示极端状况，日常使用不推荐单个文件夹内直接包含1万个以上的文件，因为阿里云盘对此支持很！不！友！好！

⭐注4: 已测阿里云盘官方客户端v2.2.9，

在上传包含4万个文件的文件夹时（不论是否有子文件夹），可以正常上传（上传中CPU维持50%以上，内存1800MB以上）

在上传包含6万个文件的文件夹时（不论是否有子文件夹），无法顺利执行，一直显示准备中，没有真的上传文件

Eng...小白羊测试的是100万

👌1.多个文件夹内共包含100万个小文件，使用小白羊上传（已测试成功）

一个文件夹内包含多级文件夹和多个文件（共8336个文件夹，100万个文件）
都是随机生成的很小的txt文件（例如：3cd8e19c-531f-4e6e-99ac-042cee79cca4-4799.txt），
仅为了测试上传巨量文件时的表现，拖动文件夹到小白羊，最终成功上传

刚开始在解析文件，CPU占用60-70%，内存不断增长，最高涨到1300MB， 直到上传列表里显示出100万条文件记录，CPU降低到15%-17%,内存开始缓慢下降 正常上传过程中，界面一直流畅，可以正常操作

👌2.单个文件夹内直接包含100万个小文件，使用小白羊上传（已测试成功）

一个文件夹内直接包含100万个文件，拖动此文件夹到小白羊上，最终成功上传

刚开始解析文件时，CPU占用60-70%，内存增长到1070MB。 之后正常上传时，CPU降低到12%-17%,内存开始缓慢下降，界面一直流畅 上传中偶有几个文件失败，但1分钟后自动重试成功

👌3.多个文件夹里包含大小不一的多个文件，体积共1.2TB，使用小白羊上传（已测试成功）

一个文件夹，里面包含多级文件夹和文件（单个文件3MB-380MB）(共563个文件夹，8万个文件)，拖动此文件夹到小白羊上，最终全部成功上传

因为文件夹较少，很快就解析完了，CPU在13-45%内存最高680MB， 正常上传过程中，界面一直很流畅，可以正常操作

👌4.单个文件，体积巨大，使用小白羊上传（待测试，最大支持的文件体积）

已测试，一个193GB的镜像文件，历时76小时，期间白天先暂停，晚上整晚上传，最终成功上传

👌5.多个文件夹里包含100万个小文件，使用小白羊下载（已测试成功）

就是上面上传的那个文件夹（共8336个文件夹，100万个文件），点击下载后，最终全部成功下载下来

刚开始也是在解析文件，CPU占用8-20%之间浮动，内存不断增长，最高涨到1220MB， 因为解析文件夹较多(连续解析8336个)，会出现部分解析失败， 但是1分钟后会自动重试，最终成功解析出100万条文件记录 解析结束后CPU降低到6%-12%,内存开始极缓慢下降，界面一直很流畅 但因为下载请求过多，操作网盘里的文件列表时，加载时间较长（网络卡）

👌6.单个文件夹内直接包含100万个小文件，使用小白羊下载（已测试成功）

点击下载后，一边解析文件列表，一边下载，约3个小时后，成功解析出全部100万个文件，此时已经成功下载了25万个文件（因为文件都很小），期间CPU一直在6-9%，内存占用从300MB缓慢增长到1000多MB

👌7.多个文件夹里包含大小不一的多个文件，体积共1.2TB，使用小白羊下载（已测试成功）

一个文件夹，里面包含多级文件夹和文件（单个文件3MB-380MB）(共563个文件夹，8万个文件)，点击下载后，最终全部成功下载下来

因为文件夹较少，很快就解析完了，CPU稳定在13-15%内存最高540MB， 正常下载过程中，界面流畅，可以正常操作，但因为是下载到机械硬盘（西部数据 3TB），加上下载速度较快(60MB/s)，整个电脑时有卡顿，windows就是这样，硬盘一忙打字都卡

👌8.单个文件，体积巨大，使用小白羊下载（待测试，最大支持的文件体积）

已测试193GB文件可以正常下载

补充说明：

1.已知阿里云盘单个文件夹里直接包含超过5万个文件时，阿里云盘自己列出文件经常间歇性出错，是阿里云盘的问题

2.已知阿里云盘网页版、PC客户端v2.2.6均无法上传超过97.6GB的单个文件，小白羊v2.11.7已经支持，最大体积尚未测试

4.已知阿里云盘PC客户端v2.2.6下载包含大量子文件夹、大量文件的文件夹时，经常出错，需要经常手动继续

5.测试期间百万文件内存最高占用达到1300MB左右，是因为文件量太多，一次性操作30万文件时内存占用800MB左右，一次性操作1万文件时内存占用300MB左右