kaggle上的数据集比较大,怎么下载快呢?

kaggle上的数据集比较大,怎么下载快呢?

通常来说,如果手动下载不行,可以尝试使用kaggle官方api下载到服务器,只需要一行命令行。

在准备工作中,类似于ssh keys,我们需要先验证kaggle的api keys。设置api keys很简单,官方的教程我贴在这里,感兴趣的同学可以自行阅读。

实际操作中,只需做以下几步。

首先,点击自己的头像,进入account。

找到API的分区,点击"create new api tokens"创建新api token

将kaggle.json保存至本地,方便上传至服务器,或其它任务平台。

如果打开这个json文件,可以看见里面包含了我们的id和生成的token。可是这个配置文件该放在哪里呢?阅读官方文档,其中有这样一段话

指明了UNIX系统和win系统所需存放kaggle.json的地址。

对于linux服务器,需要在home directory下创建.kaggle目录,再将刚刚下载的kaggle.json放在.kaggle目录下。

经过上面的铺垫,我们已经配置完成了kaggle的api,之后的每一次下载都成为了一种惬意。

我们知道kaggle上的数据集包含competition中的数据集,和dataset中的数据集,这两种数据集在下载的时候略有不同。

具体有哪些options,可以通过kaggle dataset download -h进行查看。

阅读之后发现-p参数和--unzip参数正是我们想要的。 如果当前目录是意向下载目录的话,将-p参数替换成-w即可。如不指定下载地址,则默认保存在.kaggle目录下。

我们可以实际操作一下。假设我们想直接将下面的数据集保存在服务器的某个地址

点击拷贝api command,添加-w和--unzip参数

已经开始自动下载并解压

大功告成!