
通常来说,如果手动下载不行,可以尝试使用kaggle官方api下载到服务器,只需要一行命令行。
在准备工作中,类似于ssh keys,我们需要先验证kaggle的api keys。设置api keys很简单,官方的教程我贴在这里,感兴趣的同学可以自行阅读。
实际操作中,只需做以下几步。
首先,点击自己的头像,进入account。
找到API的分区,点击"create new api tokens"创建新api token
将kaggle.json保存至本地,方便上传至服务器,或其它任务平台。
如果打开这个json文件,可以看见里面包含了我们的id和生成的token。可是这个配置文件该放在哪里呢?阅读官方文档,其中有这样一段话
指明了UNIX系统和win系统所需存放kaggle.json的地址。
对于linux服务器,需要在home directory下创建.kaggle目录,再将刚刚下载的kaggle.json放在.kaggle目录下。
经过上面的铺垫,我们已经配置完成了kaggle的api,之后的每一次下载都成为了一种惬意。
我们知道kaggle上的数据集包含competition中的数据集,和dataset中的数据集,这两种数据集在下载的时候略有不同。
具体有哪些options,可以通过kaggle dataset download -h进行查看。
阅读之后发现-p参数和--unzip参数正是我们想要的。 如果当前目录是意向下载目录的话,将-p参数替换成-w即可。如不指定下载地址,则默认保存在.kaggle目录下。
我们可以实际操作一下。假设我们想直接将下面的数据集保存在服务器的某个地址
点击拷贝api command,添加-w和--unzip参数
已经开始自动下载并解压
大功告成!
