美团云服务器的使用

        今日看来一篇博客,趁着机会现在美团云深度学习平台还是处于公测,不用花钱买GPU大笑,赶紧跑来学习,特别是现在的我买不起GPU的程序猿。

博客介绍的几种机器学习深度学习云GPU资源与对比:http://blog.csdn.net/cccat6/article/details/79057746

        登陆美团云官网,这里使用自己的美团账号就可以,别告诉我没有你没用过美团哈哈哈。官网地址:https://www.mtyun.com/,然后登进去是这样的:


    像我这种票子很紧的毕业狗,默默地选择不用花钱的“深度学习平台”。点击进去:


        这里我将使用官网给出的MNIST例子跑。

一:创建项目

        在美团云控制台“数据处理与AI”菜单下,找到“深度学习平台”,点开后会进入深度学习平台。点击深度学习平台左侧导航“任务”,会看到项目列表。在创建任务之前需要先创建一个项目。项目是任务的集合,一个项目下可以包含若干个任务。点击项目之后,可以进入任务列表。


二:代码与数据上传

        创建任务前,需要先上传任务涉及到的运行代码和数据集。数据需要上传至DLS的文件服务,文件系统是HDFS。点击DLS左侧导航“文件”,可以进入文件管理页面。您可以创建文件夹,上传代码和数据集。

        在此页面主要是配置任务所需要的运行代码、数据集以及输出目录,您需要先创建对应的任务目录并上传相应的数据。美团云DLS现阶段采用独立的在线分布式文件系统(HDFS)来存储任务的运行代码、数据、模型和任务运行日志。https://www.mtyun.com/console2/dls/hdfs/

       1.点击新建文件夹按钮,输入文件夹名称:



        2.进入目标文件夹下,点击“上传”按钮,在文件选择框中选择对应的文件,点击“确定”上传: 

       我这里再创建两个文件夹分别存放代码和数据集,这些目录可以随意创建,只要在代码中相对应的关联好就可以。


       接着分别上传代码和数据集,这里深度学习云平台目前只支持tar.gz格式的压缩数据集,所以一般都是转换为别的可直接读取的格式,因为尚未提供在线解压缩功能。


       随便点击打开代码文件


        还可以在线预览编辑,还是很良心的,所以这也是推荐美团云这个“不用钱”平台的好处哈哈哈

三:创建任务并启动

        点击“任务”,切换到任务的项目列表,点击“mnist”,进入项目下的任务列表,点击“新建任务”,配置任务的相关内容。

        进行相关计算资源的配置:其中,新建任务需要配置三部分内容:“计算资源”、“输入输出”、“基础信息”。其中,“计算资源”是任务运行的计算资源环境,我们支持CPU和GPU两大类,每个大类都支持“分布式”和“单机”模式。

输入输出配置

接下来需要配置输入输出内容,这里的例子比较简单,代码文件只有一个mnist.py。我们在“代码文件”这一行,点击“文件选择”按钮,在弹出的文件选择框中选中mnist.py文件,点击确认,这样我们就完成了代码文件的配置。 由于我们只有一个代码文件,所以系统会默认将mnist.py同时指定为“启动代码文件(Main)”,“启动代码文件(Main)”这个输入框就不需要填写了。 当您的代码文件是由多个文件组合成的压缩包时,您将此压缩包配置成代码文件的同时,还需要在“启动代码文件(Main)”这一行手动配置启动代码(main)在压缩包中的地址。例如,启动代码在解压后的文件夹的根目录,这里直接输入文件名即可,否则,您需要填写完整的相对目录,如“mnist/mnist.py”。



我们需要配置训练数据和模型保存地址。在这里配置的两个目录您可以在代码中分别以--datadir和--modeldir这两个命令行参数获取对应的值。


四:任务启动与运行

        回到项目中的任务列表,我们可以看到任务处于“调度中”或“运行中”,这个时候您可以去做别的工作,等待任务的运行完成。如果你配置了“任务完成通知”的联系人,在任务完成时,您将会收到任务完成的通知(短信和邮件)


       还可以查看配置参数:

启动:
        等待调度

        完成:


        查看日志:


这里是官网给的MNIST数据集和代码文件:MNIST.zip