那些年,他们在机器学习中走过的弯路...



营长的一位转型AI的朋友,最近对营长抱怨,“走过的最远的路,就是机器学习过程当中的弯路”,而后开始各类blablabla,从论文的坑,到模型的坑,再到培训的坑...一路吐槽。程序员


尤为是论文,他骂道:“最讨厌的就是那种,高高在上、伪装清高、站着说话不腰疼、戳不到痛点的论文。好比那一堆只能在理论中刷存在感,实际落地中只能‘呵呵哒’的论文,根本就是浪费时间。”算法


的确,对于如今刚刚入行的机器学习新人来讲,不怕吃苦,但最怕走弯路,最怕白白浪费时间。api


那么,总结起来,都有怎样的弯路呢?来看几位点赞量颇高的知乎答主的总结:网络



那些年,他们在机器学习中走过的弯路...dom


在知乎答主张馨宇(就任于百度地图)看来,机器学习的弯路有如下四个:机器学习


最大的弯路就是本身xjb学xjb试,和加入一个真正能作出东西的团队或跟随真正的牛人一块儿学习相比,速度要慢十倍都不止。学是要学,但不要觉得本身xjb学就够了,差得远呢。学习


第二大的弯路就是整天xjb看论文,觉得这样就能打通任督二脉,历来不复现论文或者尝试本身作出一些东西,这都是〇。ui


第三大弯路浅尝辄止,有些东西不往死里怼屁都作不出来。spa


第四大弯路迷信复杂的东西和新技术,觉得新东西怼上去确定就效果爆棚。其实都是不存在的。
.net


还有一位知乎答主ycszen,在他看来,最大弯路,就是迷信论文,不去实验。


DL\ML实际上是一门实践性的学科,只有经过实验才能把握到其中的细节与真谛。虽然说也是在写程序,可是DL的程序基本上没法直观地debug,因此非得本身去复现一下,实践一下,用performance来讲话,才知道有没有出错。


尤为是DL,研究发展到如今,论文和实际作的东西脱节已是心领神会的事了。正由于NN+GD的鲁棒性,你xjb搞好像也能搞上去,因此写论文不少纯粹在编故事(好论文除外)


因此,咱们最好不要一味相信论文所说,尤为是各类解释(经典算法,优秀论文除外)。NN就是个黑盒,谁也别说谁。而咱们能作的,更重要的是,去实践去复现,去去伪存真,去发现其中真正的本质所在。


而知乎答主:YukiRain(CV/ML方向研究生在读)则认为,非科班出身,刚转型AI的程序员最大的弯路是:没学好数学。


而对于数学基础好,科班出生的AI程序员来讲,则应注意如下几个问题:


1.一开始没人带的时候,看论文喜欢看最新的,很大程度上忽视了不少比较老比较基础的论文,嫌弃之前的方法performance很差什么的......感受我身边一些人也走进过这个误区......


2.永远不要迷信某个特定的模型,不要由于random forest在某个任务上效果好,就之后遇到什么任务都上random forest;也不要以为深度学习就是万能的,什么均可以套神经网络解决;不要看到比赛里面你们成天用xgboost就整人云亦云地复制。学各类算法的时候,书上通常会告诉你这个算法有balabala优势一堆,可是通常不会告诉你这个算法也有balabala一堆缺点,我花了蛮长时间在这个坑里,慢慢摸索各类不一样模型的特性。


3. 不要迷信一些理论性很强的论文,我一开始的时候,常常看到一大堆公式就下意识会以为这个模型可能效果不错。事实上不少论文的理论推导和它的代码毫无关联(参见已经完全回归炼丹的WGAN GP),还有不少论文的推导须要很强的assumption支持(参见每一年都会出如今顶会的一些给模型加riemannian geometry的论文),等等。

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------