据说,深度学习门槛已经很低了?

AI 1年前 (2022) admin
564 0 0

近日,网络上上出现了一个颇有争议性的问题,提问者怀疑深度学习的低门槛会破坏这个领域的声誉。业余者的加入甚至会成为深度学习成长的障碍,因为他们会轻率地将自己不成熟的知识和观念传播出去,最终会影响到业界对深度学习的认同。

对此大家从各方面进行了讨论,这里笔者整理了3个知乎上大家认同比较多的回答,分享给大家:



Giant的回答:

链接:

https://www.zhihu.com/question/321031804/answer/1969027036

来源:知乎

深度学习门槛“变低”应该是从18年前后开始的,Google、OpenAI等巨头们为我们造好了轮子,使得广大普通科研爱好者可以站在巨人的肩膀上,一目千里。


以自然语言处理领域的殿堂级模型 BERT 为例,虽然包含了12层Transformer网络,1.1亿参数量,但借助 huggingface 开源的 transformers 库,普通深度学习用户使用 BERT 瞬间轻松加愉快:

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")model = BertModel.from_pretrained("bert-base-uncased")
inputs = tokenizer("Hello world!")outputs = model(**inputs)
5行代码实现了深度学习NLP领域几乎最牛B的模型,你说这门槛能不低吗?
据说计算机视觉领域强大的模型,现在也只需要少于10行代码就能实现。
再举一个例子,文本匹配同样是NLP最底层的核心任务之一,目的是衡量输入的两个句子之间的关系,例如是否相似等等。
18年没有 BERT 之前,典型的文本匹配模型可以用“花式酷炫”来形容,咱们随便看几个:
据说,深度学习门槛已经很低了?
据说,深度学习门槛已经很低了?
据说,深度学习门槛已经很低了?
据说,深度学习门槛已经很低了?
看完有没有一种头晕目眩感?不同的模型感觉长得很像,却并不相同,又好像是在拿各种网络搭积木。
可别小看这些看似繁琐的模型,当年它们可都是各个数据集的SOTA,而且大多来自ACL这样的顶会。
然而在 BERT 出现后,原来的所谓“长/短文本匹配利器们”,几乎统统被下面一个模型取代了:

据说,深度学习门槛已经很低了?

BERT—语义相似匹配
原因很简单,BERT 结构简单而统一,效果还能吊打传统复杂模型,何乐而不为?
上面客观介绍了“门槛低”的原因,因为巨头们的工作让我们避免了重复造轮子。那深度学习真的已经成为低门槛了吗?很明显不是的。
如果同学只会前文介绍的 api 调用就开始做深度学习、硬刚yinggang大厂算法岗,很容易直接被卷没了,因为人真的太多了。会调包是最基础的能力,估计只能刷掉1%的天真无邪小白。
深度学习背后是庞大的知识体系,涉及了编程、算法、概率论、统计、线性代数等多个学科分支。
如果想从事深度学习工作,简单概括至少需要具备下面的知识点:
  1. 熟悉最基本的深度学习框架(pyTorch, Keras, TF等)和IDE(pycharm, VSCode, Jupyter等),并具备 debug 错误排查能力;

  2. 熟悉至少一门主流编程语言,数据资源稀缺时可能还要通过爬虫去抓取语料;

  3. 能手撕前向/反向传播,熟悉微积分中的链式法则求导;例如给一个两层的MLP和简单的二维向量,能推导出 forward propagation,再用  chain rule 推导出 back propagation;

  4. 了解常见的损失函数,激活函数和优化算法,明白它们各自的区别优劣,例如 relu 相比 sigmoid 的优点在哪,Adam对于SGD做了哪些改进;

  5. 对一些经典的论文和方法了如指掌,最好能给刚入行的同学讲解清楚(这样才算是真懂了),例如做NLP,如果会调包却不知道 BERT 三个嵌入层分别是什么、Transformer 有哪些核心模块,肯定要被 pass;

  6. 遍地开花不如单点突破,精通自己的研究领域;知道领域内SOTA方法是什么,有哪些算法设计理念、数据集、应用场景等,精通一个领域可以提高自己的不可替代性,胜过蜻蜓点水什么都会一点却样样不精的人;

  7. 加分项:名校背景,paper,比赛SOTA,独角兽/大厂实习经验,发明专利等,可以为你的简历锦上添花,更快从简历池中脱颖而出。

总的来看,深度学习门槛看似降低了,却对入行的从业人员提出了更高的专业要求,优胜劣汰的自然法则在几乎任何一个领域都是适用的。

相比于科研发paper,工业界对理论基础和项目经验更加看重,从近几年各大厂的简历投递/录用比来看,深度学习的门槛不降反升了。


桔了个仔回答:

链接:

https://www.zhihu.com/question/321031804/answer/1981721866

来源:知乎

我们回顾过去几十年技术发展的历史,会发现这么一个趋势:技术门槛在不断降低,从业人员逐渐增多。

首先讲讲硬件。

电脑的门槛从最初,到现在,硬件无论是设计还是使用,都门槛变低了。

在过去,组装电脑是非常专业的事情,使用起来也是需要一定的专业技能。而随着集成电路的发明,微处理器的发展,1975年家酿计算机俱乐部的诞生,使得组装个人电脑门槛降低;随着苹果成立,发布apple II,连使用门槛也降低了。

据说,深度学习门槛已经很低了?
这段时间,也许是有部分计算机工程师失业了或者转行了(但历史没记录他们的名字),但我们也看到,更多的人因为计算机「门槛降低」而获益。
总的来说,因为计算机技术门槛降低,我们今天才得以成为一个程序员。如果计算机门槛还是很高,硬件还是很贵,那么对于多数人来讲,根本付不起这个高昂的学习成本。如果我们要学写代码,需要买一台几吨重,价格几十万的电脑,还有人愿意做程序员吗?
说完硬件,来说说软件,例如编程。
不知道大家有没写过汇编。如果你能掌握汇编的同时也掌握一门高级语言,那你会能感受到两者的差别。汇编当然现在也有其用武之处,但很少人愿意使用汇编来写一个复杂的软件。因为高级语言更接近人的思维方式,而汇编更接近计算机的工作方式。举个例子,你在高级语言里,可能是这么写加法的
a = 1+2

而在汇编里,是这么写的

mov ax,1 ;将1送入AX寄存器 AX=1mov ah,2 ;将2送入AH AH=2   add ax,ah ;将寄存器AX中的数值加上AH的结果存入AX中 AX=AX+AH

在高级语言里,你是这么写hello world的

print("hello world")

在汇编里,你是这么写hello world的

assume cs:code,ds:datas  
datas segment str db 'helloWorld!','$' datas ends
code segment mov ax,datas mov ds,ax lea dx,str ; 获取str的偏移地址 mov ah,9 ; 调用9号功能输出字符串 int 21h
mov ah,4ch int 21h code ends end
更别说其他复杂的表达了,写起来真的需要很费力。
高级语言的出现,降低了编程的门槛。而高级语言的出现使得编程行业内卷,大家失业了吗?也许有少部分人失业了,但对于整个行业来说,反而是创造了更多的就业机会。
说回深度学习。
表面上,深度学习门槛是降低,但真正在行业里立足的,都不是简单的调参侠。在技术发展的路上,我们必须站到更高的位置。对深度学习来说,想要站到更高的位置,有两条路:
  1. 学术路:吃透现有框架,提出新的框架。这条路的确现在确实有点卷了,但依然还是给有研究条件的人(大公司,大学)留了足够的机会。
  2. 工程路:技术落地。更多的关注一个技术可以应用在什么领域,在哪些地方可以落地。如果你已经在某个领域做算法工程师了,那就吃透业务,提出新想法。


所以总结下:一门技术,降低门槛,的确会造成从业者增加的情况,但我们也应该注意到,市场规模也在增大,但市场规模增速比从业者增速快,就不用担心内卷。根据IDC发布的中国人工智能软件及应用(2020上半年)跟踪》报告显示,2020年上半年中国人工智能软件及应用市场规模达15.3亿美元,相比2019年上半年同比增长32.5%。顺便一说,这份报告里也提到了AI技术落地带来的机会。所以,就目前来说,深度学习门槛低了 ,其实能给大家机会。



Serendipity回答:

链接:

https://www.zhihu.com/question/321031804/answer/1331269931
来源:知乎

做出这个推论是完全可以理解的
如果你正在自学深度学习,那么很有可能像我一样去学习一些在线课程,当然可能也实操过一些小项目,学习这些课程或者跟随教程去做实操可能会让深度学习看起来很容易,个人觉得基于以下原因:
  1. 首先,这些课程中有很多都利用TensorFlow或Keras之类的框架来实现神经网络和诸如梯度下降之类的优化算法。我想,如果尝试仅通过NumPy或SciPy实现这些,我们还是觉得容易吗?再杠一点,如果不用库呢?
  2. 许多课程着重于对数学的“直观”理解,而不是实际的核心知识。我曾经也在朋友推荐下看过吴恩达(Andrew Ng)著名的ML课程,该课程在许多情况下都显示了多个方程式的含义,而不是描述它们的推导方式,如果想要明白完整推导过程是需要自己亲自思考的,但很多人却不去做,这更使得DL看起来“容易”。(PS:此处绝无抹黑吴恩达老师的意思)
  3. 最后,很多人通常无法理解良好的数据集在深度学习和机器学习中的重要性。这意味着我们将需要花费大量的时间来获取,清理和表示或编码数据。特征方面既要积累专业知识又要花费大量时间去尝试选择,还是很不容易的。如果一直在使用来自在线存储库的准备好的数据集来实现神经网络,那么就可以理解为什么所有这些对DL学习者来说似乎都很“容易”的。培训建立适当的数据集的工作量很多时候起码要占一份完整工作的50%。而提出并理解这些结构背后的内容则更加困难。我们需要对概率论,信息论,微积分等有充分的了解,才能掌握其主要思想,而这些工作很多人一开始根本却就没有接触过orz

到目前为止,深度学习在性能方面的进步的确令人印象深刻。
我们作为该领域的新手,很多时候无法看到深度学习的全貌,然而却因为我们侥幸能够在最先进的领域中与最著名的研究人员做类似的工作而沾沾自喜,这就是我们的错误之所在了。
就个人而言,我觉得严格的数学证明和统计学是必须的,并且我还想回到那些原始旧论文中找出其背后的原始想法与目的,而非仅仅是做一个快乐的调参党。

(注:文章内容均源自知乎,侵删)




关于二范数智能:二范数AI教育是一家新锐的AI+科创公司,团队主要来自阿里巴巴,成员毕业于华科、武大、东南大学等知名高校。我们在自然语言处理、计算机视觉、推荐系统等领域有深厚的技术积累,同时也具备多年的教育经验。AI培训,我们是最专业的!


欢迎大家通过下面联系方式联系我们:

据说,深度学习门槛已经很低了?

原文始发于微信公众号(二范数智能):据说,深度学习门槛已经很低了?

版权声明:admin 发表于 2022年11月26日 下午8:45。
转载请注明:据说,深度学习门槛已经很低了? | CTF导航

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...