AI爆发的推动机制学习

2023-01-30 | 0 评论 | 0 浏览

背景

随着Stable Diffusion、ChatGPT的爆火，AI迎来了新一轮的爆发。

这一轮爆发背后的推动机制是什么呢？贾扬清在量子位MEET 2023智能未来大会上，给出了他的答案: AI工程化和开源。

AI工程化：标准化的方式来使用大规模的计算。

结果：

AI大规模发展：如大模型、AIGC。

开源可以让产品的互补品更加容易获得，让整个市场更大，让大家共赢。

进一步的，他指出了AI产业落地的四大明显趋势：

AI开发范式，分两个部分：

col1	col2	col3	col4
前半段	模型开发	算法工程师	从数据到模型
后半段	业务开发	业务工程师 + 算法工程师	模型在业务中的迭代到应用

前半段，算法工程师会通过数据平台做数据采集、清理、标注。在开发的时候，一个开源的、耳熟能详的环境已经成为业界标准，能够让算法工程师进行开发、迭代。

今天大多数的模型都需要用到分布式计算，这些技术已经成为标准底座，让我们更加高效地做分布式训练、调度和部署。

后半段，产出最开始这些模型之后，我们就需要让业务工程师和深度学习的算法工程师一块在实际当中做模型选型、验证等等，再通过前面提到的开发、迭代、训练这些平台，来获得一个适合线上服务的模型。

效果：填上AI从科研到普惠的鸿沟，用高性能、高可用、低成本的方式把这个沟跨过去。

案例：

今年达摩院和阿里云一起做了一件事情，就是重新审视我们在AI算法协同当中怎么样把达摩院超过90%的应用，不论是训练还是推理服务的应用，都用云原生方式来实现。

通过这样的方式，我们所见到的是：

从需求的角度，资源更加可用、更容易获得，无论是拉起一个训练还是推理，都比以前更加容易，更快；

从工程细节上，算法工程师不再需要进行像存储、管理机器、调优带宽等等这些具体的事情；

从供给角度、AI系统管理角度来说，无论是利用率、训练效率，还是服务成本都变得更好了。

第二个趋势是，端到端的异构计算与优化。

现状：传统AI框架已经变得很成熟了。

问题：框架上下游，需要建设更加丰富的软件栈。

上层：分布式建模，调动异构资源进行训练。如开源框架EPL，自动化生成分布式训练模型。
下层：通过AI技术做软硬件协同设计和优化。如PAI-Blade，针对底层硬件，提升算法效率。
整体：建立这样一个存储、网络完整的优化解决方案。

和小鹏的合作。

第三个趋势，往往会涉及到多种模型、多种算法的组合。

各种单点AI算法越来越成熟之后，我们可以更容易地组合一个贴近客户的智能产品，这也是很多用户实际需要的一个AI中台，因为我们并不需要一个单体模型，我们需要解决问题。

案例：拿“听悟”智能会议助理举例，这是达摩院语音实验室把语音、自然语言处理和其他的算法组合起来后建设而成，因为会议的原因，我在会前录了一个非常简短的实际使用的Demo，请大家来感受一下。

最后，还有一个非常强的趋势就是模型开源。

代码开源已经非常深入人心了，我们可以清晰地看见，业界的需求从代码的开源往前一步，到了模型的开源。

案例：达摩院和业界很多伙伴一起推出了ModelScope，我觉得它跟以前所见到的学术模型不一样，我们更进一步的地方是我们将实际业务当中所见到的、训练的、沉淀下来的实际场景化的模型都贡献了出来，今天大家可以在魔搭上面找到300多个成熟的模型。

案例：语音可以找到不同方言的、中英混杂的，这种通用的学术模型可能不太关注，但是在应用当中很需要的模型。

案例：最新的像Stable Diffusion这些模型，你也可以在上面实现浏览、尝试下载开发、二次开发等等。