随着机器学习和深度学习的发展,人工智能已从科幻幻想转变为日常生活的固有部分。然而,就像在软件开发初期一样,开发人工智能和机器学习的应用程序对于大多数组织和个人来说仍然难以企及,只有大型科技公司才能对其进行有效利用。
许多专家和公司正在努力解决这个问题。其中包括 IBM Watson 的产品经理阿尔芒·鲁伊斯(Armand Ruiz),他的团队正致力于开发不仅使数据科学家更高效的工具,还要使数据科学、人工智能和深度学习更容易被企业所接受。在接受采访时,鲁伊斯分享了关于人工智能行业面临的挑战和解决方案的见解和经验,以及如何将人工智能民主化的想法。
开发 AI 应用程序的挑战
Gartner 最近对 CIO 进行的一项调查将人工智能列为最难实施的技术之一。“虽然难度因所实施的人工智能技术类型及其部署过程而异,但采用的主要障碍有几个:技能,标准化,复杂性和缺乏协作,”鲁伊斯说。不过,他指出,挑战是深度学习所特有的,因为深度学习是一个相对较新的创新,增加了 AI 系统可以挖掘的数据量和类型。
在创建深度学习应用程序时,开发人员构建和训练“神经网络”,这是一种大致受人类大脑启发的软件结构。这些神经网络可以完成各种任务,如识别图像内容,执行人脸识别,或分析人类语言的含义和意图。
但是开发深度学习模型是一个非常艰苦和昂贵的过程。“首先,深度学习是一个计算密集型和高度专业化的领域,”鲁伊斯说。“它需要高度优化的系统、软件、驱动程序、计算、内存、网络和存储资源的正确组合,”其组合可能会产生数千或数百万美元的成本。
事实上,深度学习作为概念已经存在了很长一段时间,随着存储和可用性计算资源的爆炸式增长,它才逐渐变成现实。这些资源大部分由大型云商提供,虽然其中许多公司都将他们的 AI 工具提供给开发人员和其他公司使用,但他们仍然是这些平台的独家看门人。
鲁伊斯还指出,目前缺乏熟练的工程师来开发 AI 应用程序。“虽然深度学习的正规教育正在增长,但人才库仍然有限。”他说。
收编稀缺 AI 人才已成为大型科技公司之间的“军备竞赛”,这些公司有时支付的工程师薪水每年达到数百万美元。这使得小公司和组织很难获得人才和创新,并在这个领域进行竞争。
“在深度学习团队中缺乏标准化,不同的数据科学家倾向于使用不同的开源框架来构建他们的模型,”鲁伊斯说。这可能会让数据科学家在自己的团队中共享和重复使用模型变得越来越具有挑战性。
另一个值得考虑的事实是,神经网络设计只是一个更大工作流程的一个阶段,鲁伊斯指出,它还包括深度学习模型的培训、评估、部署、监控和增强。“数据科学家必须了解超越设计的许多功能领域。这包括熟悉并能够处理各种基础架构和体系结构,这些体系结构和基础架构在使用和应用方面差异很大。“鲁伊斯说。
鲁伊斯指出,许多组织(具有分析数据的技术专业知识)和领域专家(能够从收集的数据中形成洞察力)脱节,成为跨组织采用人工智能的障碍。“这些团队经常在孤岛中工作,使用不同的工具,对彼此的工作缺乏洞察。结果是 AI 在承诺增加人们的专业知识方面做得不足,“鲁伊斯说。“这是我个人在数据科学领域的经历中遇到的一个问题,也是我与团队一起努力挑战的困境。”
作一个类比可能会让我们对目前的状况有更好的认识。在早期,简单的编程是一项技术性很强的工作,只有技术精湛的工程师和开发人员才能参与其中。他们很大一部分时间不得不用来理解他们正在开发的问题空间,并弥合领域专家和计算机代码之间的鸿沟。但随着编程工具变得更易于使用,应用程序编程接口(API)变得更加强大,软件开发变得民主化,越来越多来自不同背景的人们能够将他们的专业知识转化为软件。AI 需要经历一个类似的过程。
所列这些因素可能会让组织在整个企业范围内部署深度学习具有挑战性,阻碍他们最大限度地从数据中获得商业价值,鲁伊斯说。
如何使人工智能和深度学习民主化?
“为了充分发挥人工智能的潜力,我们需要一些工具,使今天的数据科学团队能够更轻松地开发 AI 系统,从而帮助收集数据中的见解。”鲁伊斯说。
为此,深度学习解决方案和框架必须使数据专业人员能够更快、更精确地设计新的神经网络,优化其训练模型,理解、重用和增强其同行已经创建的网络,并在整个组织内进行协作。“在 IBM,我们已经通过提供让不同技能水平的个人可以通过深入学习的工具来实现这一目标。” 鲁伊斯说。
鲁伊斯正在与一个以前曾从事数据科学研究的产品经理的团队合作。因此,他们了解各种用户在处理数据和人工智能时面临的挑战,他们专注于构建工具,使科学家和普通企业用户都可以访问数据科学和其他复杂技术。
其中一项值得注意的努力是 Watson Studio 的“深度学习即服务”解决方案,该解决方案最近首次亮相。“深度学习即服务”借鉴了 IBM Research 的进步,使组织能够克服深度学习部署的常见障碍,包括技能、标准化和复杂性。“深度学习即服务”的特点之一是神经网络建模器,一种直观的拖放式界面,使非程序员能够通过使用流行的深度学习框架对其神经网络进行可视化选择、配置、设计和自动编码,从而构建模型,如 TensorFlow、Caffe 和 PyTorch。
鲁伊斯表示:“我们的目标是让企业与数据科学家和开发人员一起,通过使用众所周知的框架和最少的代码,以更低的成本有效地构建、优化和训练神经网络。
未来取决于人工智能和大数据的分布
正如数据科学家道格罗斯不久前指出的那样,人工智能需要更多的人文代表,以克服其障碍和挑战。正如著名的历史学家在年度世界经济论坛达沃斯中正确指出的那样,人类的未来可能取决于人工智能和大数据的分布情况。这样看,鲁伊斯和他的同事们将 AI 民主化的努力显得更为重要。
“AI 拥有巨大的力量来改变我们的世界和未来的业务,包括我们如何消费信息,如何塑造沟通,以及我们如何与技术互动,”鲁伊斯指出。“但是,人工智能只有在易于访问和可应用的情况下才会产生这种影响。人工智能技术的民主化,加之人们对其使用的广泛理解以及消费者信任度的提高,将有助于打破目前使人工智能难以集成到企业工作流程中的障碍。大规模部署人工智能技术的组织将看到生产力和效率的显着提高,从而使员工能够专注于更复杂、更具创造性和影响更大的任务。“
【数字叙事 原作:Ben Dickson;编译:Lighting】