许多开发团队开始尝试如何使用人工智能来提高效率，但为了成功实施，他们需要有方法来评估他们对人工智能的投资是否确实提供了与该投资成比例的价值。
Gartner 今年 5 月的一项最新调查显示，49% 的受访者声称采用人工智能的主要障碍是难以评估和展示人工智能项目的价值。
在我们播客 What the Dev? 的最新一集中，Exasol 的 AI/ML 首席产品经理 Madeleine Corneli 与我们一起分享了这样做的技巧。以下是该对话的编辑和删节版本：
SD Times 新闻编辑 Jenna Barron：人工智能无处不在。这似乎是不可避免的，因为感觉现在每个开发工具都内置了某种人工智能辅助。但尽管它具有可用性和可访问性，但并非所有开发团队都在使用它。 Gartner 今年 5 月的一项最新调查显示，49% 的受访者声称采用人工智能的主要障碍是难以评估和展示人工智能项目的价值。稍后我们将详细讨论如何评估投资回报率，但为了开始我们的讨论，您认为公司为何难以在这里展示价值？
Madeleine Corneli：我认为首先要实际确定人工智能的适当用途和用例。我认为我在业界和现在世界上经常听到的是我们必须使用人工智能，必须使用人工智能并应用人工智能并由人工智能驱动。但如果你把洋葱剥开，那实际上意味着什么？
我认为很多组织和很多人实际上都在努力回答第二个问题，即我们真正想要实现的目标是什么？我们要解决什么问题？如果你不知道你要解决什么问题，你就无法衡量你是否已经解决了问题，或者你是否产生了任何影响。所以我认为这是衡量影响力的核心。
JB：对于公司如何提出这个问题并深入了解他们想要实现的目标，您有什么建议吗？
MC：我在各个分析行业工作了 10 年，在与客户合作并尝试提出这些问题方面我得到了相当多的练习。尽管我们今天谈论的是人工智能，但这与我们多年来一直在问的问题是一样的，那就是，你今天在做什么是困难的？您的客户是否感到沮丧？还有什么可以更快呢？还有什么更好的呢？
我认为首先要检查您的业务或团队或您想要完成的目标，无论是构建某些东西、交付某些东西还是创造某些东西。症结在哪里？是什么让这变得如此困难？
从您公司的意图开始，然后逆向进行。然后，当您考虑团队中的人员时，对他们来说有什么困难？他们把大量时间花在哪里？他们把不喜欢的时间花在哪里呢？
你开始陷入更多的手动任务，开始陷入难以回答的问题，无论是业务问题，还是我在哪里可以找到这条信息？
我认为，在尝试回答这些问题时，重点关注您的业务意图以及员工的经验，并找出其中存在摩擦的地方，这确实是一个很好的起点。
JB：那么可以用来展示人工智能价值的具体指标有哪些？
MC：有很多不同类型的指标，人们用来考虑指标的框架也不同。输入和输出指标是分解它的一种常见方法。输入指标是您实际上可以更改且可以控制的指标，而输出指标是您实际上想要影响的指标。
一个常见的例子就是客户体验。如果我们想改善客户体验，我们如何衡量？这是一个非常抽象的概念。您有客户体验分数之类的东西。但这是一个产出指标，是你切实想要改进和改变的东西，但很难做到。因此，输入指标可能是我们解决支持请求的速度。它不一定告诉您您正在创造更好的客户体验，但它是您可以控制的东西，确实会影响客户体验？
我认为对于人工智能来说，你同时拥有输入和输出指标。因此，如果你想真正提高生产力，那么衡量的标准就非常模糊。所以你必须选择这些代理指标。那么以前的测试速度有多快，现在的测试速度有多快呢？这确实取决于用例，对吧？因此，如果您谈论生产力，节省的时间将是最好的指标之一。
现在很多人工智能也不关注生产力，而是注重体验，对吗？这是一个聊天机器人。这是一个小部件。这是一种评分机制。这是一个推荐。它是在很多方面都是无形的东西。所以你必须使用代理指标。我认为，与人工智能的互动是一个很好的起点。
有多少人真正看到了AI推荐？有多少人真正看到了AI评分？然后做出决定了吗？或者因此而采取了行动？如果您正在构建几乎任何类型的应用程序，您通常可以测量这些东西。有人看到AI了吗？他们因此而做出选择吗？我认为如果您能够专注于这些指标，那么这确实是一个很好的起点。
JB：那么，如果一个团队开始衡量一些具体指标，但结果并不令人满意，这是否表明他们应该暂时放弃人工智能？或者这只是意味着他们需要重新设计他们的使用方式，或者他们可能没有一些真正需要的重要基础来满足这些 KPI？
MC：首先要认识到，第一次尝试没有达到目标是可以接受的，这一点很重要。尤其是当我们对人工智能都非常陌生时，即使客户仍在不断发展其分析实践，也会有很多失误和失败。没关系。所以这些都是很好的学习机会。通常，如果您无法达到设定的指标或目标，您想要返回的第一件事就是仔细检查您的用例。
假设您构建了一些可以完成某件事的人工智能小部件，并且您想，我希望它达到这个数字。假设你错过了这个数字，或者你太过分了，或者其他什么，第一个检查是，这真的是人工智能的一个很好的用途吗？现在，这很难，因为你有点回到绘图板。但因为我们对此都很陌生，而且我认为因为组织中的人们很难确定合适的人工智能应用程序，所以你必须不断地问自己，特别是如果你没有达到指标，这就产生了一种存在主义问题。也许是的，这就是人工智能的正确应用。所以如果你能重新验证这一点，那就太好了。
那么下一个问题是，好吧，我们错过了我们的指标，这是我们应用人工智能的方式吗？是模型本身吗？所以你开始缩小范围，提出更具体的问题。我们需要不同的模型吗？我们需要重新训练我们的模型吗？我们需要更好的数据吗？
然后你必须在你试图提供的体验的背景下考虑这一点。这是正确的模型和所有这些东西，但我们实际上是否以对客户或使用它的人有意义的方式提供这种体验？
所以这些有点像你需要问的三个级别的问题：
这是正确的应用程序吗？我是否达到了适当的准确性指标？它是否以对我的用户有意义的方式交付？
查看其他最近的播客记录：
为什么超过一半的开发人员正在经历倦怠
超越人工智能开发工具的炒作
