社交媒体分析：正确进行绩效衡量

iiseoclaubbd1z1

对于社交媒体分析的购买者来说，比较各种技术的性能简直令人困惑。对于情感分析（实际上是一般的文本分析）尤其如此，其中科学术语、营销夸夸其谈和一长串的功能常常会掩盖真正重要的事情：使用旨在测量人类表达的技术，我们是否获得了价值人类分析？ 更多阅读 文本分析 使用人工智能进行文本分析的七大好处 企业文本分析的 5 个应用 利用数据分析制定有效 API 策略的重要提示 Python 文本分析实践简介 API 如何改变 Martech 格局 这种将人类表现作为最终目标的概念基于一个重要的观察：当人们分析社交媒体时，我们会得到有价值的结果。 当我们构建社交文本分析解决方案时，我们认识到，如果我们能够以某种方式将几千人缩小并放入一个小盒子中，然后让他们的工作速度提高数千倍（以处理严重的大问题），那就太好了。数据），我们将为客户的问题提供令人难以置信的解决方案。是的，人们确实会犯错误，而且他们在某些事情上意见不一致。（考虑一下：“在这个价位上，我猜智能手机满足了最低要求”。三个不同的人可能会公平地称其为积极、消极或中性。）但是，尽管人类的表现并不完美，但我们从长期测试的经验中知道人工分析可以提供客户所需的各种价值。 因此，在构建和基准测试我们的社交媒体分析技术时，我们着眼于我们的系统与人类表现的接近程度。

人们不需要技术 100% 完美，因为人并不完美，而且我们知道人们可以很好地完成工作。（再次参见第二段。）正确的目标是让技术与人一样优秀。1 考虑到这一点，我们将如何应对测量挑战。第一步是弄清楚人们在我们关心的分析方面的表现如何，这样我们就知道我们的目标是什么。你怎么能这 巴拿马电话号码表 么做呢？好吧，接受某人的分析并让第二个人来判断。唔。等一下。我们如何判断第二个人是否是一个好的判断者？添加第三人来判断第二人。现在你怎么判断第三者是不是好人——呃哦。你看到问题所在了。 问题在于，最终没有一个最终的、理想的法官。没有人是完美的。（但这没关系，因为我们知道，尽管存在这些缺陷，但当人们完成这项工作时，它会带来巨大的价值。请再看第二段。）事实证明，有一个不同的解决方案：让三个人轮流互相评判。这是它的工作原理。将第一个人的分析视为“真理”，看看第二个人和第三个人如何做。然后把2号的分析当成事实，看看1号和3号是怎么做的。然后把3号的分析当成事实，看看1号和2号是怎么做的。



事实证明，如果我们轮流让每个人为其他人定义“真实”的分析，然后对结果进行平均，我们将得到一个统计上可靠的人类表现数字——无需考虑必须选择他们中的任何一个人作为掌握最终“真理”的人。这将为我们提供一个可以称为人类平均表现的数字。 2 如果我们想知道我们的系统是否良好，我们会将其与人类的平均表现进行比较。这又是同样的想法，这次是将系统与人类进行比较，而不是将人类与人类进行比较。即：将第一个人的分析视为“事实”，然后看看系统如何运作。将第二个人视为“真相”，再重复一次。第三个人。对这三个数字进行平均，我们就得到了原始系统性能。 最后一步：我们真正想知道的是，原始系统性能与人类平均性能有多接近？为了得到这个，你可以将前者除以后者，得到人类表现的百分比。例如，假设人类的平均表现是 74%。也就是说，平均而言，人类在 74% 的时间里意见一致。（如果这个数字看起来很低，是的，您猜对了；第二段。）假设系统 A 和 B 的原始系统性能分别为 69% 和 59%。一个系统真的比另一个更好吗？你怎么知道？系统 A 实现了人类绩效的。系统 B 达到了人类绩效的 59/74 = 80%。从所有这些数字中得出一些你可以翻译成可以理解的术语的东西：系统 A 与人类的表现相差不远，但系统 B 甚至不在喊叫的范围内。