stateoftheart是什么意思、读音？AI界的State of the Art都在这里了

各位老铁们，大家好，今天由我来为大家分享stateoftheart是什么意思、读音，以及AI界的State of the Art都在这里了的相关问题知识，希望对大家有所帮助。如果可以帮助到大家，还望关注收藏下本站，您的支持是我们最大的动力，谢谢大家了哈，下面我们开始吧！

项目地址：https://www.stateoftheart.ai/

正如这些学生所言：「我们希望将所有资源都高效地分配到如今迅猛发展的AI和ML领域。」因此这个项目可以更高效地利用手中的资源，包括将时间、精力和计算资源都投入到真正的当前最优方法和结果上。

StateOfTheArt

尽管目前已经有很多诸如arxiv-sanity、GroundAI、DeepLearningMonitor、reddit、Medium等等能帮助我们紧跟AI和ML领域最新发展的网站。作者认为目前我们尚未拥有易于查询的项目来检索最先进的、可量化的任务结果。遵循这个想法，作者的目标是建立这个工具，不仅对研究人员有用，对任何想要咨询或有助于推动该领域的人都有用。

基于这样的目标，作者选取了StateOfTheArt作为衡量标准。很多读者都很熟悉当前最优结果（SOTA），现在的新研究很多都尝试给出更好的SOTA结果。而大部分新的最优结果主要关注修正部分结构或给出一些技巧，我们很难判断实际上这样的修正到底重不重要。为此，作者认为一个能真正包含SOTA结果的项目是非常有价值的，因此也就有了stateoftheart.ai。

数据来源与度量

数据的主要来源是可以上传其领域相关结果的机器学习社区。社区的开发者在阅读（大量）文章后，会知道哪些论文是真正重要的、哪些论文的SOTA结果是可以复现的。此外，爬取网页和几个现有数据集和网站的数据同样可以为项目提供数据。最后，数据的另一部分来自电子前沿基金会的《MeasuringtheProgressofAIResearch》报告。

报告地址：https://www.eff.org/ai/metrics

当然，衡量AI领域进展的许多方面既不容易量化，也不能以表格形式展示。此外，任务的分类在某种程度上必然是有任意性的和不完整的。但是，在许多情况下，这样的工具非常有用，并且始终可作为非全面的初始参考。该项目已经覆盖了计算机视觉、AI游戏、自然语言处理、网络图和知识库、程序归纳和程序合成、音频处理，以及时间序列处理等领域。

开放平台并使其简单无缝，每个人都可以做出贡献是至关重要的。任何人只要注册后就可以使用「UploadResult」按钮上传新任务、指标或结果。目前，该网站支持通过论文的DOI/URL来上传结果。这里主要展示了图像分类与机器翻译的SOTA结果，项目会提供对应原论文与具体数据集上的结果。此外，作者还将根据用户反馈调整平台以适应更多用例场景。

目前该网站不支持搜索引擎，但可以通过多级分类按钮进行检索。检索共分为三个级别，领域、任务和数据集。只要依次选中想要的检索关键词，就可以在下方的表格中查到定量的stateoftheart数值结果。如下图所示，依次选中「计算机视觉」、「图像分类」和「ImageNet」后，就能看到当前最佳的ImageNet分类器的相关信息。

从表格中分别能查询到相关论文、作者、算法、论文接收会议和性能指标，以及论文的链接。

从这里的数据来看，作者收集了多种分类指标，包括准确率、误差率、top-1准确率和top-5准确率，并分离地进行排序。

按照top-1准确率和top-5准确率指标，最佳的ImageNet分类器应该是2018年的《LearningTransferableArchitecturesforScalableImageRecognition》这篇论文中提出的NASNET-A(6)架构，其top-1准确率为82.7%，top-5准确率为96.2%。

此外，算法描述也能提供一个简要的理解。例如在机器翻译中的NIST05(Chinese-English)数据集上，当前最优的论文可以视为结合了Transformer与CSGAN。算法简述与其所投的的大会能让我们在最短的时间内对该论文有一个直观了解：

关于该项目的数据更新程度，我们可以根据近期比较受关注的BERT模型收录情况感受一下。在自然语言处理领域，已经可以在很多任务中找到BERT的身影，包括分类、常识推理、实体识别、语法、电影评论等。

当然，这里收录的SOTA结果也不全包含最新的。比如，依次点击「GamePlaying」、「Abstract-Strategy」、「Go」之后，你将看到如下结果：

表中显示AlphaGoZero是最新的SOTA围棋AI，但实际上我们都知道，应该是近期上了Science封面的AlphaZero：

关于本次stateoftheart是什么意思、读音和AI界的State of the Art都在这里了的问题分享到这里就结束了，如果解决了您的问题，我们非常高兴。