学习MLPERF

测试基准与标准 | BenchCouncil

其中涉及AI的有如下：

AI

(1) AIBench Training

AIBench 培训采用平衡的 AI 基准测试方法，考虑全面性、代表性、可负担性和可移植性。该方法广泛调查人工智能任务和模型，并在最大程度上涵盖了算法级、系统级和微架构级因素空间。从算法层面考虑常用的构建块、模型层、损失函数、优化器、FLOP、不同尺度参数大小;从系统层面考虑收敛速率和热函数。从微架构层面，考虑了不同的计算和内存访问模式。AIBench 培训涵盖 19 项具有代表性的 AI 任务，采用最先进的模型来保证多样性和代表性。此外，还提供了两个AIBench培训子集：RPR和WC子集，以实现可负担性。

项目主页: AIBench Training | Balanced Industry-Standard AI Training Benchmarking, BenchCouncil.

(2) AIBench Inference

通过深入分析搜索引擎、社交网络、电子商务三大互联网服务的核心场景，AIBench 推理提供了 19 个工作负载，每个工作负载代表一个具有代表性的 AI 任务。

项目主页: AIBench Inference | BenchCouncil.

(3) ScenarioBench

ScenarioBench 不是使用实际应用程序或从头开始实现成熟的应用程序，而是提出基本任务的排列作为场景基准。目标是确定实际方案的关键路径和主要模块，因为它们消耗最多的系统资源，并且是系统设计和优化的核心焦点。每个场景基准都提炼了行业规模应用程序的关键属性，并减少了后者在巨大的代码大小、极端的部署规模和复杂的执行路径方面的复杂性的副作用。

项目主页: ScenarioBench | BenchCouncil

(4) AI Matrix

AI Matrix是对阿里巴巴内部使用的深度学习应用程序进行全面调查的结果，旨在涵盖占阿里巴巴数据中心GPU使用率90%以上的典型DL应用程序。收集的基准主要分为三类：计算机视觉、推荐和语言处理，它们构成了阿里巴巴中大多数的深度学习应用程序。

项目主页: home, GitHub - alibaba/ai-matrix: To make it easy to benchmark AI accelerators

(5) Dcbench

Dcbench旨在提供一种标准化的方法来评估以数据为中心的AI开发的工具和系统。

项目主页: GitHub - data-centric-ai/dcbench: A benchmark of data-centric tasks from across the machine learning lifecycle.

(6) DAWNBench

DAWNBench 是一项基准测试和竞赛，专注于端到端训练时间，以达到最先进的精度水平，以及具有该精度的推理时间。

项目主页: Stanford DAWN Deep Learning Benchmark (DAWNBench) ·

(7) Fathom

Fathom 是用于研究的八个原型深度学习工作负载的集合。这些模型中的每一个都来自深度学习社区的开创性工作，从Krizhevsky等人熟悉的深度卷积神经网络，到Facebook人工智能研究小组的更奇特的记忆网络。