在 NAS（神经架构搜索）任务中，基准数据集是指专门设计并提供固定的搜索空间、评价指标和预训练结果的数据集，用于公平评估和比较不同 NAS 算法的表现。以下是一些专门用于 NAS 研究的基准数据集：

1. NAS-Bench-101

• 简介: NAS-Bench-101 是一个针对 NAS 任务的早期基准数据集，包含一个预定义的搜索空间，允许研究者直接查询400,000个架构的性能。
• 特点:
  • 预定义的架构搜索空间。
  • 通过查询获得模型在 CIFAR-10 上的训练结果。
  • 大大减少了 NAS 任务中的计算开销。
• 应用: 用于架构搜索算法的效率对比。
• 网址: NAS-Bench-101

2. NAS-Bench-201

• 简介: NAS-Bench-201 是 NAS-Bench-101 的扩展版，提供了一个更灵活的搜索空间和多任务的性能数据。该数据集支持 CIFAR-10、CIFAR-100 和 ImageNet-16-120 三个数据集。
• 特点:
  • 更紧凑的搜索空间，适合更广泛的 NAS 研究。
  • 提供了架构在不同数据集上的完整训练和验证性能。
• 应用: 可用于 CIFAR-10、CIFAR-100 和 ImageNet 任务中的架构搜索对比。
• 网址: NAS-Bench-201

3. NAS-Bench-301

• 简介: NAS-Bench-301 提供了一个模拟 NAS-Bench-201 的复杂版本，专为 DARTS（微型架构搜索）设计。它包含了 DARTS 搜索空间中的架构，并且通过预测器模型来估算性能。
• 特点:
  • 预测器估算模型性能，减少实际训练所需的时间。
  • 提供了DARTS的搜索空间。
• 应用: 用于优化微型架构搜索方法的研究。
• 网址: NAS-Bench-301

4. NAS-Bench-Macro

• 简介: NAS-Bench-Macro 专注于宏观结构搜索。与其他 NAS 数据集不同，它允许在更大的模型空间中探索大型架构的设计。
• 特点:
  • 提供了更复杂的宏观搜索空间。
  • 针对 CIFAR-10 的模型评估。
• 应用: 研究大型深度神经网络的设计与搜索。
• 网址: NAS-Bench-Macro

5. NAS-Bench-NLP

• 简介: NAS-Bench-NLP 是一个针对自然语言处理任务的基准数据集，旨在搜索用于文本分类的神经网络架构。它是第一个面向 NLP 任务的 NAS 基准。
• 特点:
  • 专门为自然语言处理任务设计的搜索空间。
  • 预定义的架构和性能数据，可用于快速评估。
• 应用: 研究 NLP 领域的架构搜索。
• 网址: NAS-Bench-NLP

6. TransNAS-Bench-101

• 简介: TransNAS-Bench-101 是一个多任务 NAS 基准数据集，涵盖视觉任务中的图像分类、目标检测、图像分割等多种任务。它使用不同的任务类型生成搜索空间并提供性能评估。
• 特点:
  • 涵盖多任务（例如图像分类、目标检测、图像分割等）。
  • 提供了跨任务的架构搜索性能评估。
• 应用: 多任务学习中的架构搜索和迁移学习研究。
• 网址: TransNAS-Bench-101

7. FBNet/NAS-Bench-360

• 简介: NAS-Bench-360 是 Facebook 提出的一个基准测试集，包含了用于多种任务的架构和性能数据。该数据集涵盖了各种复杂的现实任务，如图像、语音、文本等。
• 特点:
  • 跨越多个领域的任务。
  • 面向生产环境的真实数据。
• 应用: 在多个任务领域中测试架构搜索性能。
• 网址: NAS-Bench-360

这些基准数据集允许研究人员快速测试和比较 NAS 算法的性能，从而加快架构搜索过程，同时为不同任务提供统一的评价标准。