Ianvs
Ianvs 是一个由 KubeEdge SIG AI 孵化的分布式协同 AI 基准测试项目。 Ianvs 旨在根据公认的标准测试分布式协同 AI 解决方案的性能，以促进相关工具更快速和有效的发展。具体来说，Ianvs 不仅准备了包含数据集和相应算法的测试用例，还包括模拟和超参数搜索等基准测试工具。Ianvs 还通过排行榜和测试报告等展示工具，为开发人员和最终用户展示最佳实践。
范围
分布式协同 AI 基准测试 Ianvs 旨在根据公认的标准，测试分布式协同 AI 解决方案的性能，以促进相关工具更快速和有效的发展。
Ianvs 的职责范围包括：
- 基于典型的分布式协同 AI 范式和应用程序，提供跨设备且覆盖边缘节点和云节点的端到端基准工具包。
- 用于管理测试环境的工具。例如，支持测试环境中的算法和系统配置的 CRUD（创建、读取、更新和删除）操作。
- 用于控制测试用例的工具。典型示例包括范式模板、模拟工具和基于超参数的辅助工具。
- 用于管理基准结果展示的工具，例如排行榜和测试报告生成。
- 与其他组织或社区合作，例如在 KubeEdge SIG AI 中，建立全面的基准，并开发相关应用程序，这可能包括但不限于
- 数据集收集、重新组织和发布
- 正式规范，例如标准
- 举办比赛或编码活动，例如开源推广计划
- 为商业用途维护的解决方案排行榜或认证
架构
下图显示了架构和相关概念。Ianvs 被设计为在单个节点内运行。关键组件包括
- Test Environment Manager：用于全局使用的测试环境的创建、读取、更新和删除 (CRUD)
- Test Case Controller：控制测试用例的运行时行为，如实例生成和删除
- Generation Assistant：帮助用户根据某些规则或约束生成测试用例，例如参数范围
- Simulation Controller：控制云边协同 AI 工具的模拟过程，包括模拟容器的实例生成和消失
- Story Manager：测试用例的输出管理和展示，例如排行榜
Ianvs 组件的更多细节：
- 测试环境管理器支持测试环境的 CRUD，包括
- 算法配置
- 公共数据集
- 预处理算法
- 特征工程算法
- 后处理算法，如指标计算
- 系统配置
- 整体架构
- 系统约束或预算
- 端到端跨节点
- 每个节点
- 测试用例控制器，包括但不限于以下组件
- 常见分布式协同 AI 范式的模板，可以帮助开发人员准备他们的测试用例而不需要太多的工作。这些范式包括云边协同推理、增量学习、联邦学习和终身学习。
- 模拟工具。为测试用例开发的模拟测试环境
- 其他辅助测试用例生成的工具。例如，根据给定的超参数范围准备测试用例。
- 故事管理器，包括但不限于以下组件
- 排行榜生成
- 测试报告生成
指南
文档
文档位于 readthedoc.io。这些文档可以帮助您更好地了解 Ianvs。