特性

模型管理

  • 基于Git的模型库
    一个完整的Git管理存储解决方案,支持:

    • 库管理:创建/删除带有元数据(名称/描述/可见性)和依赖性检查的仓库
    • 文件操作:小文件的Web UI上传 + 大文件的CLI/Git LFS支持(例如,*.h5, *.bin
    • 版本控制:完整的Git功能,包括:
      • 分支(例如,main/experimental
      • 标签(例如,v1.0
      • README.md自动同步元数据
  • MLOps集成
    无缝工作流连接:

    • 一键部署到推理服务

推理服务

  • 直接模型部署到推理服务

    • 允许用户直接从库中选择特定模型版本并指定推理运行时映像,以快速在线服务部署。系统会自动下载、缓存和加载模型,然后启动推理服务。这简化了部署流程,减少了操作复杂性。
  • 自定义映像部署到推理服务

    • 支持用户编写Dockerfile将模型及其依赖项打包到自定义映像中,然后通过标准Kubernetes部署推理服务。此方法提供更大的灵活性,使用户可以根据需求自定义推理环境。
  • 推理服务体验

    • 支持对多个推理服务进行批量操作,如批量启动、停止、更新和删除。
    • 能够支持批量推理任务的创建、监控和结果导出。
    • 提供批量资源管理,可以批量分配和调整推理服务的资源。