我有一个关于 SageMaker 的笔记本,我想每天晚上运行。安排此任务的最佳方式是什么。有没有办法从 SageMaker 运行 bash 脚本并安排 Cron 作业?

最佳答案

Amazon SageMaker 是一组可以帮助各种机器学习和数据科学任务的 API。这些 API 可以从各种来源调用,例如 CLI、SDK 或特别是从调度 AWS Lambda 函数(参见此处的文档: https://docs.aws.amazon.com/lambda/latest/dg/with-scheduled-events.html )

Amazon SageMaker 的主要部分是笔记本实例、训练和调整作业以及用于实时预测的模型托管。每个都有您可能想要的不同类型的时间表。最受欢迎的是:

  • 停止和启动笔记本实例 - 由于笔记本实例用于交互式 ML 模型开发,因此您实际上不需要在晚上或周末运行它们。您可以安排 Lambda 函数在工作日结束时(例如晚上 8 点)调用 stop-notebook-instance API,并在早上调用 start-notebook-instance API。请注意,您还可以在笔记本实例上运行 crontab(在从 Jupyter 界面打开本地终端后)。
  • 刷新 ML 模型 - 自动重新训练模型,对一直流入系统的新数据,是使用 SageMaker 更容易解决的常见问题从预定的 Lambda 函数调用 create-training-job API(甚至从监控现有模型性能的 CloudWatch Event 调用),指向新旧数据所在的 S3 存储桶,可以 0x25181221334111253212432143214321432143214321432118

  • ----- 更新(感谢@snat2100 评论)-----
  • 创建和删除实时端点 - 如果您的实时端点不需要 24/7(例如,为在工作日和工作时间工作的公司内部用户提供服务,您也可以在工作日和上午 1824 小时 1824 小时),
  • 关于amazon-web-services - 如何在 SageMaker 上安排任务,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/49582307/

    10-12 20:35