amazon-web-services - 使用Goroutines和 channel 将多个文件并行上传到Amazon S3

我正在尝试将目录上传到Amazon S3存储桶。但是，上载目录的唯一方法是遍历目录中的所有文件，然后一个接一个地上载。

我正在使用Go遍历目录中的文件。但是，对于我要遍历的每个文件，我想剥离一个goroutine来上载该文件，而主线程遍历目录中的下一个元素，并剥离另一个goroutine来上载该goroutine。

关于如何使用Goroutines和Channels并行上载目录中所有文件的任何想法吗？

修改后的代码段，实现了goroutine和并行上传文件的 channel 。但是我不确定这是否是正确的实现。

func uploadDirToS3(dir string, svc *s3.S3) {
    fileList := []string{}
    filepath.Walk(dir, func(path string, f os.FileInfo, err error) error {
        fmt.Println("PATH ==> " + path)
        fileList = append(fileList, path)
        return nil
    })
    for _, pathOfFile := range fileList[1:] {
        channel := make(chan bool)
        go uploadFiletoS3(pathOfFile, svc, channel)
        <-channel
    }
}

func uploadFiletoS3(path string, svc *s3.S3, channel chan bool) {
    file, err := os.Open(path)
    if err != nil {
        fmt.Println(err)
    }
    defer file.Close()
    fileInfo, _ := file.Stat()
    size := fileInfo.Size()

    buffer := make([]byte, size)
    file.Read(buffer)
    fileBytes := bytes.NewReader(buffer)
    fileType := http.DetectContentType(buffer)

    s3Path := file.Name()

    params := &s3.PutObjectInput{
        Bucket:        aws.String("name-of-bucket"),
        Key:           aws.String(s3Path),
        Body:          fileBytes,
        ContentLength: aws.Int64(size),
        ContentType:   aws.String(fileType),
    }

    resp, err := svc.PutObject(params)
    if err != nil {
        fmt.Println(err)
    }
    fmt.Printf("response %s", awsutil.StringValue(resp))
    close(channel)
}

关于如何更好地实现这一点的任何想法？我已经研究了WaitGroups，但是由于某种原因，我发现Channels在这种情况下更容易理解和实现。

最佳答案

因此，您正在寻找基于go指令的并发性。要在启动循环goroutine之间进行同步，可以使用 chanels 或 sync.WaitGroup 。第二种方法更容易实现。
另外，您还必须重构函数并将内部for逻辑移至单独的函数中。

func uploadDirToS3(dir string, svc *s3.S3) {
    fileList := []string{}
    filepath.Walk(dir, func(path string, f os.FileInfo, err error) error {
        fileList = append(fileList, path)
        return nil
    })
    var wg sync.WaitGroup
    wg.Add(len(fileList))
    for _, pathOfFile := range fileList[1:] {
        //maybe spin off a goroutine here??
        go putInS3(pathOfFile, svc, &wg)
    }
    wg.Wait()
}

func putInS3(pathOfFile string, svc *s3.S3, wg *sync.WaitGroup) {
    defer func() {
        wg.Done()
    }()
    file, _ := os.Open(pathOfFile)
    defer file.Close()
    fileInfo, _ := file.Stat()
    size := fileInfo.Size()
    buffer := make([]byte, size)
    file.Read(buffer)
    fileBytes := bytes.NewReader(buffer)
    fileType := http.DetectContentType(buffer)
    path := file.Name()
    params := &s3.PutObjectInput{
        Bucket:        aws.String("bucket-name"),
        Key:           aws.String(path),
        Body:          fileBytes,
        ContentLength: aws.Int64(size),
        ContentType:   aws.String(fileType),
    }

    resp, _ := svc.PutObject(params)
    fmt.Printf("response %s", awsutil.StringValue(resp))
}

关于amazon-web-services - 使用Goroutines和 channel 将多个文件并行上传到Amazon S3，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/56133485/