我有一个金属应用程序，我正在尝试将帧导出到quicktime电影。我正在以超高分辨率渲染帧，然后在编写之前缩小它们，以便反别名场景。
要缩放它，我将高分辨率纹理转换成CGImage，然后调整图像大小并写出较小的版本。我在网上找到了用于将MTLTexture转换为CGImage的扩展名：
extension MTLTexture {
func bytes() -> UnsafeMutableRawPointer {
let width = self.width
let height = self.height
let rowBytes = self.width * 4
let p = malloc(width * height * 4)
self.getBytes(p!, bytesPerRow: rowBytes, from: MTLRegionMake2D(0, 0, width, height), mipmapLevel: 0)
return p!
}
func toImage() -> CGImage? {
let p = bytes()
let pColorSpace = CGColorSpaceCreateDeviceRGB()
let rawBitmapInfo = CGImageAlphaInfo.premultipliedFirst.rawValue | CGBitmapInfo.byteOrder32Little.rawValue // noneSkipFirst
let bitmapInfo:CGBitmapInfo = CGBitmapInfo(rawValue: rawBitmapInfo)
let size = self.width * self.height * 4
let rowBytes = self.width * 4
let releaseMaskImagePixelData: CGDataProviderReleaseDataCallback = { (info: UnsafeMutableRawPointer?, data: UnsafeRawPointer, size: Int) -> () in
// https://developer.apple.com/reference/coregraphics/cgdataproviderreleasedatacallback
// N.B. 'CGDataProviderRelease' is unavailable: Core Foundation objects are automatically memory managed
return
}
if let provider = CGDataProvider(dataInfo: nil, data: p, size: size, releaseData: releaseMaskImagePixelData) {
let cgImageRef = CGImage(width: self.width, height: self.height, bitsPerComponent: 8, bitsPerPixel: 32, bytesPerRow: rowBytes, space: pColorSpace, bitmapInfo: bitmapInfo, provider: provider, decode: nil, shouldInterpolate: true, intent: CGColorRenderingIntent.defaultIntent)!
return cgImageRef
}
return nil
}
} // end extension
我不是很肯定，但似乎这个函数中的某些东西导致了内存泄漏——每帧都会保持巨大的纹理/cgimage中的内存量，而不会释放它。
CGDataProvider初始化接受“releaseData”回调参数，但我的印象是不再需要它。
我还有一个CGImage的扩展——我不知道这也可能导致泄漏。但是，我可以评论一下帧的大小调整和写入，内存泄漏仍然在累积，所以在我看来，转换成CGImage是主要的问题。
extension CGImage {
func resize(_ scale:Float) -> CGImage? {
let imageWidth = Float(width)
let imageHeight = Float(height)
let w = Int(imageWidth * scale)
let h = Int(imageHeight * scale)
guard let colorSpace = colorSpace else { return nil }
guard let context = CGContext(data: nil, width: w, height: h, bitsPerComponent: bitsPerComponent, bytesPerRow: Int(Float(bytesPerRow)*scale), space: colorSpace, bitmapInfo: alphaInfo.rawValue) else { return nil }
// draw image to context (resizing it)
context.interpolationQuality = .high
let r = CGRect(x: 0, y: 0, width: w, height: h)
context.clear(r)
context.draw(self, in:r)
// extract resulting image from context
return context.makeImage()
}
}
最后，这里是我在导出时调用的每个帧的大函数。很抱歉篇幅太长，但提供太多信息可能比提供太少信息要好。所以，基本上，在渲染开始时，我会分配一个巨大的MTL纹理（“exportTextureBig”），即我的正常屏幕大小乘以每个方向上的“缩放子视图”。我将场景分块渲染，网格上的每个点对应一个场景，然后使用blitCommandEncoder.copy（）将每个小块复制到大纹理上来组装大帧。一旦整个帧被填充，我就试着从中生成一个CGImage，缩小到另一个CGImage，然后写出来。
我在导出时每帧调用commandBuffer.waitUntilCompleted（）——希望避免渲染器保留它仍在使用的纹理。
func exportFrame2(_ commandBuffer:MTLCommandBuffer, _ texture:MTLTexture) { // texture is the offscreen render target for the screen-size chunks
if zoom_index < zoom_subdivisions*zoom_subdivisions { // copy screen-size chunk to large texture
if let blitCommandEncoder = commandBuffer.makeBlitCommandEncoder() {
let dx = Int(BigRender.globals_L.displaySize.x) * (zoom_index%zoom_subdivisions)
let dy = Int(BigRender.globals_L.displaySize.y) * (zoom_index/zoom_subdivisions)
blitCommandEncoder.copy(from:texture,
sourceSlice: 0,
sourceLevel: 0,
sourceOrigin: MTLOrigin(x:0,y:0,z:0),
sourceSize: MTLSize(width:Int(BigRender.globals_L.displaySize.x),height:Int(BigRender.globals_L.displaySize.y), depth:1),
to:BigVideoWriter!.exportTextureBig!,
destinationSlice: 0,
destinationLevel: 0,
destinationOrigin: MTLOrigin(x:dx,y:dy,z:0))
blitCommandEncoder.synchronize(resource: BigVideoWriter!.exportTextureBig!)
blitCommandEncoder.endEncoding()
}
}
commandBuffer.commit()
commandBuffer.waitUntilCompleted() // do this instead
// is big frame complete?
if (zoom_index == zoom_subdivisions*zoom_subdivisions-1) {
// shrink the big texture here
if let cgImage = self.exportTextureBig!.toImage() { // memory leak here?
// this can be commented out and memory leak still happens
if let smallImage = cgImage.resize(1.0/Float(zoom_subdivisions)) {
writeFrame(nil, smallImage)
}
}
}
}
除了巨大的内存泄漏之外，这一切都有效。我能做些什么让它每帧都发布cgImage数据吗？为什么它会抓住它？
非常感谢你的建议！
最佳答案
我认为您误解了CGDataProviderReleaseDataCallback和CGDataProviderRelease()不可用的问题。CGDataProviderRelease()用于释放CGDataProvider对象本身。但这与创建时提供给CGDataProvider的字节缓冲区不同。
在Swift中，CGDataProvider对象的生存期是为您管理的，但这无助于释放字节缓冲区。
理想情况下，CGDataProvider能够自动管理字节缓冲区的生存期，但它不能。CGDataProvider不知道如何释放该字节缓冲区，因为它不知道如何分配它。这就是为什么你必须提供一个回调，它可以用来释放它。您实际上提供了如何释放字节缓冲区的知识。
因为您使用malloc()来分配字节缓冲区，所以回调需要free()它。
也就是说，使用CFMutableData比使用UnsafeMutableRawPointer要好得多。然后，使用CGDataProvider(data:)创建数据提供程序。在这种情况下，所有的内存都是为您管理的。
关于swift - 从MTLTexture(Swift，macOS)制作CGImage时发生内存泄漏，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/51940166/