java - Google Mobile Vision:没有CameraSource的FaceDetector性能差

目前，我们的应用程序已成功运行Snapdragon SDK。我们正在尝试在我们的项目中实施Vision 8.3.0中的FaceDetector，以增加兼容设备的数量。我们不能使用CameraSource，因为我们依赖于自定义的Camera +曲面来提供某些功能。我们希望尽可能多地重用代码，并且Snapdragon SDK在我们当前的实现中做得很棒。

工作流程如下：

1）检索相机预览

2）将传入的字节数组转换为位图（由于某些原因，我们尚未设法使用ByteBuffer。已提供并验证了图像大小，旋转度和NV21图像格式，但未发现任何面孔）。位图是已在处理线程内部初始化的全局变量，以避免分配速度变慢。

3）通过receiveFrame进纸检测器

到目前为止的结果还不够好。即使我们禁用了地标和分类，检测速度仍然太慢（2-3秒）且不准确。

问题是：是否可以在不使用CameraSource + Detector的情况下复制它们的性能？使用CameraSource使它与实时输入一起使用是强制性的吗？

提前致谢！

编辑

按照以下pm0733464的建议，我尝试使用ByteBuffer代替Bitmap。这是我遵循的步骤：

// Initialize variables
// Mat is part of opencvSDK
Mat currentFrame = new Mat(cameraPreviewHeight + cameraPreviewHeight / 2, cameraPreviewWidth, CvType.CV_8UC1);
Mat yuvMat = new Mat(cameraPreviewHeight + cameraPreviewHeight / 2, cameraPreviewWidth, CvType.CV_8UC1);

// Load current frame
yuvMat.put(0, 0, data);

// Convert the frame to gray for better processing
Imgproc.cvtColor(yuvMat, currentFrame, Imgproc.COLOR_YUV420sp2RGB);
Imgproc.cvtColor(currentFrame, currentFrame, Imgproc.COLOR_BGR2GRAY);

从这里开始，字节数组的创建：

// Initialize grayscale byte array
byte[] grayscaleBytes = new byte[data.length];

// Extract grayscale data
currentFrame.get(0, 0, grayscaleBytes);

// Allocate ByteBuffer
ByteBuffer buffer = ByteBuffer.allocateDirect(grayscaleBytes.length);

// Wrap grayscale byte array
buffer.wrap(grayscaleBytes);

// Create frame
// rotation is calculated before
Frame currentGoogleFrame = new Frame.Builder().setImageData(buffer, currentFrame.cols(), currentFrame.rows(), ImageFormat.NV21).setRotation(rotation).build();

以这种方式构造框架将导致找不到脸孔。但是，使用位图可以按预期工作：

if(bitmap == null) {
    // Bitmap allocation
    bitmap = Bitmap.createBitmap(currentFrame.cols(), currentFrame.rows(), Bitmap.Config.ARGB_8888);
}

// Copy grayscale contents
org.opencv.android.Utils.matToBitmap(currentFrame, bitmap);

// Scale down to improve performance
Matrix scaleMatrix = new Matrix();
scaleMatrix.postScale(scaleFactor, scaleFactor);

// Recycle before creating scaleBitmap
if(scaledBitmap != null) {
    scaledBitmap.recycle();
}

// Generate scaled bitmap
scaledBitmap = Bitmap.createBitmap(bitmap, 0, 0, bitmap.getWidth(), bitmap.getHeight(), rotationMatrix, true);

// Create frame
// The same rotation as before is still used
if(scaledBitmap != null) {
    Frame currentGoogleFrame = new Frame.Builder().setBitmap(scaledBitmap).setRotation(rotation).build();
}

最佳答案

检测通常需要2-3秒。不需要使用CameraSource来获得最佳性能，您正在使用什么硬件？您能否提供更多细节？

人脸检测的某些方面是速度与准确性之间的权衡。

速度：

如果可能，请尝试使用较低分辨率的图像。例如，人脸检测在640x480下应该可以正常工作。脸部检测器代码会在运行检测之前对大图像进行降采样，尽管与接收较低分辨率的原件相比，这会花费额外的时间。
使用ByteBuffers而不是Bitmaps会更快。这的第一部分应该只是一个灰度图像（没有颜色信息）。
如上所述，禁用地标和分类将使其更快。
在将来的版本中，将提供“最小面孔尺寸”选项。将最小尺寸设置得较大可以使人脸检测更快（在不检测较小脸部的精度权衡下）。
将模式设置为“快速”将使其速度更快（以不检测非正面人脸的准确性为代价）。
使用“仅突出面部”选项会更快，但是只能检测到一张大的面部（至少为图像宽度的35％）。

准确性：

启用界标将允许更准确地计算姿势角度。
将模式设置为“准确”会检测角度范围更广的人脸（例如，轮廓中的人脸）。但是，这需要更多时间。
缺少上述“最小面部尺寸”选项，默认情况下仅检测到大于图像宽度10％的面部。不会检测到较小的脸部。将来更改此设置将有助于检测较小的脸部。但是，请注意，检测较小的面孔需要更长的时间。
使用较低分辨率的图像将比较低分辨率的图像更准确。例如，如果图像为640x480，则可能会丢失320x240图像中的某些人脸。设置的“最小脸部尺寸”越小，检测该尺寸的脸部所需的分辨率越高。
确保您具有正确的轮换权限。例如，如果面部朝上，则不会检测到该面部。如果要检测颠倒的脸部，应使用旋转的图像再次调用脸部检测器。

另外，如果要创建很多位图，则垃圾回收时间可能是一个因素。使用ByteBuffer的一个优点是，您可以重复使用同一缓冲区，而不会产生每个映像使用Bitmap时遇到的每个映像GC开销。 CameraSource具有此优点，因为它仅使用几个缓冲区。

cameraSource

java - Google Mobile Vision:没有CameraSource的FaceDetector性能差