android - Android Speex回声消除问题

我有一个基本的audiorecord-audiotrack，两个Android设备之间的udp数据包语音聊天。它有效，但回声不好。我正在尝试使用通过JNI移植到android的Speex删除回声。我导入的Speex有效，但回声消除无效。本机C代码是：

#include <jni.h>
#include <speex/speex_echo.h>

#define FRAME_SIZE 256
#define FILTER_LENGTH 800

SpeexEchoState *echoState;

// Initialization of echo cancelation
void Java_telefonie_voip_VoIPActivity_InitEcho(JNIEnv * env, jobject jobj)
{
    echoState = speex_echo_state_init(FRAME_SIZE, FILTER_LENGTH);
}

//  Queue the frame to soundcard for playing (receiving)
void Java_telefonie_voip_VoIPActivity_Playback(JNIEnv * env, jobject jobj, jshortArray     inputFrame)
{
    speex_echo_playback(echoState, inputFrame);
}

jshortArray Java_telefonie_voip_VoIPActivity_Capture(JNIEnv * env, jobject jobj,     jshortArray inputFrame)
{
    jshortArray outputFrame;

    speex_echo_capture(echoState, inputFrame, *&outputFrame);

    return outputFrame;
}

// Destroing echo cancelation
void Java_telefonie_voip_VoIPActivity_DestroyEcho(JNIEnv * env, jobject jobj)
{
speex_echo_state_destroy(echoState);
}

还有一些重要的Java代码：

native void InitEcho();
native void DestroyEcho();
native void Playback(short[] inputData);  // listener/receiving
native short[] Capture(short[] inputData);  // recorder/sender
static {
    System.loadLibrary("speex");
}

public void Initialize ()
{
    minBufferSize = 4096;
    try
    {
        InitEcho();
    }
    catch (Exception e){Log.e(TAG, "jni " + e.getMessage());}
}

public void startRecording ()
{
    isStreaming = true;
streamingThread = new Thread(new Runnable(){
        @Override
        public void run ()
        {
            try
            {
                audioRecorder = new AudioRecord(
                        MediaRecorder.AudioSource.MIC,
                        sampleRate,
                        channelConfig,
                        audioFormat,
                        minBufferSize*10
                );

                buffer = new short[minBufferSize];
                audioRecorder.startRecording();

                while(isStreaming)
                {
                    sendPackets++;
                    minBufferSize = audioRecorder.read(buffer, 0, buffer.length);
                    //  Echo cancelling
                    buffer = Capture(buffer);

                    //  Send
                    dataPacket = new DatagramPacket(ShortToByteArray(buffer), buffer.length*2, receiverAddressIA, serverPort1);
                    dataSocket.send(dataPacket);
                }
            }
            catch(Exception e)
            {
                Log.e(TAG, "2" + e.getMessage());
            }
        }
    });
    streamingThread.start();
}

public void startListen ()
{
    isListening = true;
receivingThread = new Thread(new Runnable(){
        @Override
        public void run ()
        {
            try
            {
                audioTrack = new AudioTrack(
                        AudioManager.STREAM_VOICE_CALL,
                        sampleRate,
                        channelConfig,
                        audioFormat,
                        minBufferSize*10,
                        AudioTrack.MODE_STREAM
                );

                audioTrack.play();

                buffer2 = new short[minBufferSize];

                while (isListening)
                {
                    receivedPackets++;
                    dataPacket2 = new DatagramPacket(ShortToByteArray(buffer2), buffer2.length*2);
                    dataSocket2.receive(dataPacket2);

                    //  Cancel echo
                    Playback(buffer2);

                    //  Queue to soundcard
                    audioTrack.write(buffer2, 0, minBufferSize);
                }
            }
            catch(Exception e)
            {
                Log.e(TAG, "3" + e.getMessage());
            }
        }
    });
    receivingThread.start();
}

public short[] ByteToShortArray(byte[] byteArray)
{
    short[] shortArray = new short[byteArray.length/2];
ByteBuffer.wrap(byteArray).order(ByteOrder.BIG_ENDIAN).asShortBuffer().get(shortArray);
    return shortArray;
}

问题是，当我启动记录器/流线程时，它向我显示它发送了一个程序包，然后该应用程序崩溃且未显示任何消息。您有任何建议或建议吗？请帮助我，因为我需要尽快完成此项目，并且我已经努力工作并记录在案，但仍然不想很好地工作。谢谢！

编辑：我刚刚发现

//  Echo cancelling
buffer = Capture(buffer);

触发了崩溃。

最佳答案

更新：关于崩溃-这是由于误用了JNI。
您不能将jshortarray视为C指针。您需要调用相关的JNI函数以将其转换为C指针（GetShortArrayElements等）。

关于回声消除器-您当前使用内部缓冲区，大约2帧，对于您而言可能还不够。
Android的上下文切换不同于PC上的上下文切换，您可能会获得4个连续的回放帧-> 4个连续的记录帧->依此类推。这样就失去了帧。

此外，Android音频流传输的延迟比PC高，因此2帧缓冲区不足。您需要实现自己的缓冲并以延迟的帧数进行播放，因此回声消除器会在播放后在其滤波器长度范围内看到回声。

除此之外，分析和调试回声消除器的最佳方法是：
1.真正了解它在更高层次上的工作原理和要求-不是火箭科学，您可以在Speex官方文档中找到所有内容。
2.使用提供的echo_diagnostictic工具，并在诸如Audacity之类的工具中检查流，看哪里出错了。

如果正确使用，Speex AEC可以很好地工作，并且我已经使用它完成了3个不同的项目，因此只需要纠正您的实现即可。

关于android - Android Speex回声消除问题，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/10080808/