物联网安全himqtt防火墙数据结构之ringbuffer环形缓冲区
随着5G的普及，物联网安全显得特别重要，himqtt是首款完整源码的高性能MQTT物联网防火墙 - MQTT Application FireWall，C语言编写，采用epoll模式支持IoT数十万的高并发连接，并且兼容ModSecurity部分规则。 代码非常优秀，非常值得收藏和学习，今天笔者就从结合himqtt的源码来进行ringbuffer数据结构分析，主要特点是速度快。
一、 ringBuffer 介绍
ringBuffer 称作环形缓冲，也有叫 circleBuffer 的，Linux内核也大量使用了这种数据结构。就是取内存中一块连续的区域用作环形缓冲区的数据存储区。这块连续的存储会被反复使用，向 ringBuffer 写入数据总是从写指针的位置开始，如写到实际存储区的末尾还没有写完，则将剩余的数据从存储区的头开始写；从该 ringBuffer 读出数据也是从读指针的位置开始，如读到实际存储区的末尾还没有读完，则从存储区的头开始读剩下的数据。
二、 ringBuffer 优点
1、Ring Buffer 比链表要快，因为它是数组，而且有一个容易预测的访问模式。这很不错，对 CPU 高速缓存友好 （CPU-cache-friendly）－数据可以在硬件层面预加载到高速缓存，因此 CPU 不需要经常回到主内存 RAM 里去寻找 Ring Buffer 的下一条数据。
2、Ring Buffer 是一个数组，你可以预先分配内存，并保持数组元素永远有效。这意味着内存垃圾收集（GC）在这种情况下几乎什么也不用做。此外，也不像链表那样每增加一条数据都要创建对象－当这些数据从链表里删除时，这些对象都要被清理掉。
总之就是内存处理速度特别快，特别适合高并发、大量的请求。
三、ringBuffer 代码实现
首先在github上下载himqtt的源码：https://github.com/qq4108863/himqtt
找到src目录下的ringbuffer.c和ringbuffer.h文件。
1、ringBuffer 的结构体
typedef struct bufent {
char *data;
char *ptr;
size_t left;
struct bufent *next;
} bufent;
typedef struct ringbuffer {
bufent *slots;
bufent *head; // reads from the head
bufent *tail; // writes to the tail
char *buf;
int used;
int num_slots;
int data_len;
size_t bytes_written;
} ringbuffer;
2、创建 ringBuffer 函数
void
ringbuffer_init(ringbuffer *rb, int num_slots, int data_len)
{
rb->num_slots = num_slots ?: DEF_RING_SLOTS;
rb->data_len = data_len ?: DEF_RING_DATA_LEN;
rb->slots = malloc(rb->num_slots * sizeof(rb->slots[0]));
AN(rb->slots);
rb->head = &rb->slots[0];
rb->tail = &rb->slots[0];
int x;
for (x=0; x < rb->num_slots; x++) {
rb->slots[x].next = &(rb->slots[(x + 1) % rb->num_slots]);
rb->slots[x].data = malloc(rb->data_len);
AN(rb->slots[x].data);
}
rb->used = 0;
rb->bytes_written = 0;
}
3、清空 ringBuffer 函数
void
ringbuffer_cleanup(ringbuffer *rb)
{
int x;
for (x=0; x < rb->num_slots; x++) {
free(rb->slots[x].data);
}
free(rb->slots);
}
4、读数据函数
char *
ringbuffer_read_next(ringbuffer *rb, int * length)
{
assert(rb->used);
*length = rb->head->left;
return rb->head->ptr;
}
5、写数据函数
void
ringbuffer_write_append(ringbuffer *rb, int length)
{
assert(rb->used < rb->num_slots);
rb->used++;
rb->tail->ptr = rb->tail->data;
rb->tail->left = length;
rb->tail = rb->tail->next;
}
如果仅仅有一个读用户和一个写用户，那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区，那么必须添加互斥保护机制来确保多个用户互斥访问环形缓冲区。
Ringbuffer特别适合一个读，一个写的高速场景。5G 时代就是大量的设备会联网，并且持续通信，对himqtt这类物联网防火墙就提出了很高的要求，所以算法和数据结构设计就非常重要。