RingBuff在多核通讯之间的妙用

前言

两个核（分为主核和从核）之间进行通讯，一般使用共享内存的形式进行。

核间通讯的机制，是以共享内存为媒介，利用核间中断来通知对方。通过核间对象的句柄进行具体的访问和操作；

（1）多个核进行核间通讯时，首先由一个核创建一个核间对象，另外一个核通过名称或索引定位到该对象的句柄，从而对核间通讯对象进行操作。

（2）核间中断来通知对方，采用“硬件信号量”对资源进行临界保护，再利用操作系统的信号量使得核间任务的通讯如同单核任务上的通讯。

1、定义

RingBuf又称为Circular Buffer,分为两种：分片形式的RingBuf、内存分割形式的RingBuf。

2、特点

1. 由主核和从核定义好要进行数据共享内存区域（地址、大小）；
2. 环形缓冲区RingBuf用于两个核之间通讯；
3. 环形缓冲区RingBuf的使用遵守严格的先进先出顺序进行处理；
4. 环形缓冲区RingBuf是一项很好的技术，不用频繁的分配内存，而且在大多数情况下，内存的反复使用也使得我们能用更少的内存块做更多的事。
5. 环形缓冲区RingBuf是一个先进先出的循环缓冲区，可以向通信程序提供对缓冲区的互斥访问。
6. 环形缓冲区RingBuf是点对点的单向通讯；

3、环形缓冲区的实现原理

环形缓冲区通常有一个读指针和一个写指针。

读指针指向环形缓冲区中可读的数据，写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针就可以实现缓冲区的数据读取和写入。

由于Ringbuf具体实现上可以分为分片形式的RingBuf、内存分割形式的RingBuf；下面分别讲述这两种实现方式。

分片形式的RingBuf

1 原理

分片形式的RingBuf首先在内存堆中申请一块两核共享的内存区域，然后将这块内存区域分割成固定大小的分片，然后使用相应的内存管理结构进行管理。如下图所示：

2 RingBuf管理结构体

typedef struct
{
    u32 WrIndex;//写入分片的索引值
    u32 RdIndex;//读出分片的索引值
    u8  *MemBufAddr;//内存堆的起始地址
    u32 MemShardingNum;//内存分片数量
    u32 MemShardingSize;//每个内存分片大小
    u32 InitDoneFlag;//初始化完成标志
    u32HandleSem;//RingBuf使用的信号量
    u32 SrcCpuID;//写入端CPU ID号
    u32 DstCpuID;//读取端CPU ID号
}RingBufMan;

3 RingBuf要实现的函数接口

1. 初始化RingBuf对象RingBufInit(), 由其中一个核根据Ringbuf配置参数创建RingBuf对象，创建完成后需要完成Ringbuf管理结构体的初始化；

2. 将新创建的RingBuf对象加入到共享对象管理结构体，便于集中管理(RingBufJoinShareQue())；

3. 查找相应的RingBuf对象ID（根据写入端/读取端CPU ID号在共享对象队列中查找RingBufGetID()）；

4. 判空RingBufIsEmpty()

(ringBufMan-> WrIndex == ringBufMan-> RdIndex)

5. 判满 RingBufIsFull()

Tmp = ringBufMan-> WrIndex - ringBufMan-> RdIndex + 1

(Tmp ==0 || Tmp == ringBufMan-> MemShardingNum)

6. 写入RingBufPut(RingBufMan*,u8 *BufAddr,u32 LenPut)

pWr=ringBufMan->MemBufAddr+ringBufMan->WrIndex*ringBufMan->MemShardingSize;

*(u32*)pWr = LenPut;

memcpy((void*)( pWr+sizeof(u32) ),(void*)pBufAddr, LenPut);

ringBufMan->WrIndex= (ringBufMan->WrIndex+1)% ringBufMan-> MemShardingNum;

7. 读取RingBufGet(RingBufMan*,u8 *BufAddr,u32 LenMaxGut,u8 *Len)

pRd=ringBufMan->MemBufAddr+ringBufMan->RdIndex*ringBufMan->MemShardingSize;

LenValid= *(u32*)pRd;

Lencp=min(LenValid, LenMaxGut);

memcpy((void*)BufAddr ,(void*)( pWr+sizeof(u32) ), Lencp);

ringBufMan->RdIndex= (ringBufMan->RdIndex+1)% ringBufMan-> MemShardingNum;

*Len= Lencp;

当然，这里的Put\Get只是一个分片的读写，至于一包数据写时需要多少个分片，读时需要读完几个分片，需要根据数据包的大小具体的计算；

内存分割形式的RingBuf

typedef struct { 

        unsigned char *buffer; 
        unsigned int size; 
        unsigned int in; 
        unsigned int out; 
        spinlock_t *lock; 
}kfifo ;

其中buffer指向存放数据的缓冲区，size是缓冲区的大小，in是写指针下标，out是读指针下标，lock是加到struct kfifo上的自旋锁（上面说不加锁不是这里的锁），防止多个进程并发访问此数据结构。

• 当in==out时，说明缓冲区为空；
• 当(in-out)==size时，说明缓冲区已满。

注：我们保有对应的读写指针，当第一批数据（蓝色）完成，第二批数据（红色）会根据当前的写指针位置继续我们的数据操作，当达到最大的Buffer_Size时，会重新回到Buffer的开始端。

4、多个应用读写RingBuf情况下的处理

互斥锁

在通常情况下，环形缓冲区的读用户仅仅会影响读指针，而写用户仅仅会影响写指针。如果仅仅有一个读用户和一个写用户，那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区，那么必须添加互斥保护机制来确保多个用户互斥访问环形缓冲区。

互斥锁可以采用两个核共享的自旋锁来实现，哪个核等到锁，哪个核有权对RingBuf资源进行读写操作。

使用异步消息队列AsyncMsgQ

AsyncMsgQ是基于RingBuf来实现的，用于主从核内多个线程之间数据交换。

1. AsyncMsgQ是基于RingBuf，实现了两个核之间两个线程之间的通讯，通过MsgAttr来表示消息来自哪个核的哪个线程ID；

2. 可以将AsyncMsgQ与线程ID进行绑定，并在收发端设置一个守护线程，根据接收到的MsgAttr中的目的线程ID进行消息分发，进而将消息分发到不同的AsyncMsgQ队列中，一包消息接收完成之后可以调用AsyncMsgQ已经挂载好的回调函数，进一步对消息进行解析或使用信号量将消息发送到任务。

多个应用程序读写还可以在RingBuf的基础上实现消息队列，消息队列通过管理结构体记录消息的port，保证写入到ringbuf时数据写入/读取的原子性。

除了保证写入/读取的原子性操作，还有一个问题就是，若核1中有多个应用程序以临界访问的形式向RingBuf中写数据，那么另外一个核0如何知道是哪个应用程序写入到RingBuf？

为了实现Ringbuf这种携带数据的功能，我们可以对写入RingBuf的每一条消息进行标识。

例如，在每一包消息的头部增加一个数据结构用于表示该报数据来自哪个核的哪个应用，又去往哪个核的哪个应用，包含了多少数据，使用了多少分片等等信息。

typedef struct
{
    u32 MsgShardingNum;//本消息包占用的Ringbuf分片数
    u32 MsgLen;//本消息包的长度
    u32 SrcCpuID;//源端CPU ID号
    u32 DstCpuID;//目的端CPU ID号
    u32 SrcThreadID;//源端线程ID
    u32 DstThreadID;//目的端线程ID

}MsgAttr;

同时为了表示每个分片所属消息ID及有效数据大小，还涉及了以下结构：

typedef struct
{
    u16ShardingID;//分片ID，用于识别是第几个分片
    u16ShardingLen;//分片有效数据长度

}ShardingAttr;

RingBuf在内存中的分布如下：

AsyncMsgQ主要的接口函数：

1. 初始化AsyncMsgQ
2. AsyncMsgQ通道申请

申请未被使用的AsyncMsgQ通道，并同ThreadID绑定，同时，设置相应的消息接收完成回调函数

3. 数据发送

计算发送数据所需要的RingBuf分片数，将数据拷贝到分片，并设置相应的MsgAttr\ ShardingAttr

4. 数据接收

包括轮询接收，信号量阻塞接收，根据接收到的MsgAttr进行数据解析和分发；

参考：

https://en.wikipedia.org/wiki/Circular_buffer

原文链接：https://blog.csdn.net/u010961173/article/details/79839450