eBPF perf event Map的创建
1. perf buffer专用map简介
在eBPF perf buffer的使用 一文中，我们简单介绍了在使用perf buffer时会先定义一个BPF_MAP_TYPE_PERF_EVENT_ARRAY 类型的map，如下所示：
/* BPF perfbuf map */
struct {
__uint(type, BPF_MAP_TYPE_PERF_EVENT_ARRAY);
__uint(key_size, sizeof(int));
__uint(value_size, sizeof(u32));
} my_map SEC(".maps");
这个map的key_size为sizeof(int)，而value_size为sizeof(u32)--但这并非是真正保存在map中的值情况，因为这是一种"FD_ARRAY"，map里面存放的其实是自定义的数据类型size，这点后面会讲到。
另外，BPF_MAP_TYPE_PERF_EVENT_ARRAY 类型的map也不需要指定max_entries，因为在libbpf中默认会将max_entries设置为系统中cpu个数。
2. 解析xx.bpf.o文件
我们仍然以libbpf-bootstrap为开发框架进行说明。
一个完整的ebpf程序一般由两个部分组成，一个是bpf部分(prog、map以及SEC定义等等，这部分一般经过clang编译为xx.bpf.o)，另外一个是用户态部分(解析bpf部分的.o文件，根据解析的结果创建map、attach prog，与ebpf进行数据交互等等)。
下面我们就开始分析libbpf-bootstrap中maps的创建流程。
2.1 编译生成xx.bpf.o和skeleton
既然使用libbpf-bootstrap框架，我们就用框架里面example目录下的minimal这个demo来举例：
ebpf程序的编译:
clang -O2 -g -Wall -target bpf -c minimal.bpf.c -o minimal.bpf.o
注意：需要确保clang版本在10.0以上
利用bpftool生成skeleton：
bpftool gen skeleton minimal.bpf.o > minimal.skel.h
生成的skeleton提取了bpf.o目标文件中的maps和prog信息构造出方便开发的数据结构，同时还对libbpf库函数进行了包装，方便开发者使用。在skeleton生成后可以通过如下几个简单的步骤来完成用户态程序的开发：
<name>_bpf__open() – creates and opens BPF application;
<name>_bpf__load() – instantiates, loads, and verifies BPF application parts;
<name>_bpf__attach() – attaches all auto-attachable BPF programs (it’s optional, you can have more control by using libbpf APIs directly);
<name>_bpf__destroy() – detaches all BPF programs and frees up all used resources.
参考：Building BPF applications with libbpf-bootstrap
2.2 解析xx.bpf.o中"maps"和".maps" section
从2.1我们了解到libbpf-bootstrap已经提供了一个基本的框架skeleton，并提取了bpf.o目标文件的内容；接下来就能够通过libbpf库的封装函数从xx.bpf.o中解析我们前面在xx.bpf.c中创建的"maps"或".maps" 。
这一步是通过
遍历xx.bpf.o中的所有sec找到SEC("maps")和SEC(".maps")这两类section,找到名字为"maps"或者".maps"的section，并将它们的idx分别存放到obj->efile.maps_shndx和obj->efile.btf_maps_shndx中;
解析SEC("maps")和SEC(".maps")中的数据并将各个map结构内容提取到struct bpf_map；
调用 bpf_object__init_user_maps 来解析"maps" section，这个section中存放了所有定义在SEC("maps")的数据结构：struct bpf_map_def；
调用 bpf_object__init_user_btf_maps 来解析".maps" section，这个section中存放了所有定义在SEC(".maps")的数据结构，将这些数据结构都提取到struct bpf_map结构中，后续map在内核中的对象创建时都是基struc bpf_map来进行的。
3. 在内核创建ebpf map对象
这里所指的创建ebpf map对象是指在内核中创建。上一节用户态程序调用
真正要让ebpf map运行起来，承接起用户态和内核态数据交互等等方面的功能，还需要在内核中创建一个map对象。我们来看一下整个创建流程。
3.1 构建系统调用参数
这一步会枚举前面解析的struct bpf_map_def结构，然后通过bpf系统调用在内核中创建map对象。
首先，对于BPF_MAP_TYPE_PERF_EVENT_ARRAY类型的maps要特殊一些，在定义时一般不用指定max_entries；不指定的话libbpf会调用接口函数map_set_def_max_entries中会默认将max_entries设置为nr_cpus。
我们再来回顾一下它的定义，只定义了map type、key_size, value_size：
/* BPF perfbuf map */
struct {
__uint(type, BPF_MAP_TYPE_PERF_EVENT_ARRAY);
__uint(key_size, sizeof(int));
__uint(value_size, sizeof(u32));
} my_map SEC(".maps");
接着，调用bpf_object__create_map函数将struct bpf_map_def信息提取到union bpf_attr attr中；bpf_attr联合体中集成了bpf系统调用创建map所需要的系数，包括：key_size, value_size, map_type，max_entries等等。
最后，调用syscall(__NR_bpf, BPF_MAP_CREATE, attr, attr_size)系统调用进入内核。
3.2 bpf BPF_MAP_CREATE系统调用
syscall__NR_bpf, BPF_MAP_CREATE)在内核中进入如下流程：
SYSCALL_DEFINE3(bpf, int, cmd, union bpf_attr __user *, uattr, unsigned int, size)
err = map_create(&attr);
这里的map_create()函数就是map创建的核心，部分核心代码如下：
map = find_and_alloc_map(attr);
type = array_index_nospec(type, ARRAY_SIZE(bpf_map_types));
ops = bpf_map_types[type];
map = ops->map_alloc(attr); //创建struct bpf_map *map对象
err = bpf_obj_name_cpy(map->name, attr->map_name);
bpf_map_init_memlock(map) //更新user->locked_vm并检查RLIMIT_MEMLOCK
bpf_map_new_fd(map, f_flags) //为map创建anon_inode
下面会对这里的这些代码依次展开。
3.3 find_and_alloc_map()创建map对象struct bpf_map
这个步骤是借助内核函数find_and_alloc_map()来完成的。
3.3.1 根据map类型获取对应的map ops
首先根据map的类型attr->map_type找到这种map类型对应的struct bpf_map_ops *ops; 系统中所有map类型对应的bpf_map_ops都存放在struct bpf_map_ops * const bpf_map_types[] 这个数组中。
根据map的类型，经过处理后得到bpf_map_types[]数组的index，即可得到对应的struct bpf_map_ops *指针。对于BPF_MAP_TYPE_PERF_EVENT_ARRAY类型的map，其对应的bpf_map_ops是perf_event_array_map_ops。
这个bpf_map_types数组的具体定义如下：
static const struct bpf_map_ops * const bpf_map_types[] = {
#define BPF_PROG_TYPE(_id, _ops)
#define BPF_MAP_TYPE(_id, _ops) \
[_id] = &_ops,
#include <linux/bpf_types.h>
#undef BPF_PROG_TYPE
#undef BPF_MAP_TYPE
};
3.3.2 创建struct bpf_map结构
3.3.2.1 寻找ops
在2.1获取到map的struct bpf_map_ops指针ops后，内核通过ops->map_alloc(attr)来分配map在内核中的对象struct bpf_map结构，而BPF_MAP_TYPE_PERF_EVENT_ARRAY类型的ops实际上就是perf_event_array_map_ops，其定义如下：
const struct bpf_map_ops perf_event_array_map_ops = {
.map_alloc_check = fd_array_map_alloc_check,
.map_alloc = array_map_alloc, /* map_alloc分配map内存 */
.map_free = fd_array_map_free,
.map_get_next_key = array_map_get_next_key,
.map_lookup_elem = fd_array_map_lookup_elem,
.map_delete_elem = fd_array_map_delete_elem,
.map_fd_get_ptr = perf_event_fd_array_get_ptr,
.map_fd_put_ptr = perf_event_fd_array_put_ptr,
.map_release = perf_event_fd_array_release,
.map_check_btf = map_check_no_btf,
};
因此BPF_MAP_TYPE_PERF_EVENT_ARRAY类型的map，ops->map_alloc(attr)实际调用的是array_map_alloc()函数。
3.3.2.2 分配struct bpf_map
首先将value size进行8字节对齐，本来在定义时的size为4字节，但是实际存储到内核中的map对象的value size是8字节。
elem_size = round_up(attr->value_size, 8);
3.3.2.3 计算map需要的内存空间
对于BPF_MAP_TYPE_PERF_EVENT_ARRAY类型的map，所需要的内存空间如下：
array_size = sizeof(*array); /*struct bpf_array结构的size*/
array_size += (u64) max_entries * elem_size; /*max_entries个value的空间*/
其中struct bpf_array是专门为array类型的map设计的一个数据结构，array类型map的value就存放在此结构中；同时里面内置了bpf_map结构，因此一旦有了bpf_map就能够获取到bpf_array指针：
struct bpf_array {
struct bpf_map map; /*内置了bpf_map对象*/
u32 elem_size;
u32 index_mask;
/* 'ownership' of prog_array is claimed by the first program that
* is going to use this map or by the first program which FD is stored
* in the map to make sure that all callers and callees have the same
* prog_type and JITed flag
*/
enum bpf_prog_type owner_prog_type;
bool owner_jited;
union { /* map元素存放在此 */
char value[0] __aligned(8);
void *ptrs[0] __aligned(8);
void __percpu *pptrs[0] __aligned(8);
};
};
3.3.2.4 分配内存
这一步是调用array = bpf_map_area_alloc(array_size, numa_node)来完成的。
参数array_size是struct bpf_array的size和map中元素的size之和，这里会通过kmalloc或者vmalloc来分配内存，分配完成后返回的地址既是bpf_array地址，也是bpf_map的地址。
3.4 bpf_map初始化
在3.3分配了bpf_array和bpf_map，这里进行简单的初始化：
/* find_and_alloc_map 完成*/
map->ops = ops; /* */
map->map_type = type;
bpf_obj_name_cpy(map->name, attr->map_name) /* 拷贝map name */
3.5 创建aone inode
bpf map create系统调用最终返回的是一个文件句柄fd；因此还需要创建一个连接用户态和内核态的连接桥梁，这里是通过anon inode来实现的。
/* 返回map对应的文件句柄 */
int bpf_map_new_fd(struct bpf_map *map, int flags)
{
int ret;
ret = security_bpf_map(map, OPEN_FMODE(flags));
if (ret < 0)
return ret;
/* 创建一个anon inode，里面关联了bpf_map ，并返回fd */
return anon_inode_getfd("bpf-map", &bpf_map_fops, map,
flags | O_CLOEXEC);
}
anon_inode_getfd的流程大致如下：
1. get_unused_fd_flags 寻找一个空闲fd；
2， anon_inode_getfile 分配struct file结构，同时将bpf_map指针存放到file->private_data；
3. 通过fd_install(fd, file)将fd与file关联；
4. 返回fd到用户态。
这样后续，用户态就可以通过fd来与map对象进行交互。
4.总结
perf buffer对应的map的创建过程如下：
解析ebpf.o中的SEC("maps")和SEC(".maps")，并提取各个maps数据结构作为后续系统调用参数
与其他maps不同的是，针对这种类型的map会默认将map的max_entry设置为系统cpu个数nr_cpus.
调用syscall(__NR_bpf, BPF_MAP_CREATE, attr, attr_size)系统调用在内核创建maps对象
创建strcut bpf_array结构，里面内置了struct bpf_map对象，并未为map的value分配内存，这部分内存放在bpf_array中，为bpf_map对象创建一个anon inode，并将bpf_map对象关联到file->private_data，最后将这个file对应的fd作为bpf sysacall系统调用的返回值返回到用户态。