容器网络之Cilium：基于eBPF的网络与安全解决方案

容器网络之Cilium：基于eBPF的网络与安全解决方案

引用

CSDN

1.

https://m.blog.csdn.net/weixin_48711696/article/details/145740727

Cilium是一个基于eBPF技术的开源网络和安全项目，专为Kubernetes、Docker和Mesos等容器管理平台设计。它通过在内核层面上动态插入安全、可见性和网络控制逻辑，为容器化环境中的应用程序提供透明的网络连接和安全保护。本文将详细介绍Cilium的功能特性、应用场景以及其核心技术BPF和XDP。

Cilium介绍

Cilium是什么

Cilium是一个开源网络和安全项目，专为Kubernetes、Docker和Mesos等容器管理平台设计，旨在为容器化环境中的应用程序提供透明的网络连接和安全保护。它基于Linux内核中的eBPF技术，能够在内核层面上动态插入安全、可见性和网络控制逻辑，支持传统网络安全（如防火墙和访问控制）以及更精细的API和进程级安全，确保容器间通信不受威胁。

作为Kubernetes网络生态中的一款基于eBPF实现的网络插件，Cilium不仅支持Pod间的基本通信，还能够进行L4和L7层的负载均衡，并取代了传统的kube-proxy。它还内建服务网格、DNS代理和流量追踪等高级功能，使其成为一个全面的解决方案，提升容器化应用的网络性能、安全性和可见性，简化网络架构，增强服务治理和监控能力。

Cilium主要功能特性

Cilium主要功能特性包括：

• 安全性：支持L3/L4/L7级别的安全策略，这些策略可按应用方式分为：

• 基于身份的安全策略（Security Identity）：为每个工作负载分配唯一的安全身份，并基于此身份实施访问控制，而非依赖传统的IP地址。

• 基于CIDR的安全策略：支持基于IP地址范围（CIDR）的访问控制规则，以兼容现有的网络安全策略。

• 基于标签的安全策略：利用Kubernetes标签进行策略匹配，实现细粒度的安全控制。

• 网络功能：支持三层平面网络（Flat Layer 3 Network），包括：

• 覆盖网络（Overlay）：支持VXLAN和Geneve等隧道技术，为多主机通信提供透明的虚拟网络。

• Linux原生路由：包括基于Linux内核的路由机制，以及云服务商提供的高级网络路由，确保高效的流量转发。

• 负载均衡：基于eBPF实现高性能的L4/L7负载均衡，无需依赖iptables或kube-proxy，提高网络吞吐量并降低延迟。

• 可观测性与故障排查：提供丰富的监控和故障排除工具，包括流量可视化、DNS解析监控、延迟分析以及事件追踪，帮助用户高效定位和解决网络问题。

为什么用Cilium？

Cilium的使用基于现代数据中心应用程序向微服务架构的转变，特别是当容器化和动态微服务环境中的应用程序通过轻量级协议（如HTTP）进行通信时，传统的网络安全方法面临许多挑战。传统的Linux网络安全工具（如iptables）依赖IP地址和端口进行访问控制，但在高度动态的容器环境中，IP地址和端口经常发生变化，这使得传统方法难以应对容器生命周期的不稳定性和大规模的网络规则更新需求。此外，微服务的快速扩展和滚动更新使得基于IP地址的识别变得不可靠，且仅依赖协议端口（如TCP端口80）来区分应用流量也不再适用。

Cilium通过利用Linux内核中的eBPF技术，解决了这一问题。它不再依赖传统的IP地址，而是通过容器、Pod和服务的标识来执行网络安全和访问控制。这使得Cilium能够在高度动态的环境中高效地实施安全策略，并能在应用层（如HTTP）进行更精细的安全隔离和流量过滤。与传统的基于IP的安全策略不同，Cilium将安全性与寻址解耦，可以更好地适应微服务架构中频繁变化的网络拓扑。

通过eBPF，Cilium实现了高度可扩展的网络安全和可视性，即使在大规模环境中也能稳定运行。这种方法使得Cilium成为处理现代微服务架构中安全性、可见性和网络控制的理想解决方案。

功能概述

透明保护和加密API

Cilium能够透明地保护和加密现代应用程序协议，如REST/HTTP、gRPC和Kafka。传统防火墙通常仅在第3层和第4层运行，协议端口要么完全受信任，要么完全被阻止，而Cilium提供了更精细的应用层协议请求过滤。例如：

• 允许所有使用GET方法且路径为/public/.*的HTTP请求，拒绝所有其他请求。
• 允许service1在Kafka主题topic1上生成消息，并允许service2消费topic1上的消息，拒绝其他Kafka消息。
• 强制所有REST调用中HTTP标头X-Token必须包含数字（如[0-9]+）。

基于身份的服务间安全通信

随着现代分布式应用程序依赖容器化技术（如Kubernetes）进行按需扩展和敏捷部署，Cilium为共享相同安全策略的容器组分配唯一的安全标识。该标识与容器发出的网络数据包关联，确保容器之间的安全通信。Cilium使用键值存储管理安全身份，通过对网络数据包进行验证，避免了传统防火墙的IP地址限制，使得容器环境更具可扩展性。

安全访问外部服务

Cilium支持基于标签的安全性，作为集群内部的首选访问控制方式。对于外部服务的访问，Cilium还支持传统的基于CIDR的安全策略。通过这些策略，Cilium可以限制对外部服务的访问，仅允许特定IP范围内的容器访问，从而增加安全性。

简单网络

Cilium提供简化的三层平面网络，能够跨多个集群连接所有应用程序容器。网络通过主机范围分配器简化IP地址的分配，避免了复杂的协调工作。Cilium支持两种多节点网络模型：

• Overlay：基于封装的虚拟网络，支持VXLAN和Geneve等封装格式。适用于主机之间已有IP连接的环境，具有最小的基础设施要求。
• Native Routing：使用Linux主机的常规路由表，适用于需要更多底层网络控制的用户，支持原生IPv6网络和云服务商的路由器集成。

负载均衡

Cilium提供基于eBPF的高效负载均衡，支持应用程序容器之间以及容器与外部服务之间的流量分布。通过高效的哈希表，Cilium可以扩展到大规模环境，并支持直接服务器返回（DSR）模式，无需在源主机上执行负载均衡操作。

监控和故障排除

Cilium提供强大的监控和故障排查能力，是分布式系统运维的基础。除了传统的工具（如tcpdump和ping），Cilium提供了以下增强功能：

• 元数据监控：报告丢包时，不仅提供源IP和目标IP，还提供完整的发送方和接收方标签信息，帮助更精确地定位问题。
• 策略决策跟踪：追踪丢包或拒绝请求的原因，帮助理解策略决策过程，并支持基于标签的策略追踪。
• Prometheus指标导出：集成Prometheus，导出关键指标，方便与现有监控系统和仪表板集成。

集成

Cilium支持广泛的集成选项，确保其可以与不同的容器和云原生平台兼容：

• 网络插件集成：支持CNI（容器网络接口）和libnetwork。
• 容器运行时事件：与containerd兼容。
• Kubernetes：支持Kubernetes的NetworkPolicy、Labels、Ingress、Service等功能。
• 日志：支持syslog和fluentd集成，帮助管理日志流和事件监控。

组件概况

Cilium的关键组件

1. Cilium Agent (cilium-agent)

Cilium代理在每个Linux容器主机上运行，负责以下功能：

• 提供API供运维/安全团队配置网络安全策略。
• 监听容器事件，收集元数据并生成高效的BPF程序。
• 管理IP地址分配（IPAM），与容器平台网络插件交互。
• 使用clang/LLVM编译BPF程序，传递给Linux内核处理数据包转发和安全行为。

1. Cilium CLI Client (cilium)

Cilium CLI是一个命令行工具，用于与Cilium Agent API交互：

• 查询容器的Cilium状态。
• 配置和查看网络安全策略。
• 配置网络监控行为。

1. eBPF (Extended Berkeley Packet Filter)

Cilium使用eBPF技术执行高效的网络数据路径操作：

• 在Linux内核中运行BPF程序，进行数据包过滤、转发和监控。
• 需要Linux内核4.9或更高版本，自动适应内核功能更新。
• 提供高效、低开销的流量处理能力，避免频繁上下文切换。

1. Hubble

Hubble提供流量监控、可视化和日志记录功能：

• 显示服务间流量和网络拓扑。
• 提供实时监控和流量追踪，帮助诊断和优化网络性能。

1. Cilium Operator

Cilium Operator管理集群中的配置和状态同步：

• 通过Kubernetes CRD自动应用网络策略。
• 确保集群中每个节点的Cilium状态一致性。

BPF与XDP

eBPF (Extended Berkeley Packet Filter)

eBPF是对传统BPF（cBPF）的扩展，最早用于网络数据包过滤。其核心思想是在Linux内核中提供一个虚拟机，允许用户在内核中动态加载和执行自定义程序，进而过滤和处理数据包。eBPF通过以下特点提升了BPF的能力：

• 指令集扩展：比cBPF更强大，支持更丰富的操作，如数据包修改、流量分析等。
• 内核虚拟机：允许在内核空间运行用户定义的指令，无需修改内核源代码。
• 性能优化：使用JIT编译技术，将程序编译为与CPU架构匹配的本地指令，提高执行效率。

自Linux 3.15版本引入eBPF后，它被广泛应用于网络、监控、安全等领域。用户可以通过eBPF编写定制化的网络策略、流量监控工具等，极大地增强了Linux网络的可编程性和灵活性。

XDP (eXpress Data Path)

XDP是eBPF的一种应用，专门用于提升Linux网络栈的性能。它允许网络数据包在进入网络协议栈之前进行处理，直接在网卡驱动程序层处理数据，从而显著降低延迟并提高吞吐量。与DPDK类似，XDP提供了极高的网络性能，但它有一些额外的优势：

• 无需外部库：不像DPDK需要第三方库，XDP是内核原生支持的，免去外部依赖。
• 灵活的网络模式支持：同时支持轮询和中断模式，不限制硬件配置。
• 不需要大页内存：避免了DPDK对大页内存的需求，简化了配置。
• 无需专用CPU资源：XDP可以在普通CPU上运行，而不需要专门为网络处理分配CPU核心。

尽管XDP提供了显著的性能提升，但也有一些权衡：

• 丢包风险：当TX（发送）设备的处理速度跟不上RX（接收）设备时，XDP会直接丢弃包，不支持缓存队列（如qdisc）。
• 专用程序：XDP程序是专门为某个应用设计的，缺乏网络协议栈的通用性，可能无法处理所有类型的网络流量。

eBPF和XDP之间的关系

• XDP是eBPF在高性能网络处理中的应用，专注于数据包在进入Linux网络协议栈之前的高速处理。
• eBPF提供了基础的可编程能力，而XDP则利用这一能力优化数据路径，提供低延迟和高吞吐量的网络处理。
• XDP在处理速度上优于传统网络栈，但也牺牲了部分通用性和公平性。

总结来说，eBPF是一种强大的内核级编程模型，XDP是其在网络数据处理中的具体实现，二者相辅相成，使得Linux网络栈具备了更高效的可编程性和灵活性。

BPF和XDP参考官网指南