1. 前言
本文首先從宏觀上概述了數(shù)據(jù)包發(fā)送的流程,接著分析了協(xié)議層注冊(cè)進(jìn)內(nèi)核以及被socket的過程,最后介紹了通過 socket 發(fā)送網(wǎng)絡(luò)數(shù)據(jù)的過程。
2. 數(shù)據(jù)包發(fā)送宏觀視角
從宏觀上看,一個(gè)數(shù)據(jù)包從用戶程序到達(dá)硬件網(wǎng)卡的整個(gè)過程如下:
使用系統(tǒng)調(diào)用(如 sendto,sendmsg 等)寫數(shù)據(jù)
數(shù)據(jù)穿過socket 子系統(tǒng),進(jìn)入socket 協(xié)議族(protocol family)系統(tǒng)
協(xié)議族處理:數(shù)據(jù)穿過協(xié)議層,這一過程(在許多情況下)會(huì)將數(shù)據(jù)(data)轉(zhuǎn)換成數(shù)據(jù)包(packet)
數(shù)據(jù)穿過路由層,這會(huì)涉及路由緩存和 ARP 緩存的更新;如果目的 MAC 不在 ARP 緩存表中,將觸發(fā)一次 ARP 廣播來查找 MAC 地址
穿過協(xié)議層,packet 到達(dá)設(shè)備無關(guān)層(device agnostic layer)
使用 XPS(如果啟用)或散列函數(shù)選擇發(fā)送隊(duì)列
調(diào)用網(wǎng)卡驅(qū)動(dòng)的發(fā)送函數(shù)
數(shù)據(jù)傳送到網(wǎng)卡的 qdisc(queue discipline,排隊(duì)規(guī)則)
qdisc 會(huì)直接發(fā)送數(shù)據(jù)(如果可以),或者將其放到隊(duì)列,下次觸發(fā)NET_TX 類型軟中斷(softirq)的時(shí)候再發(fā)送
數(shù)據(jù)從 qdisc 傳送給驅(qū)動(dòng)程序
驅(qū)動(dòng)程序創(chuàng)建所需的DMA 映射,以便網(wǎng)卡從 RAM 讀取數(shù)據(jù)
驅(qū)動(dòng)向網(wǎng)卡發(fā)送信號(hào),通知數(shù)據(jù)可以發(fā)送了
網(wǎng)卡從 RAM 中獲取數(shù)據(jù)并發(fā)送
發(fā)送完成后,設(shè)備觸發(fā)一個(gè)硬中斷(IRQ),表示發(fā)送完成
硬中斷處理函數(shù)被喚醒執(zhí)行。對(duì)許多設(shè)備來說,這會(huì)觸發(fā) NET_RX 類型的軟中斷,然后 NAPI poll 循環(huán)開始收包
poll 函數(shù)會(huì)調(diào)用驅(qū)動(dòng)程序的相應(yīng)函數(shù),解除 DMA 映射,釋放數(shù)據(jù)
3. 協(xié)議層注冊(cè)
協(xié)議層分析我們將關(guān)注 IP 和 UDP 層,其他協(xié)議層可參考這個(gè)過程。我們首先來看協(xié)議族是如何注冊(cè)到內(nèi)核,并被 socket 子系統(tǒng)使用的。
當(dāng)用戶程序像下面這樣創(chuàng)建 UDP socket 時(shí)會(huì)發(fā)生什么?
sock = socket(AF_INET, SOCK_DGRAM, IPPROTO_UDP)
簡(jiǎn)單來說,內(nèi)核會(huì)去查找由 UDP 協(xié)議棧導(dǎo)出的一組函數(shù)(其中包括用于發(fā)送和接收網(wǎng)絡(luò)數(shù)據(jù)的函數(shù)),并賦給 socket 的相應(yīng)字段。準(zhǔn)確理解這個(gè)過程需要查看 AF_INET 地址族的代碼。
內(nèi)核初始化的很早階段就執(zhí)行了 inet_init 函數(shù),這個(gè)函數(shù)會(huì)注冊(cè) AF_INET 協(xié)議族 ,以及該協(xié)議族內(nèi)的各協(xié)議棧(TCP,UDP,ICMP 和 RAW),并調(diào)用初始化函數(shù)使協(xié)議棧準(zhǔn)備好處理網(wǎng)絡(luò)數(shù)據(jù)。inet_init 定義在net/ipv4/af_inet.c 。
AF_INET 協(xié)議族導(dǎo)出一個(gè)包含 create 方法的 struct net_proto_family 類型實(shí)例。當(dāng)從用戶程序創(chuàng)建 socket 時(shí),內(nèi)核會(huì)調(diào)用此方法:
static const struct net_proto_family inet_family_ops = {
.family = PF_INET,
.create = inet_create,
.owner = THIS_MODULE,
};
inet_create 根據(jù)傳遞的 socket 參數(shù),在已注冊(cè)的協(xié)議中查找對(duì)應(yīng)的協(xié)議:
/* Look for the requested type/protocol pair. */
lookup_protocol:
err = -ESOCKTNOSUPPORT;
rcu_read_lock();
list_for_each_entry_rcu(answer, &inetsw[sock-》type], list) {
err = 0;
/* Check the non-wild match. */
if (protocol == answer-》protocol) {
if (protocol != IPPROTO_IP)
break;
} else {
/* Check for the two wild cases. */
if (IPPROTO_IP == protocol) {
protocol = answer-》protocol;
break;
}
if (IPPROTO_IP == answer-》protocol)
break;
}
err = -EPROTONOSUPPORT;
}
然后,將該協(xié)議的回調(diào)方法(集合)賦給這個(gè)新創(chuàng)建的 socket:
sock-》ops = answer-》ops;
可以在 af_inet.c 中看到所有協(xié)議的初始化參數(shù)。下面是TCP 和 UDP的初始化參數(shù):
/* Upon startup we insert all the elements in inetsw_array[] into
* the linked list inetsw.
*/
static struct inet_protosw inetsw_array[] =
{
{
.type = SOCK_STREAM,
.protocol = IPPROTO_TCP,
.prot = &tcp_prot,
.ops = &inet_stream_ops,
.no_check = 0,
.flags = INET_PROTOSW_PERMANENT |
INET_PROTOSW_ICSK,
},
{
.type = SOCK_DGRAM,
.protocol = IPPROTO_UDP,
.prot = &udp_prot,
.ops = &inet_dgram_ops,
.no_check = UDP_CSUM_DEFAULT,
.flags = INET_PROTOSW_PERMANENT,
},
/* 。。。。 more protocols 。。。 */
IPPROTO_UDP 協(xié)議類型有一個(gè) ops 變量,包含很多信息,包括用于發(fā)送和接收數(shù)據(jù)的回調(diào)函數(shù):
const struct proto_ops inet_dgram_ops = {
.family = PF_INET,
.owner = THIS_MODULE,
/* 。。。 */
.sendmsg = inet_sendmsg,
.recvmsg = inet_recvmsg,
/* 。。。 */
};
EXPORT_SYMBOL(inet_dgram_ops);
prot 字段指向一個(gè)協(xié)議相關(guān)的變量(的地址),對(duì)于 UDP 協(xié)議,其中包含了 UDP 相關(guān)的回調(diào)函數(shù)。UDP 協(xié)議對(duì)應(yīng)的 prot 變量為 udp_prot,定義在 net/ipv4/udp.c:
struct proto udp_prot = {
.name = “UDP”,
.owner = THIS_MODULE,
/* 。。。 */
.sendmsg = udp_sendmsg,
.recvmsg = udp_recvmsg,
/* 。。。 */
};
EXPORT_SYMBOL(udp_prot);
現(xiàn)在,讓我們轉(zhuǎn)向發(fā)送 UDP 數(shù)據(jù)的用戶程序,看看 udp_sendmsg 是如何在內(nèi)核中被調(diào)用的。
4. 通過 socket 發(fā)送網(wǎng)絡(luò)數(shù)據(jù)
用戶程序想發(fā)送 UDP 網(wǎng)絡(luò)數(shù)據(jù),因此它使用 sendto 系統(tǒng)調(diào)用:
ret = sendto(socket, buffer, buflen, 0, &dest, sizeof(dest));
該系統(tǒng)調(diào)用穿過Linux 系統(tǒng)調(diào)用(system call)層,最后到達(dá)net/socket.c中的這個(gè)函數(shù):
/*
* Send a datagram to a given address. We move the address into kernel
* space and check the user space data area is readable before invoking
* the protocol.
*/
SYSCALL_DEFINE6(sendto, int, fd, void __user *, buff, size_t, len,
unsigned int, flags, struct sockaddr __user *, addr,
int, addr_len)
{
/* 。。。 code 。。。 */
err = sock_sendmsg(sock, &msg, len);
/* 。。。 code 。。。 */
}
SYSCALL_DEFINE6 宏會(huì)展開成一堆宏,后者經(jīng)過一波復(fù)雜操作創(chuàng)建出一個(gè)帶 6 個(gè)參數(shù)的系統(tǒng)調(diào)用(因此叫 DEFINE6)。作為結(jié)果之一,會(huì)看到內(nèi)核中的所有系統(tǒng)調(diào)用都帶 sys_前綴。
sendto 代碼會(huì)先將數(shù)據(jù)整理成底層可以處理的格式,然后調(diào)用 sock_sendmsg。特別地, 它將傳遞給 sendto 的地址放到另一個(gè)變量(msg)中:
iov.iov_base = buff;
iov.iov_len = len;
msg.msg_name = NULL;
msg.msg_iov = &iov;
msg.msg_iovlen = 1;
msg.msg_control = NULL;
msg.msg_controllen = 0;
msg.msg_namelen = 0;
if (addr) {
err = move_addr_to_kernel(addr, addr_len, &address);
if (err 《 0)
goto out_put;
msg.msg_name = (struct sockaddr *)&address;
msg.msg_namelen = addr_len;
}
這段代碼將用戶程序傳入到內(nèi)核的(存放待發(fā)送數(shù)據(jù)的)地址,作為 msg_name 字段嵌入到 struct msghdr 類型變量中。這和用戶程序直接調(diào)用 sendmsg 而不是 sendto 發(fā)送數(shù)據(jù)差不多,這之所以可行,是因?yàn)?sendto 和 sendmsg 底層都會(huì)調(diào)用 sock_sendmsg。
4.1 sock_sendmsg, __sock_sendmsg, __sock_sendmsg_nosec
sock_sendmsg 做一些錯(cuò)誤檢查,然后調(diào)用__sock_sendmsg;后者做一些自己的錯(cuò)誤檢查 ,然后調(diào)用__sock_sendmsg_nosec。__sock_sendmsg_nosec 將數(shù)據(jù)傳遞到 socket 子系統(tǒng)的更深處:
static inline int __sock_sendmsg_nosec(struct kiocb *iocb, struct socket *sock,
struct msghdr *msg, size_t size)
{
struct sock_iocb *si = 。。。。
/* other code 。。。 */
return sock-》ops-》sendmsg(iocb, sock, msg, size);
}
通過前面介紹的 socket 創(chuàng)建過程,可以知道注冊(cè)到這里的 sendmsg 方法就是 inet_sendmsg。
4.2 inet_sendmsg
從名字可以猜到,這是 AF_INET 協(xié)議族提供的通用函數(shù)。此函數(shù)首先調(diào)用 sock_rps_record_flow 來記錄最后一個(gè)處理該(數(shù)據(jù)所屬的)flow 的 CPU; Receive Packet Steering 會(huì)用到這個(gè)信息。接下來,調(diào)用 socket 的協(xié)議類型(本例是 UDP)對(duì)應(yīng)的 sendmsg 方法:
int inet_sendmsg(struct kiocb *iocb, struct socket *sock, struct msghdr *msg,
size_t size)
{
struct sock *sk = sock-》sk;
sock_rps_record_flow(sk);
/* We may need to bind the socket. */
if (!inet_sk(sk)-》inet_num && !sk-》sk_prot-》no_autobind && inet_autobind(sk))
return -EAGAIN;
return sk-》sk_prot-》sendmsg(iocb, sk, msg, size);
}
EXPORT_SYMBOL(inet_sendmsg);
本例是 UDP 協(xié)議,因此上面的 sk-》sk_prot-》sendmsg 指向的是之前看到的(通過 udp_prot 導(dǎo)出的)udp_sendmsg 函數(shù)。
sendmsg()函數(shù)作為分界點(diǎn),處理邏輯從 AF_INET 協(xié)議族通用處理轉(zhuǎn)移到具體的 UDP 協(xié)議的處理。
5. 總結(jié)
了解Linux內(nèi)核網(wǎng)絡(luò)數(shù)據(jù)包發(fā)送的詳細(xì)過程,有助于我們進(jìn)行網(wǎng)絡(luò)監(jiān)控和調(diào)優(yōu)。本文只分析了協(xié)議層的注冊(cè)和通過 socket 發(fā)送數(shù)據(jù)的過程,數(shù)據(jù)在傳輸層和網(wǎng)絡(luò)層的詳細(xì)發(fā)送過程將在下一篇文章中分析。
參考鏈接:
[1] https://blog.packagecloud.io/eng/2017/02/06/monitoring-tuning-linux-networking-stack-sending-data
[2] https://segmentfault.com/a/1190000008926093
本系列文章1-4,來源于陳莉君老師公眾號(hào)“Linux內(nèi)核之旅”
編輯:jq
-
內(nèi)核
+關(guān)注
關(guān)注
3文章
1350瀏覽量
40154
原文標(biāo)題:Linux內(nèi)核網(wǎng)絡(luò)udp數(shù)據(jù)包發(fā)送(一)
文章出處:【微信號(hào):gh_6fde77c41971,微信公眾號(hào):FPGA干貨】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論