全面解讀Linux 中斷子系統(tǒng)的驅(qū)動(dòng)

GIC 驅(qū)動(dòng)

這里主要分析 linux kernel 中 GIC v3 中斷控制器的代碼(drivers/irqchip/irq-gic-v3.c)。

設(shè)備樹(shù)

先來(lái)看下一個(gè)中斷控制器的設(shè)備樹(shù)信息：

gic:interrupt-controller@51a00000{
compatible="arm,gic-v3";
reg=<0x00x51a0000000x10000>,/*GICDist*/
<0x00x51b0000000xC0000>,/*GICR*/
<0x00x5200000000x2000>,/*GICC*/
<0x00x5201000000x1000>,/*GICH*/
<0x00x5202000000x20000>;/*GICV*/
#interrupt-cells=<3>;
interrupt-controller;
interrupts=9
(GIC_CPU_MASK_SIMPLE(6)|IRQ_TYPE_LEVEL_HIGH)>;
interrupt-parent=<&gic>;
};

• compatible：用于匹配GICv3驅(qū)動(dòng)
• reg：GIC的物理基地址，分別對(duì)應(yīng)GICD,GICR,GICC…
• #interrupt-cells：這是一個(gè)中斷控制器節(jié)點(diǎn)的屬性。它聲明了該中斷控制器的中斷指示符(interrupts)中 cell 的個(gè)數(shù)
• interrupt-controller: 表示該節(jié)點(diǎn)是一個(gè)中斷控制器
• interrupts：分別代表中斷類型，中斷號(hào)，中斷類型， PPI中斷親和， 保留字段

關(guān)于設(shè)備數(shù)的各個(gè)字段含義，詳細(xì)可以參考 Documentation/devicetree/bindings 下的對(duì)應(yīng)信息。

初始化

1. irq chip driver 的聲明：

IRQCHIP_DECLARE(gic_v3,"arm,gic-v3",gic_of_init);

定義 IRQCHIP_DECLARE 之后，相應(yīng)的內(nèi)容會(huì)保存到 __irqchip_of_table 里邊:

#defineIRQCHIP_DECLARE(name,compat,fn)OF_DECLARE_2(irqchip,name,compat,fn)

#defineOF_DECLARE_2(table,name,compat,fn)
_OF_DECLARE(table,name,compat,fn,of_init_fn_2)

#define_OF_DECLARE(table,name,compat,fn,fn_type)
staticconststructof_device_id__of_table_##name
__used__section(__##table##_of_table)
={.compatible=compat,
.data=(fn==(fn_type)NULL)?fn:fn}

__irqchip_of_table 在鏈接腳本 vmlinux.lds 里，被放到了 __irqchip_begin 和 __irqchip_of_end 之間，該段用于存放中斷控制器信息：

#ifdefCONFIG_IRQCHIP
#defineIRQCHIP_OF_MATCH_TABLE()
.=ALIGN(8);
VMLINUX_SYMBOL(__irqchip_begin)=.;
*(__irqchip_of_table)
*(__irqchip_of_end)
#endif

在內(nèi)核啟動(dòng)初始化中斷的函數(shù)中，of_irq_init 函數(shù)會(huì)去查找設(shè)備節(jié)點(diǎn)信息，該函數(shù)的傳入參數(shù)就是 __irqchip_of_table 段，由于 IRQCHIP_DECLARE 已經(jīng)將信息填充好了，of_irq_init 函數(shù)會(huì)根據(jù) “arm,gic-v3” 去查找對(duì)應(yīng)的設(shè)備節(jié)點(diǎn)，并獲取設(shè)備的信息。or_irq_init 函數(shù)中，最終會(huì)回調(diào) IRQCHIP_DECLARE 聲明的回調(diào)函數(shù)，也就是 gic_of_init，而這個(gè)函數(shù)就是 GIC 驅(qū)動(dòng)的初始化入口。

2. gic_of_init 流程：

staticint__initgic_of_init(structdevice_node*node,structdevice_node*parent)
{
......
dist_base=of_iomap(node,0);------(1)
if(!dist_base){
pr_err("%pOF:unabletomapgicdistregisters
",node);
return-ENXIO;
}

err=gic_validate_dist_version(dist_base);------(2)
if(err){
pr_err("%pOF:nodistributordetected,givingup
",node);
gotoout_unmap_dist;
}

if(of_property_read_u32(node,"#redistributor-regions",&nr_redist_regions))------(3)
nr_redist_regions=1;

rdist_regs=kzalloc(sizeof(*rdist_regs)*nr_redist_regions,GFP_KERNEL);
if(!rdist_regs){
err=-ENOMEM;
gotoout_unmap_dist;
}

for(i=0;i4)
structresourceres;
intret;

ret=of_address_to_resource(node,1+i,&res);
rdist_regs[i].redist_base=of_iomap(node,1+i);
if(ret||!rdist_regs[i].redist_base){
pr_err("%pOF:couldn'tmapregion%d
",node,i);
err=-ENODEV;
gotoout_unmap_rdist;
}
rdist_regs[i].phys_base=res.start;
}

if(of_property_read_u64(node,"redistributor-stride",&redist_stride))------(5)
redist_stride=0;

err=gic_init_bases(dist_base,rdist_regs,nr_redist_regions,------(6)
redist_stride,&node->fwnode);
if(err)
gotoout_unmap_rdist;

gic_populate_ppi_partitions(node);------(7)
gic_of_setup_kvm_info(node);
return0;
......
returnerr;
}

1. 映射 GICD 的寄存器地址空間。
2. 驗(yàn)證 GICD 的版本是 GICv3 還是 GICv4（主要通過(guò)讀GICD_PIDR2寄存器bit[7:4]. 0x1代表GICv1， 0x2代表GICv2…以此類推）。
3. 通過(guò) DTS 讀取 redistributor-regions 的值。
4. 為一個(gè) GICR 域分配基地址。
5. 通過(guò) DTS 讀取 redistributor-stride 的值。
6. 下面詳細(xì)介紹。
7. 設(shè)置一組 PPI的親和性。

staticint__initgic_init_bases(void__iomem*dist_base,
structredist_region*rdist_regs,
u32nr_redist_regions,
u64redist_stride,
structfwnode_handle*handle)
{
......
typer=readl_relaxed(gic_data.dist_base+GICD_TYPER);------(1)
gic_data.rdists.id_bits=GICD_TYPER_ID_BITS(typer);
gic_irqs=GICD_TYPER_IRQS(typer);
if(gic_irqs>1020)
gic_irqs=1020;
gic_data.irq_nr=gic_irqs;

gic_data.domain=irq_domain_create_tree(handle,&gic_irq_domain_ops,------(2)
&gic_data);
gic_data.rdists.rdist=alloc_percpu(typeof(*gic_data.rdists.rdist));
gic_data.rdists.has_vlpis=true;
gic_data.rdists.has_direct_lpi=true;
......
set_handle_irq(gic_handle_irq);------(3)

gic_update_vlpi_properties();------(4)

if(IS_ENABLED(CONFIG_ARM_GIC_V3_ITS)&&gic_dist_supports_lpis())
its_init(handle,&gic_data.rdists,gic_data.domain);------(5)

gic_smp_init();------(6)
gic_dist_init();------(7)
gic_cpu_init();------(8)
gic_cpu_pm_init();------(9)

return0;
......
}

1. 確認(rèn)支持 SPI 中斷號(hào)最大的值為多少。
2. 向系統(tǒng)中注冊(cè)一個(gè) irq domain 的數(shù)據(jù)結(jié)構(gòu)，irq_domain 主要作用是將硬件中斷號(hào)映射到 irq number，后面會(huì)做詳細(xì)的介紹。
3. 設(shè)定 arch 相關(guān)的 irq handler。gic_irq_handle 是內(nèi)核 gic 中斷處理的入口函數(shù)，后面會(huì)做詳細(xì)的介紹。
4. gic 虛擬化相關(guān)的內(nèi)容。
5. 初始化 ITS。
6. 設(shè)置 SMP 核間交互的回調(diào)函數(shù)，用于 IPI，回到函數(shù)為 gic_raise_softir。
7. 初始化 Distributor。
8. 初始化 CPU interface。
9. 初始化 GIC 電源管理。

中斷的映射

當(dāng)早期的系統(tǒng)只存在一個(gè)中斷控制器，而且中斷數(shù)目也不多的時(shí)候，一個(gè)很簡(jiǎn)單的做法就是一個(gè)中斷號(hào)對(duì)應(yīng)到中斷控制器的一個(gè)號(hào)，可以說(shuō)是簡(jiǎn)單的線性映射：

但當(dāng)一個(gè)系統(tǒng)中有多個(gè)中斷控制器，而且中斷號(hào)也逐漸增加的時(shí)候。linux 內(nèi)核為了應(yīng)對(duì)此問(wèn)題，引入了 irq_domain 的概念。

irq_domain 的引入相當(dāng)于一個(gè)中斷控制器就是一個(gè) irq_domain。這樣一來(lái)所有的中斷控制器就會(huì)出現(xiàn)級(jí)聯(lián)的布局。利用樹(shù)狀的結(jié)構(gòu)可以充分的利用 irq 數(shù)目，而且每一個(gè) irq_domain 區(qū)域可以自己去管理自己 interrupt 的特性。

每一個(gè)中斷控制器對(duì)應(yīng)多個(gè)中斷號(hào)， 而硬件中斷號(hào)在不同的中斷控制器上是會(huì)重復(fù)編碼的， 這時(shí)僅僅用硬中斷號(hào)已經(jīng)不能唯一標(biāo)識(shí)一個(gè)外設(shè)中斷，因此 linux kernel 提供了一個(gè)虛擬中斷號(hào)的概念。

接下來(lái)我們看下硬件中斷號(hào)是如何映射到虛擬中斷號(hào)的。

數(shù)據(jù)結(jié)構(gòu)

在看硬件中斷號(hào)映射到虛擬中斷號(hào)之前，先來(lái)看下幾個(gè)比較重要的數(shù)據(jù)結(jié)構(gòu)。

struct irq_desc描述一個(gè)外設(shè)的中斷，稱之中斷描述符。

structirq_desc{
structirq_common_datairq_common_data;
structirq_datairq_data;
unsignedint__percpu*kstat_irqs;
irq_flow_handler_thandle_irq;
......
structirqaction*action;
......
}____cacheline_internodealigned_in_smp;

• irq_data：中斷控制器的硬件數(shù)據(jù)
• handle_irq：中斷控制器驅(qū)動(dòng)的處理函數(shù)，指向一個(gè) struct irqaction 的鏈表，一個(gè)中斷源可以多個(gè)設(shè)備共享，所以一個(gè) irq_desc 可以掛載多個(gè) action，由鏈表結(jié)構(gòu)組織起來(lái)
• action：設(shè)備驅(qū)動(dòng)的處理函數(shù)

struct irq_data包含中斷控制器的硬件數(shù)據(jù)。

structirq_data{
u32mask;
unsignedintirq;
unsignedlonghwirq;
structirq_common_data*common;
structirq_chip*chip;
structirq_domain*domain;
#ifdefCONFIG_IRQ_DOMAIN_HIERARCHY
structirq_data*parent_data;
#endif
void*chip_data;
};

• irq：虛擬中斷號(hào)
• hwirq：硬件中斷號(hào)
• chip：對(duì)應(yīng)的 irq_chip 數(shù)據(jù)結(jié)構(gòu)
• domain：對(duì)應(yīng)的 irq_domain 數(shù)據(jù)結(jié)構(gòu)

struct irq_chip用于對(duì)中斷控制器的硬件操作。

structirq_chip{
structdevice*parent_device;
constchar*name;
unsignedint(*irq_startup)(structirq_data*data);
void(*irq_shutdown)(structirq_data*data);
void(*irq_enable)(structirq_data*data);
void(*irq_disable)(structirq_data*data);

void(*irq_ack)(structirq_data*data);
void(*irq_mask)(structirq_data*data);
void(*irq_mask_ack)(structirq_data*data);
void(*irq_unmask)(structirq_data*data);
void(*irq_eoi)(structirq_data*data);

int(*irq_set_affinity)(structirq_data*data,conststructcpumask*dest,boolforce);
int(*irq_retrigger)(structirq_data*data);
int(*irq_set_type)(structirq_data*data,unsignedintflow_type);
int(*irq_set_wake)(structirq_data*data,unsignedinton);

void(*irq_bus_lock)(structirq_data*data);
void(*irq_bus_sync_unlock)(structirq_data*data);
......
};

• parent_device：指向父設(shè)備
• name：/proc/interrupts 中顯示的名字
• irq_startup：?jiǎn)?dòng)中斷，如果設(shè)置成 NULL，則默認(rèn)為 enable
• irq_shutdown：關(guān)閉中斷，如果設(shè)置成 NULL，則默認(rèn)為 disable
• irq_enable：中斷使能，如果設(shè)置成 NULL，則默認(rèn)為 chip->unmask
• irq_disable：中斷禁止
• irq_ack：開(kāi)始新的中斷
• irq_mask：中斷源屏蔽
• irq_mask_ack：應(yīng)答并屏蔽中斷
• irq_unmask：解除中斷屏蔽
• irq_eoi：中斷處理結(jié)束后調(diào)用
• irq_set_affinity：在 SMP 中設(shè)置 CPU 親和力
• irq_retrigger：重新發(fā)送中斷到 CPU
• irq_set_type：設(shè)置中斷觸發(fā)類型
• irq_set_wake：使能/禁止電源管理中的喚醒功能
• irq_bus_lock：慢速芯片總線上的鎖
• irq_bus_sync_unlock：同步釋放慢速總線芯片的鎖

struct irq_domain與中斷控制器對(duì)應(yīng)，完成硬件中斷號(hào) hwirq 到 virq 的映射。

structirq_domain{
structlist_headlink;
constchar*name;
conststructirq_domain_ops*ops;
void*host_data;
unsignedintflags;
unsignedintmapcount;

/*Optionaldata*/
structfwnode_handle*fwnode;
enumirq_domain_bus_tokenbus_token;
structirq_domain_chip_generic*gc;
#ifdefCONFIG_IRQ_DOMAIN_HIERARCHY
structirq_domain*parent;
#endif
#ifdefCONFIG_GENERIC_IRQ_DEBUGFS
structdentry*debugfs_file;
#endif

/*reversemapdata.Thelinearmapgetsappendedtotheirq_domain*/
irq_hw_number_thwirq_max;
unsignedintrevmap_direct_max_irq;
unsignedintrevmap_size;
structradix_tree_rootrevmap_tree;
unsignedintlinear_revmap[];
};

• link：用于將 irq_domain 連接到全局鏈表 irq_domain_list 中
• name：irq_domain 的名稱
• ops：irq_domain 映射操作函數(shù)集
• mapcount：映射好的中斷的數(shù)量
• fwnode：對(duì)應(yīng)中斷控制器的 device node
• parent：指向父級(jí) irq_domain 的指針，用于支持級(jí)聯(lián) irq_domain
• hwirq_max：該 irq_domain 支持的中斷最大數(shù)量
• linear_revmap[]：hwirq->virq 反向映射的線性表

struct irq_domain_ops是 irq_domain 映射操作函數(shù)集。

structirq_domain_ops{
int(*match)(structirq_domain*d,structdevice_node*node,
enumirq_domain_bus_tokenbus_token);
int(*select)(structirq_domain*d,structirq_fwspec*fwspec,
enumirq_domain_bus_tokenbus_token);
int(*map)(structirq_domain*d,unsignedintvirq,irq_hw_number_thw);
void(*unmap)(structirq_domain*d,unsignedintvirq);
int(*xlate)(structirq_domain*d,structdevice_node*node,
constu32*intspec,unsignedintintsize,
unsignedlong*out_hwirq,unsignedint*out_type);
......
};

• match：用于中斷控制器設(shè)備與 irq_domain 的匹配
• map：用于硬件中斷號(hào)與 Linux 中斷號(hào)的映射
• xlate：通過(guò) device_node，解析硬件中斷號(hào)和觸發(fā)方式

struct irqaction主要是用來(lái)存設(shè)備驅(qū)動(dòng)注冊(cè)的中斷處理函數(shù)。

structirqaction{
irq_handler_thandler;
void*dev_id;
......
unsignedintirq;
unsignedintflags;
......
constchar*name;
structproc_dir_entry*dir;
}____cacheline_internodealigned_in_smp;

• handler：設(shè)備驅(qū)動(dòng)里的中斷處理函數(shù)
• dev_id：設(shè)備 id
• irq：中斷號(hào)
• flags：中斷標(biāo)志，注冊(cè)時(shí)設(shè)置，比如上升沿中斷，下降沿中斷等
• name：中斷名稱,產(chǎn)生中斷的硬件的名字
• dir：指向 /proc/irq/ 相關(guān)的信息

這里，我們用一張圖來(lái)匯總下上面的數(shù)據(jù)結(jié)構(gòu)：

上面的結(jié)構(gòu)體 struct irq_desc 是設(shè)備驅(qū)動(dòng)加載的過(guò)程中完成的，讓設(shè)備樹(shù)中的中斷能與具體的中斷描述符 irq_desc 匹配，其中 struct irqaction 保存著設(shè)備的中斷處理函數(shù)。右邊框內(nèi)的結(jié)構(gòu)體主要是在中斷控制器驅(qū)動(dòng)加載的過(guò)程中完成的，其中 struct irq_chip 用于對(duì)中斷控制器的硬件操作，struct irq_domain 用于硬件中斷號(hào)到 Linux irq 的映射。

下面我們結(jié)合代碼看下中斷控制器驅(qū)動(dòng)和設(shè)備驅(qū)動(dòng)是如何創(chuàng)建這些結(jié)構(gòu)體，并且硬中斷和虛擬中斷號(hào)是如何完成映射的。

中斷控制器注冊(cè) irq_domain

通過(guò) __irq_domain_add 初始化irq_domain數(shù)據(jù)結(jié)構(gòu)，然后把 irq_domain 添加到全局的鏈表 irq_domain_list 中。

外設(shè)的驅(qū)動(dòng)創(chuàng)建硬中斷和虛擬中斷號(hào)的映射關(guān)系

設(shè)備的驅(qū)動(dòng)在初始化的時(shí)候可以調(diào)用 irq_of_parse_and_map 這個(gè)接口函數(shù)進(jìn)行該 device node 中和中斷相關(guān)的內(nèi)容的解析，并建立映射關(guān)系

• of_irq_parse_one 函數(shù)用于解析DTS文件中設(shè)備定義的屬性，如"reg", “interrupt”
• irq_find_matching_fwspec 遍歷 irq_domain_list 鏈表，找到 device node 匹配的irq_domain
• gic_irq_domain_translate 解析出中斷信息，比如硬件中斷號(hào) hwirq，中斷觸發(fā)方式
• irq_domain_alloc_descs 分配一個(gè)虛擬的中斷號(hào) virq，分配和初始化中斷描述符irq_desc
• gic_irq_domain_alloc 為 hwirq 和 virq 創(chuàng)建映射關(guān)系。內(nèi)部會(huì)通過(guò) irq_domain_set_info 調(diào)用 irq_domain_set_hwirq_and_chip，然后通過(guò) virq 獲取irq_data結(jié)構(gòu)體，并將 hwirq 設(shè)置到 irq_data->hwirq 中， 最終完成 hwirq 到 virq 的映射
• irq_domain_set_info 根據(jù)硬件中斷號(hào)的范圍設(shè)置 irq_desc->handle_irq 的指針，共享中斷入口為 handle_fasteoi_irq，私有中斷入口為 handle_percpu_devid_irq

最后，我們可以通過(guò) /proc/interrupts 下的值來(lái)看下它們的關(guān)系：

現(xiàn)在，我們已經(jīng)知道內(nèi)核為硬件中斷號(hào)與 Linux 中斷號(hào)做了映射，相關(guān)數(shù)據(jù)結(jié)構(gòu)的綁定及初始化，并且設(shè)置了中斷處理函數(shù)執(zhí)行的入口。接下來(lái)我們?cè)倏聪略O(shè)備的中斷是怎么來(lái)注冊(cè)的？

中斷的注冊(cè)

設(shè)備驅(qū)動(dòng)中，獲取到了 irq 中斷號(hào)后，通常就會(huì)采用 request_irq/request_threaded_irq 來(lái)注冊(cè)中斷，其中 request_irq 用于注冊(cè)普通處理的中斷。request_threaded_irq 用于注冊(cè)線程化處理的中斷，線程化中斷的主要目的把中斷上下文的任務(wù)遷移到線程中，減少系統(tǒng)關(guān)中斷的時(shí)間，增強(qiáng)系統(tǒng)的實(shí)時(shí)性。

staticinlineint__must_check
request_irq(unsignedintirq,irq_handler_thandler,unsignedlongflags,
constchar*name,void*dev)
{
returnrequest_threaded_irq(irq,handler,NULL,flags,name,dev);
}

其中 irq 是 linux 中斷號(hào)，handler 是中斷處理函數(shù)，flags 是中斷標(biāo)志位，name 是中斷的名字。在講具體的注冊(cè)流程前，先看一下主要的中斷標(biāo)志位：

#defineIRQF_SHARED0x00000080//多個(gè)設(shè)備共享一個(gè)中斷號(hào)，需要外設(shè)硬件支持
#defineIRQF_PROBE_SHARED0x00000100//中斷處理程序允許sharingmismatch發(fā)生
#define__IRQF_TIMER0x00000200//時(shí)鐘中斷
#defineIRQF_PERCPU0x00000400//屬于特定CPU的中斷
#defineIRQF_NOBALANCING0x00000800//禁止在CPU之間進(jìn)行中斷均衡處理
#defineIRQF_IRQPOLL0x00001000//中斷被用作輪訓(xùn)
#defineIRQF_ONESHOT0x00002000//一次性觸發(fā)的中斷，不能嵌套，1）在硬件中斷處理完成后才能打開(kāi)中斷；2）在中斷線程化中保持關(guān)閉狀態(tài)，直到該中斷源上的所有thread_fn函數(shù)都執(zhí)行完
#defineIRQF_NO_SUSPEND0x00004000//系統(tǒng)休眠喚醒操作中，不關(guān)閉該中斷
#defineIRQF_FORCE_RESUME0x00008000//系統(tǒng)喚醒過(guò)程中必須強(qiáng)制打開(kāi)該中斷
#defineIRQF_NO_THREAD0x00010000//禁止中斷線程化
#defineIRQF_EARLY_RESUME0x00020000//系統(tǒng)喚醒過(guò)程中在syscore階段resume，而不用等到設(shè)備resume階段
#defineIRQF_COND_SUSPEND0x00040000//與NO_SUSPEND的用戶共享中斷時(shí)，執(zhí)行本設(shè)備的中斷處理函數(shù)

創(chuàng)建完成后，通過(guò) ps 命令可以查看系統(tǒng)中的中斷線程，注意這些線程是實(shí)時(shí)線程 SCHED_FIFO：

#ps-A|grep"irq/"
root1749200irq_thread0S[irq/433-imx_drm]
root1750200irq_thread0S[irq/439-imx_drm]
root1751200irq_thread0S[irq/445-imx_drm]
root1752200irq_thread0S[irq/451-imx_drm]
root2044200irq_thread0S[irq/279-isl2902]
root2192200irq_thread0S[irq/114-mmc0]
root2199200irq_thread0S[irq/115-mmc1]
root2203200irq_thread0S[irq/322-5b02000]
root2361200irq_thread0S[irq/294-4-0051]