基于V4L2的視頻驅(qū)動開發(fā)

編寫基于V4L2視頻驅(qū)動主要涉及到以下幾個知識點(diǎn)：

1> 攝像頭方面的知識
要了解選用的攝像頭的特性，包括訪問控制方法、各種參數(shù)的配置方法、信號輸出類型等。
2> Camera解碼器、控制器
如果攝像頭是模擬量輸出的，要熟悉解碼器的配置。最后數(shù)字視頻信號進(jìn)入camera控制器后，還要熟悉camera控制器的操作。
3> V4L2的API和數(shù)據(jù)結(jié)構(gòu)
編寫驅(qū)動前要熟悉應(yīng)用程序訪問V4L2的方法及設(shè)計到的數(shù)據(jù)結(jié)構(gòu)。
4> V4L2的驅(qū)動架構(gòu)
最后編寫出符合V4L2規(guī)范的視頻驅(qū)動。

本文介紹基于S3C2440硬件平臺的V4L2視頻驅(qū)動開發(fā)。攝像頭采用OmniVision公司的OV9650和OV9655。主要包含以下幾個方面的內(nèi)容：
1> 視頻驅(qū)動的整體驅(qū)動框架
2> S3C2440 camera控制器+ov9650（ov9655）
3> V4L2 API及數(shù)據(jù)結(jié)構(gòu)
4> V4L2驅(qū)動框架
5> ov9650（ov9655）+s3c2440+V4L2實例

一、視頻驅(qū)動的整體框架
視頻驅(qū)動的整體框架見下圖：

二、S3C2440 camera控制器+ov9650（ov9655）
（1）S3C2440 camera控制器介紹?
S3C2440支持ITU-R BT601/656格式的數(shù)字圖像輸入，支持的2個通道的DMA，Preview通道和Codec通道，參見下圖。

Preview通道可以將YCbCr4:2:2格式的圖像轉(zhuǎn)換為RGB（16bit或24bit）格式的數(shù)據(jù)，并存放于為Preview DMA分配的內(nèi)存中，最大分辨率為640*480。主要用于本地液晶屏顯示。如果將Preview DMA的內(nèi)存和Framebuffer內(nèi)存重疊的話，就可以實現(xiàn)采集直接輸出到液晶屏上了。
Codec通道可以輸出YCbCr4:2:0或YCbCr4:2:2格式到為Codec DMA分配的內(nèi)存中。最大分辨率為4096*4096。主要用于圖像的編解碼處理。

上圖中的window cut功能是指在圖像可以先做一個裁剪。通過設(shè)置CIWDOFST完成此功能，見下圖。圖像進(jìn)入P、C通道后，各自的scaler單元還可以對其進(jìn)行縮放、旋轉(zhuǎn)等處理。

S3C2440 camera控制器支持乒乓存儲。為了防止采集和輸出之間的沖突，采用了乒乓存儲方式。每次采集一幀后，自動轉(zhuǎn)到下一個存儲區(qū)。如果你因為內(nèi)存空間不足，不想使用此功能的話，可以將四個區(qū)域設(shè)置到同一塊空間。
在做圖像處理時，需要關(guān)注到最后存儲區(qū)中的圖像格式，如codec通道硬件自動把Y、Cb、Cr分離存儲。

S3C2440 camera 控制器Last IRQ功能的使用，也是需要掌握的。如果處理不好，輸出的圖像效果會受影響。

控制器會在每個VSYNC下降沿判斷ImgCptEn信號等命令。如果在下降沿發(fā)現(xiàn)ImgCptEn信號有效，則產(chǎn)生IRQ中斷。然后才開始一幀圖像的真正采集。而如果在VSYNC下降沿判斷到ImgCptEn為低電平且之前LastIRQEn沒有使能，則不會產(chǎn)生任何中斷，且不會再進(jìn)行下一幀的采集。如果你想在ImgCptEn關(guān)閉后，一幀采集完后產(chǎn)生一個中斷通知你，那么就需要在最后一次中斷產(chǎn)生前（stop capturing后的vysnc下將沿）使能lastirq就可以了。
我在移植linux驅(qū)動時就遇到了一個Last IRQ的問題?，F(xiàn)象是輸出圖像上面總是有一條比其它部分反應(yīng)慢。采集運(yùn)動圖像，就能看出現(xiàn)象。查看代碼是因為沒有設(shè)立lastirq，因為每次如果不在lastirq產(chǎn)生的情況下讀取，圖像緩沖中的數(shù)據(jù)是不穩(wěn)定的，可能照成圖像不完整。修改代碼支持lastirq后，問題解決。
Camera控制器時鐘設(shè)置也是需要注意的，ov9650需要Camera控制器為其提供時鐘。

提供給外部攝像頭的時鐘是由UPLL輸出時鐘分頻得到的。而CAMIF的時鐘是由HCLK提供的。本例中，提供給ov9650的時鐘為24M。

（2）ov9650（ov9655）設(shè)置方法
OV9650是OmniVision公司的COMS攝像頭，130萬像素，支持SXVGA、VGA、QVGA、CIF等圖像輸出格式。 最大速率在SXVGA時為15fps，在VGA時為30fps。
OV9650攝像頭時序如下圖：

上圖中D[9:2]用于8-bitYUV或者RGB565/RGB555(D[9]MSB、D[2]LSB)。D[9:0]用于10-bit RGB。本例中使用8-bit YUV模式。
我手邊開發(fā)板的Camera和S3C2440的接線原理圖如下（對應(yīng)camera中具體的信號名稱參見前文的驅(qū)動整體架構(gòu)圖）。
注：GPG12用于PWEN信號

（3）編寫ARM測試代碼測試camera功能
在Keil環(huán)境下編寫一個測試代碼完成從攝像頭采集圖像輸出到液晶屏。下面列出程序的流程。

（4）編寫測試代碼過程中常見的問題
1> 攝像頭寄存器的配置
?　　因為攝像頭有很多寄存器，可能一下無法理解里面所有的配置含義，所以開始時希望得到一份可用的配置。但往往從別人的測試代碼中拿到配置后，仍然無法使用。我這里列出幾個可能的原因：
?　?。?）攝像頭中的圖像輸出格式和你在camera控制器中設(shè)置的不一致，同一個攝像頭可以設(shè)置多種輸入格式，如：YCbYCr或CbYCrY。
?　　（2）圖像輸出的一些時序和你的camera控制器設(shè)置不一致，攝像頭可以設(shè)置一些時序，如：圖像數(shù)據(jù)在CAMPCLK的上升沿有效還是下降沿有效。
?　?。?）注意輸出圖像的格式和Framebuffer控制器的匹配，如字節(jié)順序等問題。
2> Ov9650和ov9655的使用區(qū)別
?　　這里主要列出兩者之間在復(fù)位信號上有差別，ov9650是高電平復(fù)位，而ov9655是低電平復(fù)位。

三、V4L2 API及數(shù)據(jù)結(jié)構(gòu)
V4L2是V4L的升級版本，為linux下視頻設(shè)備程序提供了一套接口規(guī)范。包括一套數(shù)據(jù)結(jié)構(gòu)和底層V4L2驅(qū)動接口。
1、常用的結(jié)構(gòu)體在內(nèi)核目錄include/linux/videodev2.h中定義

struct v4l2_requestbuffers //申請幀緩沖，對應(yīng)命令VIDIOC_REQBUFS struct v4l2_capability //視頻設(shè)備的功能，對應(yīng)命令VIDIOC_QUERYCAP struct v4l2_input //視頻輸入信息，對應(yīng)命令VIDIOC_ENUMINPUT struct v4l2_standard //視頻的制式，比如PAL，NTSC，對應(yīng)命令VIDIOC_ENUMSTD struct v4l2_format //幀的格式，對應(yīng)命令VIDIOC_G_FMT、VIDIOC_S_FMT等 struct v4l2_buffer //驅(qū)動中的一幀圖像緩存，對應(yīng)命令VIDIOC_QUERYBUF struct v4l2_crop //視頻信號矩形邊框 v4l2_std_id //視頻制式

2、常用的IOCTL接口命令也在include/linux/videodev2.h中定義

VIDIOC_REQBUFS //分配內(nèi)存 VIDIOC_QUERYBUF //把VIDIOC_REQBUFS中分配的數(shù)據(jù)緩存轉(zhuǎn)換成物理地址 VIDIOC_QUERYCAP //查詢驅(qū)動功能 VIDIOC_ENUM_FMT //獲取當(dāng)前驅(qū)動支持的視頻格式 VIDIOC_S_FMT //設(shè)置當(dāng)前驅(qū)動的頻捕獲格式 VIDIOC_G_FMT //讀取當(dāng)前驅(qū)動的頻捕獲格式 VIDIOC_TRY_FMT //驗證當(dāng)前驅(qū)動的顯示格式 VIDIOC_CROPCAP //查詢驅(qū)動的修剪能力 VIDIOC_S_CROP //設(shè)置視頻信號的矩形邊框 VIDIOC_G_CROP //讀取視頻信號的矩形邊框VIDIOC_QBUF //把數(shù)據(jù)從緩存中讀取出來 VIDIOC_DQBUF //把數(shù)據(jù)放回緩存隊列 VIDIOC_STREAMON //開始視頻顯示函數(shù) VIDIOC_STREAMOFF //結(jié)束視頻顯示函數(shù) VIDIOC_QUERYSTD //檢查當(dāng)前視頻設(shè)備支持的標(biāo)準(zhǔn)，例如PAL或NTSC。

3、操作流程
V4L2提供了很多訪問接口，你可以根據(jù)具體需要選擇操作方法。需要注意的是，很少有驅(qū)動完全實現(xiàn)了所有的接口功能。所以在使用時需要參考驅(qū)動源碼，或仔細(xì)閱讀驅(qū)動提供者的使用說明。
下面列舉出一種操作的流程，供參考。
（1）打開設(shè)備文件

int fd = open(Devicename,mode); Devicename：/dev/video0、/dev/video1 …… Mode：O_RDWR [| O_NONBLOCK]

如果使用非阻塞模式調(diào)用視頻設(shè)備，則當(dāng)沒有可用的視頻數(shù)據(jù)時，不會阻塞，而立刻返回。
（2）取得設(shè)備的capability??

struct v4l2_capability capability；int ret = ioctl(fd, VIDIOC_QUERYCAP, &capability);

看看設(shè)備具有什么功能，比如是否具有視頻輸入特性。
（3）選擇視頻輸入

struct v4l2_input input；……初始化inputint ret = ioctl(fd, VIDIOC_QUERYCAP, &input);

一個視頻設(shè)備可以有多個視頻輸入。如果只有一路輸入，這個功能可以沒有。
（4）檢測視頻支持的制式

v4l2_std_id std;　　do {　　 　　ret = ioctl(fd, VIDIOC_QUERYSTD, &std);　　} while (ret == -1 && errno == EAGAIN); switch (std) { case V4L2_STD_NTSC: //…… 　　　　　case V4L2_STD_PAL: //…… }

（5）設(shè)置視頻捕獲格式

struct v4l2_format fmt;fmt.type = V4L2_BUF_TYPE_VIDEO_OUTPUT;fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_UYVY;fmt.fmt.pix.height = height;fmt.fmt.pix.width = width;fmt.fmt.pix.field = V4L2_FIELD_INTERLACED;ret = ioctl(fd, VIDIOC_S_FMT, &fmt);if(ret) {　　perror("VIDIOC_S_FMT/n");　　close(fd);　　return -1;}

（6）向驅(qū)動申請幀緩存

struct v4l2_requestbuffers req;if (ioctl(fd, VIDIOC_REQBUFS, &req) == -1) { return -1;}

v4l2_requestbuffers結(jié)構(gòu)中定義了緩存的數(shù)量，驅(qū)動會據(jù)此申請對應(yīng)數(shù)量的視頻緩存。多個緩存可以用于建立FIFO，來提高視頻采集的效率。
（7）獲取每個緩存的信息，并mmap到用戶空間

typedef struct VideoBuffer { void *start; size_t length;} VideoBuffer;VideoBuffer* buffers = calloc( req.count, sizeof(*buffers) );struct v4l2_buffer buf;for (numBufs = 0; numBufs < req.count; numBufs++) {//映射所有的緩存 memset( &buf, 0, sizeof(buf) ); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; buf.index = numBufs; if (ioctl(fd, VIDIOC_QUERYBUF, &buf) == -1) {//獲取到對應(yīng)index的緩存信息，此處主要利用length信息及offset信息來完成后面的mmap操作。 return -1; } buffers[numBufs].length = buf.length; // 轉(zhuǎn)換成相對地址 buffers[numBufs].start = mmap(NULL, buf.length, PROT_READ | PROT_WRITE, MAP_SHARED, fd, buf.m.offset); if (buffers[numBufs].start == MAP_FAILED) { return -1; }

（8）開始采集視頻

int buf_type= V4L2_BUF_TYPE_VIDEO_CAPTURE；int ret = ioctl(fd, VIDIOC_STREAMON, &buf_type);

（9）取出FIFO緩存中已經(jīng)采樣的幀緩存struct v4l2_buffer buf;

struct v4l2_buffer buf;memset(&buf,0,sizeof(buf));buf.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;buf.memory=V4L2_MEMORY_MMAP;buf.index=0;//此值由下面的ioctl返回if (ioctl(fd, VIDIOC_DQBUF, &buf) == -1){ return -1;}

根據(jù)返回的buf.index找到對應(yīng)的mmap映射好的緩存，取出視頻數(shù)據(jù)。
（10）將剛剛處理完的緩沖重新入隊列尾，這樣可以循環(huán)采集

if (ioctl(fd, VIDIOC_QBUF, &buf) == -1) { return -1;}

（11）停止視頻的采集

int ret = ioctl(fd, VIDIOC_STREAMOFF, &buf_type);

（12）關(guān)閉視頻設(shè)備

close(fd);

四、V4L2驅(qū)動框架
上述流程的各個操作都需要有底層V4L2驅(qū)動的支持。內(nèi)核中有一些非常完善的例子。
比如：linux-2.6.26內(nèi)核目錄/drivers/media/video//zc301/zc301_core.c 中的ZC301視頻驅(qū)動代碼。上面的V4L2操作流程涉及的功能在其中都有實現(xiàn)。
1、V4L2驅(qū)動注冊、注銷函數(shù)
?　　Video核心層（drivers/media/video/videodev.c）提供了注冊函數(shù)

int video_register_device(struct video_device *vfd, int type, int nr) video_device: 要構(gòu)建的核心數(shù)據(jù)結(jié)構(gòu) Type: 表示設(shè)備類型，此設(shè)備號的基地址受此變量的影響 Nr: 如果end-base>nr>0 ：次設(shè)備號=base（基準(zhǔn)值，受type影響）+nr； 否則：系統(tǒng)自動分配合適的次設(shè)備號

具體驅(qū)動只需要構(gòu)建video_device結(jié)構(gòu)，然后調(diào)用注冊函數(shù)既可。
?????Video核心層（drivers/media/video/videodev.c）提供了注銷函數(shù)

void video_unregister_device(struct video_device *vfd)

2、struct video_device 的構(gòu)建
?　　video_device結(jié)構(gòu)包含了視頻設(shè)備的屬性和操作方法。參見zc301_core.c

strcpy(cam->v4ldev->name, "ZC0301[P] PC Camera");cam->v4ldev->owner = THIS_MODULE;cam->v4ldev->type = VID_TYPE_CAPTURE | VID_TYPE_SCALES;cam->v4ldev->fops = &zc0301_fops;cam->v4ldev->minor = video_nr[dev_nr];cam->v4ldev->release = video_device_release;video_set_drvdata(cam->v4ldev, cam);

大家發(fā)現(xiàn)在這個zc301的驅(qū)動中并沒有實現(xiàn)struct video_device中的很多操作函數(shù)，如：vidioc_querycap、vidioc_g_fmt_cap等。主要原因是struct file_operations zc0301_fops中的zc0301_ioctl實現(xiàn)了前面的所有ioctl操作。所以就不需要在struct video_device再實現(xiàn)struct video_device中的那些操作了。
?　　另一種實現(xiàn)方法如下：

static struct video_device camif_dev ={ .name = "s3c2440 camif", .type = VID_TYPE_CAPTURE|VID_TYPE_SCALES|VID_TYPE_SUBCAPTURE, .fops = &camif_fops, .minor = -1, .release = camif_dev_release, .vidioc_querycap = vidioc_querycap, .vidioc_enum_fmt_cap = vidioc_enum_fmt_cap, .vidioc_g_fmt_cap = vidioc_g_fmt_cap, .vidioc_s_fmt_cap = vidioc_s_fmt_cap, .vidioc_queryctrl = vidioc_queryctrl, .vidioc_g_ctrl = vidioc_g_ctrl, .vidioc_s_ctrl = vidioc_s_ctrl,};static struct file_operations camif_fops ={ .owner = THIS_MODULE, .open = camif_open, .release = camif_release, .read = camif_read, .poll = camif_poll, .ioctl = video_ioctl2, /* V4L2 ioctl handler */ .mmap = camif_mmap, .llseek = no_llseek,};

注意：video_ioctl2是videodev.c中是實現(xiàn)的。video_ioctl2中會根據(jù)ioctl不同的cmd來調(diào)用video_device中的操作方法。
3、Video核心層的實現(xiàn)
?　 參見內(nèi)核/drivers/media/videodev.c
（1）注冊256個視頻設(shè)備

static int __init videodev_init(void){ int ret; if (register_chrdev(VIDEO_MAJOR, VIDEO_NAME, &video_fops)) { return -EIO; } ret = class_register(&video_class); ……}

上面的代碼注冊了256個視頻設(shè)備，并注冊了video_class類。video_fops為這256個設(shè)備共同的操作方法。
（2）V4L2驅(qū)動注冊函數(shù)的實現(xiàn)

int video_register_device(struct video_device *vfd, int type, int nr){ int i=0; int base; int end; int ret; char *name_base; switch(type) //根據(jù)不同的type確定設(shè)備名稱、次設(shè)備號 { case VFL_TYPE_GRABBER: base=MINOR_VFL_TYPE_GRABBER_MIN; end=MINOR_VFL_TYPE_GRABBER_MAX+1; name_base = "video"; break; case VFL_TYPE_VTX: base=MINOR_VFL_TYPE_VTX_MIN; end=MINOR_VFL_TYPE_VTX_MAX+1; name_base = "vtx"; break; case VFL_TYPE_VBI: base=MINOR_VFL_TYPE_VBI_MIN; end=MINOR_VFL_TYPE_VBI_MAX+1; name_base = "vbi"; break; case VFL_TYPE_RADIO: base=MINOR_VFL_TYPE_RADIO_MIN; end=MINOR_VFL_TYPE_RADIO_MAX+1; name_base = "radio"; break; default: printk(KERN_ERR "%s called with unknown type: %d/n", __func__, type); return -1; } /* 計算出次設(shè)備號 */ mutex_lock(&videodev_lock); if (nr >= 0 && nr < end-base) { /* use the one the driver asked for */ i = base+nr; if (NULL != video_device[i]) { mutex_unlock(&videodev_lock); return -ENFILE; } } else { /* use first free */ for(i=base;i) if (NULL == video_device[i]) break; if (i == end) { mutex_unlock(&videodev_lock); return -ENFILE; } } video_device[i]=vfd; //保存video_device結(jié)構(gòu)指針到系統(tǒng)的結(jié)構(gòu)數(shù)組中，最終的次設(shè)備號和i相關(guān)。 vfd->minor=i; mutex_unlock(&videodev_lock); mutex_init(&vfd->lock); /* sysfs class */ memset(&vfd->class_dev, 0x00, sizeof(vfd->class_dev)); if (vfd->dev) vfd->class_dev.parent = vfd->dev; vfd->class_dev.class = &video_class; vfd->class_dev.devt = MKDEV(VIDEO_MAJOR, vfd->minor); sprintf(vfd->class_dev.bus_id, "%s%d", name_base, i - base);//最后在/dev目錄下的名稱 ret = device_register(&vfd->class_dev);//結(jié)合udev或mdev可以實現(xiàn)自動在/dev下創(chuàng)建設(shè)備節(jié)點(diǎn) ……}

從上面的注冊函數(shù)中可以看出V4L2驅(qū)動的注冊事實上只是完成了設(shè)備節(jié)點(diǎn)的創(chuàng)建，如：/dev/video0。和video_device結(jié)構(gòu)指針的保存。
（3）視頻驅(qū)動的打開過程
?　　當(dāng)用戶空間調(diào)用open打開對應(yīng)的視頻文件時，如：

int fd = open(/dev/video0, O_RDWR);

對應(yīng)/dev/video0的文件操作結(jié)構(gòu)是/drivers/media/videodev.c中定義的video_fops。

static const struct file_operations video_fops={ .owner = THIS_MODULE, .llseek = no_llseek, .open = video_open,};

奇怪吧，這里只實現(xiàn)了open操作。那么后面的其它操作呢？還是先看看video_open吧。

static int video_open(struct inode *inode, struct file *file){ unsigned int minor = iminor(inode); int err = 0; struct video_device *vfl; const struct file_operations *old_fops; if(minor>=VIDEO_NUM_DEVICES) return -ENODEV; mutex_lock(&videodev_lock); vfl=video_device[minor]; if(vfl==NULL) { mutex_unlock(&videodev_lock); request_module("char-major-%d-%d", VIDEO_MAJOR, minor); mutex_lock(&videodev_lock); vfl=video_device[minor]; //根據(jù)次設(shè)備號取出video_device結(jié)構(gòu) if (vfl==NULL) { mutex_unlock(&videodev_lock); return -ENODEV; } } old_fops = file->f_op; file->f_op = fops_get(vfl->fops);//替換此打開文件的file_operation結(jié)構(gòu)。后面的其它針對此文件的操作都由新的結(jié)構(gòu)來負(fù)責(zé)了。也就是由每個具體的video_device的fops負(fù)責(zé)。 if(file->f_op->open) err = file->f_op->open(inode,file); if (err) { fops_put(file->f_op); file->f_op = fops_get(old_fops); } ……}

以上是我對V4L2的一些理解，希望能對大家了解V4L2有一些幫助。

?