Camera 图像 MIPI Raw 是怎么回事?

简介

有时我们得到的Raw图是MIPI格式的,为了能正确读取该数据,我们需要进行MIPI Raw到Raw的转换。本文对将会先介绍MIPI的数据格式,然后用C进行实现。

MIPI Raw 到 Raw 数据格式

CMOS sensor中返回的原始数据格式中每一个像素是10bit的,然而计算机读取单元为8bit或16bit。为了解决该问题,可以用新的数据格式或者对10bit进行补齐到16bit,这样每个像素就多增加了6bit(60%),增加传输带宽。

综上,我们需要一个存储数据格式,既能让计算机进行正确读取,又能保证不浪费带宽。MIPI Raw满足对数据进行压缩存储节约带宽且也能被读取存储。

这里以CMOS Sensor输出的10bit Raw来进行举例。MIPI压缩思想为5个Bytes存储4个像素的信息,最后一个字节为前四个字节的存储信息补充。为什么要这样呢?请看下图我画的解析:

Camera 图像 MIPI Raw 是怎么回事?

Sensor出的Raw图到MIPI Raw变换

呼应上面所说的,我们从相机pipeline中获取出来的图可能就是MIPI raw图,使用传统读取raw图是不行的。此时我们需要进行逆转换 – 顺序读取MIPI raw文件,每5个Bytes就对第5个数据进行拆分,分别放入Pixel 1, Pixel 2,Pixel 3和Pixel4尾部。

重点细节:本次我们的图片为MIPI raw图,row4080col3060,大小15253KB,通过python uin8格式读出后有15618240个数据元(为了表示和理解方便,定义数据元为上图灰色小方块),15618240 Bytes / 1024 = 15252.1875KB也就约等于15253KB。

我们先从正面Raw to MIPI来推,以理解MIPI to Raw逆变换的操作方法。这里要注意Stride的计算方法,原始的MIPI raw图像数据是只有一行的,通过Stride可以知道读多少个Byte就是Raw图的一行。请看下列Stride计算方式:

Stride = \left \lceil (Width \times 1.25\div 8) \right \rceil \times8 \tag{1}

式中1.25来自于10/8,width*10表示MIPI下需要的Bits,之后再除以8表示需要的Bytes。这里不一定能整除,所以需要对齐8bits,这就是为啥最后还要除以8,上取整再乘以8的原因。

读取文件方式是以行来读取的,上取整对齐所带来的就是MIPI每一行最后的占位符。

Raw to MIPI: 首先我们来计算下MIPI有多少数据数据元,4080*3060*(5/4)=15606000,而(15618240-15606000)/ 3060=4,也就是每一行最后会多有4个8bits的占位符。直接用 式1 Stride计算方法我们有stride=5104,而4080*(5/4)=5100,可以看出同前一句得到的占位符个数一样,同是4个。

Raw to MIPI: 已知stride5104Bytes。每次读取到5104Bytes便知道为图像的一行,且后4位为占位符。读取完毕后再跳到到下一个stride去做处理得到Raw图像下一行。

代码实现

int width = 4060;
int height = 3060;
FILE* fp = fopen(IMG_PATH, "rb"); //输入MIPI图像流
FILE* fo = fopen(OUT_PATH, "wb"); //输出Raw图像流
unsigned char buf[1024*8];
int stride = ceil(width*1.25/8)*8; //计算Stride
int i = 0;
int j = 0;
int n = 0;
while(!feof(fp)) {
    for (n = 0; n < height; n++) { //循环height次
        int ret = fread(buf, 1, stride, fp); // 每次从输入MIPI图像中取出一个Stride到buf,然后读取指针跳到下一个
        if (!ret) {
            break;
        }
        for (j = 0; j < width/4; j++) { //循环width/4次
            unsigned char * p = buf + j*5; //每次从buf中拿出5个
            for (i = 0; i < 4; i++) {  //对这五个Bytes进行移位处理
                unsigned short d = p[i];
                d = d << 2; //向左移两位,空出两个位置
                d = d | ((p[4]>>(i*2))&0x3); //将第5个bytes对应的两位放入后两位
                fwrite(&d, 2, 1, fo); //输出还原后的10bit像素
            }
        }
    }
}

参考

【1】https://github.com/oswystan/raw_unpack/blob/master/raw_unpack.c

原文链接: https://zhuanlan.zhihu.com/p/27264906

本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/jishu/3543.html

(0)

相关推荐

发表回复

登录后才能评论