Linux camera驱动开发（fpga与mcu/cpu/soc组合）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】

本身fpga用来处理图像是非常好的一个选择。但是fpga有一个缺点，就是它比较适合处理并发数据，不太适合业务比较复杂的场景。尤其是对于很多客户来说，他们都有自己的业务代码，这部分如果都用fpga来处理也是不合适的。那么，针对这种场景，一般是怎么处理呢？

1、fpga与mcu的组合

fpga本身通过mipi/dvp ip，可以直接连接摄像头。如果图像本身不复杂，可以做一点简单的isp，比如说blc、lsc、demosaic、3a、gamma处理等等，这样也能有不错的图像效果。最重要的是，fpga拿到frame之后，就可以直接通过hdmi、lcd显示出来，延迟非常低，这对于一些工业检测、医疗场景特别有效。

不过，如果只有fpga，有一个缺点，就是无法满足业务的一些开发需求。比如说，如果需要保存图片、回放、上下文显示、开关等等，这部分功能如果是fpga来做，就很不方便。与其这样，不如添加一个spi接口，让fpga和mcu的通信，这样就可以有效解决这个问题。

2、fpga和cpu的结合（类zynq）

这里说的fpga+cpu，其实是类似于zynq的结构。前面说过，fpga如果需要业务处理，就势必引入cpu，mcu中的cpu就是比较低端的cpu。但如果把fpga+cpu合封在一个chip里面，通过总线连在一起，这样岂不是更加方便。zynq就是这么做的。当然，早期的时候，可以选择的chip比较少。现在不管是进口芯片，还是国产芯片，有很多fpga+cpu的芯片可以选择。

和fpga+mcu相比较，这种开发方法更加简单。当然缺点也是有的。第一个缺点就是价格，不少好一点的fpga+cpu都不便宜。其次，很多fpga+cpu的芯片，cpu性能不高，内部ip资源比较少，复杂一点的视频编解码、npu都没有，所有这也限制了fpga+cpu的处理场景。

3、fpga+soc的组合

和前面两种相比较，fpga+soc的处理性能是最强的。fpga可以接入多个camera，再通过mipi csi2 tx发送给soc的mipi csi2 rx，只要适配下camera驱动即可。在soc处理之前，就可以把很多预处理工作准备好，比如数字图像预处理算法，这样soc拿到frame之后就可以快速进行后面的工作。

同样，只要soc自身带mipi csi2 rx，基本上fpga就不太会挑soc。便宜的soc可以连接上去，复杂的soc也可以连接上去。简单的编解码，cpu要求不高，就选择一些性价比较高的soc。如果是对性能、算法、npu、gpu有点要求的场景，这个时候就可以选用高端一点的soc，这两者都是可以的。

注：

实际开发的时候，自身可以专注于fpga实现，硬件部分购买核心板，自己做底板即可。