暗通道去雾改进算法及实现.md

上次搞的暗通道去雾的算法交给老师就算是交差了，当时也就是个调研而已。前几天又被老师叫过去说还是需要720p(1280*720)图像的实时处理，看能不能再做一些优化，让我和一个职工商量着来，于是又看了两天的去雾。还是有一些进展，总结一下。

回顾

还是可以回顾一下暗通道去雾的流程，在这里，其中这个模型是最重要的：

在这个模型中，要获得的只有两个，一个是透射率图t(x)，一个是大气光值A,大气光值的获得方法很多，包括暗通道去雾中找最亮的0.5%的最低值，或者是有一个四叉树寻找的方法：对比度暗通道去雾，这片文章可以看做是对何凯明暗通道去雾的一个扩展，对天空具有比较好的免疫性。作者说效果不错，好不容易调通给的代码发现效果一般，而且算法比暗通道去雾还复杂一些，再就没有细看。

透射率这里，何提出的导向滤波是不错的，效果也还可以，但是实测下来还是这部分花费了大部分时间，后来使用了先下采样然后导向滤波之后再插值的快速算法，速度上还是有瓶颈。

如果在这个去雾模型上要有所改进的话，就只能是对透射率图这里改进了。

改进

查资料的过程中发现一篇文章：一种可实时处理的图像去雾算法的实现,文中给出了算法的详细步骤：

但说实话这个图里面的公式写的不太严谨，比如5式中的Mav应该是要进行归一化的，其他的地方倒还容易理解，特别是5式这个透射率的求法简直不要太简洁啊，看了博客中作者给出的效果图以及后面作者给的程序进行测试,发现效果还是不错的，而且从算法复杂度上来看，是要比原始的暗通道去雾有些优势的，最起码没有麻烦的导向滤波(导向滤波里有大量的求均值和滤波操作)。

然后就开始写代码，先用python写了一个版本，很快就写完了，测试下来是要比暗通道去雾快一些，按照C++版本应该比python版本提高近一倍的效率来说，是差不多可以到实时了，于是就动手写了。

这还是上周四的事情，周四晚上打球把脚崴了，周五肿了很大，自然是下不了楼就窝在宿舍里写程序，虽然说OpenCv已经提供了大量的API,写起来还是没有python顺手，主要是数据类型的转换。 比如说如果要做除法的话肯定是要把数据转换成float的，不能用uchar来做，因为当时用的指针来写的min_BGR函数，如果要换乘float的话，这里面的指针也都得改，用uchar类型的指针来访问float的话肯定是要崩溃的。诸如此类的问题吧。

大概到晚上吃饭的时候就已经完全调通了，中间出了一个莫名其妙的问题卡了很久，贴在下面：

vector<Mat> Img_split_dehaze;
	//Mat div_tmp;

	for (int i = 0; i < 3; i++)
	{
		/*cv::divide(Fenzi[i], fenmu, div_tmp);
		cout<<div_tmp;
		Img_split_dehaze.push_back(div_tmp);*/        
		
		//一开始是注释的这里错了，从最前面一点一点检查才发现，不过不知道哪里有问题，改成new对象就可以了，神奇！

		Mat *tmp = new Mat;
		cv::divide(Fenzi[i], fenmu, *tmp);
		Img_split_dehaze.push_back(*tmp);
		delete tmp;
	}

我一开始使用的注释掉的那一部分来做这个除法，然后储存到vector<Mat>里，然后三次push_back进去的竟然是同一个东西，导致我最后merge的图像就是灰度图，一开始怎么着也没发现这里有错误(现在也不知道为什么错了，我在循环里cout出来分明是不一样的)。 后来对照着python里的结果一点点检查才发现时这里的错误，浪费了很长的时间，不知道怎么处理就用new一个对象来做，就没有问题了。 i5_7500cpu上大概可以跑打25fps了，笔记本上要慢2/5差不多。 算法的实现就差不多是这样了，遍历像素我还是用的at运算符来做，毕竟最合乎习惯，而且release模式下速度损失不大。

优化

图像算法层面的优化就没有什么了，基本上不存在可以优化的地方，但是还是有一些地方可以进行优化。主要做了有两点。

式5求min(Mat1,Mat2)

一开始使用了vector<Mat>把两个式子merge到一张二通道的图里，然后再调用函数MIN_BRG_32F()(自己写的)来做这个工作，我觉得vector的创建以及调用merge可能还是花费了一些时间，于是直接来做，于是变成了:

M_minfilter_32f = M_minfilter_32f*m;

	int rows = M_minfilter_32f.rows;
	int cols = M_minfilter_32f.cols;
	Mat res = Mat::zeros(Size(cols,rows), CV_32FC1);
	
	for (int i = 0; i < rows; i++)
	{
		for (int j = 0; j < cols; j++)
		{

			res.at<float>(i, j) = std::min(M_minfilter_32f.at<float>(i,j), M_min_32f.at<float>(i, j));
		}
	}

速度大概提升了10%吧。

式7用查表法来做

这个改进是实质性的，这也是受了那篇博客中作者想法的启发，用查表来做，可以用查表法来做的基础是：所有对应的操作都是点对点的操作，而且H和L都是[0-255)的uchar类型，另外还有一个参数A，是一个独立的大气光值，也是0-255的，所以我们可以做一个二维的查找表，一维是H的取值，一维是L的取值。这样的话就不用多次调用除法，只需要根据A来建立一个256*256大小的查找表就可以了。 查找表的建立: 我直接使用vector来做，索引起来也非常容易。

vector<vector<uchar>> Function7_table(const float &A)      
{
	vector<vector<uchar>> Table = vector<vector<uchar>>(256, vector<uchar>(256, 0));
	//cout << Table.size() << endl;
	double Value=0;
	for (int Y = 0; Y < 256; Y++)
	{
		for (int X = 0; X < 256; X++)
		{
			Value = (Y - X) / (1 - X/A);       //function_7
			if (Value > 255)
				Value = 255;
			else if (Value < 0)
				Value = 0;
			
			Table[Y][X] = Value;
			//printf("%d\t", Table[Y][X]);  这是个大坑，cout输出uchar的时候是按照ascii码输出的，一开始还以为不对
		}
	}
	return Table;
}

索引的时候非常方便，对于一个H(x)和L(x)的元素来说，只需要按照对应的位置来查找这个表就可以了:

vector<vector<uchar>> Table;
	Table = Function7_table(A);
	
	Mat ImgDefog = Img.clone();

	int row_Num = ImgDark_32f.rows;
	int col_Num = ImgDark_32f.cols;
	//获得行列
	for (int i = 0; i < row_Num; i++)
	{
		for (int j = 0; j < col_Num; j++)
		{
			ImgDefog.at<Vec3b>(i, j)[0] = Table[Img.at<Vec3b>(i, j)[0]][int(Lx.at<float>(i, j))];
			ImgDefog.at<Vec3b>(i, j)[1] = Table[Img.at<Vec3b>(i, j)[1]][int(Lx.at<float>(i, j))];
			ImgDefog.at<Vec3b>(i, j)[2] = Table[Img.at<Vec3b>(i, j)[2]][int(Lx.at<float>(i, j))];
			//处理三个通道
		}
	}

经过测试，速度有40%左右的提升，这样的话实时应该是很轻松的就可以达到了，查表果然是个好东西。 附一张效果图：效果还可以。

代码：FastDefog