Image Fusion Theories, Techniques and Applications

Preface

The purpose of this book is to provide a practical introduction to the theories, techniques and applications of image fusion. The present work has been designed as a textbook for a one-semester final-year undergraduate, or first year graduate, course in image fusion. It should also be useful to practicing engineers who wish to learn the concepts of image fusion and apply them to practical applications. In addition, the book may also be used as a supplementary text for a graduate course on topics in advanced image processing.The book complements the author’s previous work on multi-sensor data fusion[1] by concentrating exclusively on the theories, techniques and applications of image fusion. 

The book is intended to be self-contained in so far as the subject of image fusion is concerned, although some prior exposure to the field of computer vision and image processing may be helpful to the reader.Apart from two preliminary chapters, the book is divided into three parts. Part I deals with the conceptual theories and ideas which underlie image fusion. Here we emphasize the concept of a common representational framework and include detailed discussions on image registration, radiometric calibration and semantic equalization. Part II deals with a wide range of techniques and algorithms which are in common use in image fusion. 

Among the topics considered are: sub-space transformations, multi-resolution analysis, wavelets, ensemble learning, bagging, boosting, color spaces, image thresholding, Markov random fields, image similarity measures and the expectation maximization algorithm. Together Parts I and II provide the reader with an integrated and comprehensive overview of image fusion. Part III deals with applications. In it we examine several real-life image fusion applications. The aim is to illustrate how the theories and techniques of image fusion are used in practical situations.

Contents

1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Synergy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Image Fusion Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Common Representational Block . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 Image Fusion Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.5 Image Fusion Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.6 Organization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.7 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.8 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8


2 Image Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1 Digital Camera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Optical System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2.1 Perspective Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2.2 Orthographic Projection . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Recording Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.1 Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4 Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4.1 Quantization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4.2 Bayer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5 Spatial vs. Spectral Resolution . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5.1 Spatial Resolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5.2 Spectral Resolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.6 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Part I: Theories

3 Common Representational Format . . . . . . . . . . . . . . . . . . . . . . . 21
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Geographical Information System . . . . . . . . . . . . . . . . . . . . . . . 23
3.3 Choosing a Common Representational Format . . . . . . . . . . . . 23
3.3.1 Human Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3.2 Sparseness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.3.3 Object Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3.4 Uncertainty. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.4 Textures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.5 Multi-scale Representation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.6 Sub-space Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.7 Multiple Training Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.8 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.9 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4 Spatial Alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2 Pairwise Transformation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.2.1 Thin-Plate Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.3 Hierarchical Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.4 Mosaic Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.4.1 Stitching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.5 Image Similarity Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.6 Mutual Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.6.1 Normalized Mutual Information . . . . . . . . . . . . . . . . . . . 44

4.6.2 Calculation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.6.3 Histogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.6.4 ParzenWindows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.6.5 Iso-intensity Lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.7 Partial Volume Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.8 Artifacts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.9 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.10 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

5 Semantic Equivalence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.2 Probabilistic Scale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.2.1 Plat Calibration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.2.2 Histogram Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.2.3 Isotonic Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.3 Decision Labels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57


5.3.1 Assignment Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
5.3.2 Co-association Matrix. . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.4 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.5 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

6 Radiometric Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.2 Histogram Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.2.1 Exact Histogram Specification . . . . . . . . . . . . . . . . . . . . 65
6.3 Midway Image Equalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
6.4 Matching Second-Order Statistics. . . . . . . . . . . . . . . . . . . . . . . . 68
6.5 Ranking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
6.6 Thresholding. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.7 Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
6.8 Feature Map Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
6.9 Probabilistic Scale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
6.10 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
6.11 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73


7 Pixel Fusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
7.2 Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
7.2.1 Robust Averaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
7.3 Subtraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
7.4 Multiplication. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
7.5 Division . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
7.6 Feature Map Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.7 Decision Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
7.7.1 Shape-Based Averaging . . . . . . . . . . . . . . . . . . . . . . . . . . 85
7.7.2 Similarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
7.7.3 Label Permutation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
7.7.4 Co-associative Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
7.8 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

Part II: Techniques

8 Multi-resolution Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
8.2 Discrete Wavelet Transform. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
8.3 Undecimated Discrete Wavelet Transform (UDWT) . . . . . . . 96
8.4 Wavelet Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
8.5 Expectation-Maximization Algorithm . . . . . . . . . . . . . . . . . . . . 101

8.6 Multi-modal Wavelet Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
8.7 Pan-Sharpening . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
8.8 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
8.9 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
9 Image Sub-space Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
9.2 Principal Component Analysis (PCA) . . . . . . . . . . . . . . . . . . . . 109

9.2.1 PCA Variants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
9.2.2 Whitening . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
9.2.3 Two-Dimensional PCA. . . . . . . . . . . . . . . . . . . . . . . . . . . 113
9.3 PCA Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
9.4 Non-negative Matrix Factorization (NMF) . . . . . . . . . . . . . . . . 115
9.5 Linear Discriminant Analysis (LDA) . . . . . . . . . . . . . . . . . . . . . 116
9.5.1 Fisherface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
9.5.2 Median LDA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
9.5.3 Re-weighting LDA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
9.5.4 Two-Dimensional LDA . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
9.6 Nearest Neighbor Discriminant Analysis (NNDA) . . . . . . . . . . 120
9.6.1 K-Nearest Neighbor Discriminant Analysis . . . . . . . . . 121
9.6.2 Two-Dimensional NNDA . . . . . . . . . . . . . . . . . . . . . . . . . 121
9.7 Canonical Correlation Analysis (CCA) . . . . . . . . . . . . . . . . . . . 121

9.8 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
9.9 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

10 Ensemble Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
10.1 Ensemble Learning Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
10.2 Diversity Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
10.3 Multiple Image Transformations Ik . . . . . . . . . . . . . . . . . . . . . . 128
10.3.1 Multiple Subspace Transformations . . . . . . . . . . . . . . . . 129
10.3.2 Multiple Random Convolutions . . . . . . . . . . . . . . . . . . . 129
10.3.3 Multiple Normalizations . . . . . . . . . . . . . . . . . . . . . . . . . . 130
10.3.4 Multiple Color Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
10.3.5 Multiple Thresholds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
10.3.6 Multiple Segmentations . . . . . . . . . . . . . . . . . . . . . . . . . . 132

10.4 Re-sampling Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
10.5 Image Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
10.6 Ensemble Thresholding. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
10.7 Ensemble Spatial Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
10.8 Ensemble Atlas Based Segmentation . . . . . . . . . . . . . . . . . . . . . 139
10.9 Ensemble Nearest Neighbor Classification. . . . . . . . . . . . . . . . . 140
10.10 Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
10.11 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141


11 Re-sampling Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
11.2 Bootstrapping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
11.3 Face Recognition with Bagging . . . . . . . . . . . . . . . . . . . . . . . . . . 144
11.4 Bagged Nearest Neighbor Classifier . . . . . . . . . . . . . . . . . . . . . . 144
11.5 Bagged K-means Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
11.6 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
11.7 Viola-Jones Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
11.8 Boosted Object Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
11.9 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
11.10 Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153


12 Image Thresholding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
12.1 Global Thresholding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
12.2 Statistical Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
12.2.1 Ridler-Calvard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
12.2.2 Otsu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
12.2.3 Kittler-Illingworth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
12.2.4 Kapur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
12.2.5 Tsai . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
12.3 Local Thresholding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
12.4 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
12.5 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
13 Image Key Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
13.1 Scale-Invariant Feature Transform . . . . . . . . . . . . . . . . . . . . . . . 163
13.1.1 Hyperspectral Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

13.2 Speeded-Up Robust Feature . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
13.3 Complex Wavelet Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
13.4 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166


14 Image Similarity Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
14.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
14.2 Global Similarity Measures without Spatial Alignment . . . . . 170
14.2.1 Probabilistic Similarity Measures . . . . . . . . . . . . . . . . . . 170
14.2.2 χ2 Distance Measure. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
14.2.3 Cross-Bin Distance Measures . . . . . . . . . . . . . . . . . . . . . 174
14.3 Global Similarity Measures with Spatial Alignment . . . . . . . . 176
14.3.1 Mean Square Error and Mean Absolute Error . . . . . . 176
14.3.2 Cross-Correlation Coefficient . . . . . . . . . . . . . . . . . . . . . . 177
14.3.3 Mutual Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
14.3.4 Ordinal Global Similarity Measures . . . . . . . . . . . . . . . . 178



14.4 Local Similarity Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
14.4.1 Bhat-Nayar Distance Measure. . . . . . . . . . . . . . . . . . . . . 180
14.4.2 Mittal-Ramesh Ordinal Measure. . . . . . . . . . . . . . . . . . . 182
14.5 Binary Image Similarity Measure . . . . . . . . . . . . . . . . . . . . . . . . 182
14.5.1 Hausdorff Metric . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
14.6 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
14.7 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184


15 Vignetting, White Balancing and Automatic Gain

Control Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
15.2 Vignetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
15.2.1 Vignetting Correction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
15.3 Radiometric Response Function . . . . . . . . . . . . . . . . . . . . . . . . . 189
15.3.1 Automatic Gain Control . . . . . . . . . . . . . . . . . . . . . . . . . 189
15.4 White Balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
15.5 Ensemble White Balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192


16 Color Image Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

16.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
16.2 Perceptual Color Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
16.2.1 IHS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
16.2.2 HSV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
16.2.3 HLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
16.2.4 IHLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
16.2.5 Indirect IHS Transformation . . . . . . . . . . . . . . . . . . . . . . 200
16.2.6 Circular Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
16.3 Multiple Color Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
16.4 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
16.5 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204



17 Markov Random Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
17.1 Markov Random Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
17.2 Energy Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
17.3 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
17.4 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

18 Image Quality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
18.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
18.2 Reference-Based Quality Measures . . . . . . . . . . . . . . . . . . . . . . . 211
18.3 Non-reference Based Quality Measures . . . . . . . . . . . . . . . . . . . 212
18.4 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
18.5 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
18.6 Further Reading. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

Part III: Applications

19 Pan-sharpening . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
19.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
19.2 IHS Pan-sharpening . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
19.3 Spectral Distortion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
19.3.1 Pan-sharpening Algorithm of Choi . . . . . . . . . . . . . . . . . 223
19.3.2 Pan-sharpening Algorithm of Tu et al. . . . . . . . . . . . . . 224
19.4 IKONOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
19.5 Wavelets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
19.6 Sensor Spectral Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

20 Ensemble Color Image Segmentation . . . . . . . . . . . . . . . . . . . . 229
20.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
20.2 Image Ensemble . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
20.3 K-Means Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
20.4 K-Means Fusion Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
Reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232


21 STAPLE: Simultaneous Truth and Performance Level
Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
21.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
21.2 Expectation-Maximization Algorithm . . . . . . . . . . . . . . . . . . . . 233
21.3 STAPLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236

22 Biometric Technologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
22.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
22.2 Multi-modal Biometrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
22.2.1 Fingerprints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
22.2.2 Signatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
22.2.3 Faces. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
22.2.4 Iris and Retina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239


22.2.5 Gait Biometrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
22.2.6 Other Biometrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
22.3 Multi-biometrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
22.3.1 Multi-sensor System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
22.3.2 Multi-algorithm System . . . . . . . . . . . . . . . . . . . . . . . . . . 240
22.3.3 Multi-instance System . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
22.3.4 Multi-sample System . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
22.4 Epilogue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243

Down Load Link

Image Fusion Theories, Techniques and Applications