形状也是描述图像内容的一个重要特征。利用形状进行匹配有三个问题值得注意。首先，形状常与目标联系在一起，所以形状特征可以看作是比颜色或纹理要高层一些的特征。要获得有关目标的形状参数，常要先对图像进行分割，所以形状特征会受图像分割效果的影响。其次，目标形状的描述是一个非常复杂的问题，事实上，至今还没有找到形状的确切数学定义，使之能与人的感觉相一致。最后，从不同视角获取的图像中目标形状可能会有很大差别，为准确进行形状匹配，需要解决平移、尺度、旋转变换不变性的问题。