计算机视觉

计算机视觉涉及使用计算机软件和硬件建模和复制人类视觉。 在本章中，我们将详细地学习。

计算机视觉

计算机视觉是一门学科，根据场景中存在的结构特性，研究如何从2D图像重构，中断和理解3D场景。

计算机视觉层次结构

计算机视觉分为以下三个基本类别 -

• 低级视觉 - 它包括用于特征提取的过程图像。
• 中级视觉 - 它包括物体识别和3D场景解释
• 高级视觉 - 它包括对活动，意图和行为等场景的概念性描述。

计算机视觉与图像处理

图像处理将图像转换为图像。 图像处理的输入和输出都是图像。

计算机视觉是从其图像中构建对物理对象的明确而有意义的描述。 计算机视觉的输出是3D场景中结构的描述或解释。

应用
计算机视觉在以下领域中应用 -

• 机器人领域
  • 本地化 - 自动确定机器人位置
  • 导航
  • 避免障碍
  • 装配(插入孔，焊接，喷漆)
  • 操作(例如PUMA机器人操作器)
  • 人机器人交互(HRI):智能机器人与人交互和服务
• 医学领域
  • 分类和检测(例如病变或细胞分类和肿瘤检测)
  • 2D/3D分割
  • 3D人体器官重建(MRI或超声波)
  • 视觉引导的机器人手术
• 安全领域
  • 生物识别技术(虹膜，指纹，脸部识别)
  • 监视 - 检测某些可疑的活动或行为
• 运输
  • 自主车辆
  • 安全，例如驾驶员警惕性监控
• 工业自动化应用
  • 工业检查(缺陷检测)
  • 部件
  • 条码和包装标签阅读
  • 对象排序
  • 文件理解(例如OCR)

安装有用的包

对于使用Python的计算机视觉，您可以使用名为OpenCV(开源计算机视觉)的流行库。 它是一个主要针对实时计算机视觉的编程功能库。 它用C++编写，其主要接口是C++。 可以借助以下命令来安装此软件包 -

pip install opencv_python-X.X-cp36-cp36m-winX.whl

这里X代表示机器上安装的Python版本，以及所拥有的win32或64位版本。

如果您使用的是anaconda环境，请使用以下命令安装OpenCV -

conda install -c conda-forge opencv

读取，写入和显示图像

大多数CV应用程序需要将图像作为输入并生成图像作为输出。 在本节中，您将学习如何借助OpenCV提供的功能来读取和写入图像文件。OpenCV用于读取，显示，编写图像文件OpenCV为此提供了以下函数功能 -

• imread()函数 - 这是读取图像的函数。 OpenCV imread()支持各种图像格式，如PNG，JPEG，JPG，TIFF等。

• imshow()函数 - 这是用于在窗口中显示图像的函数。 该窗口自动适合图像大小。 OpenCV imshow()支持各种图像格式，如PNG，JPEG，JPG，TIFF等。

• imwrite()函数 - 这是写入图像的函数。 OpenCV imwrite()支持各种图像格式，如PNG，JPEG，JPG，TIFF等。

示例

这个例子展示了用于以一种格式读取图像的Python代码 - 在一个窗口中显示它，并以其他格式写入相同的图像。 考虑下面显示的步骤 -

如下所示导入OpenCV包 -

import cv2

现在，使用imread()函数读取一个特定的图像 -

image = cv2.imread('image_flower.jpg')

要显示图像，可使用imshow()函数。可以在其中看到图像的窗口的名称是image_flower。

cv2.imshow('image_flower',image)
cv2.destroyAllwindows()

执行代码后，得到图片如下 -

可以使用imwrite()函数将相同的图像写入其他格式，比如.png，

cv2.imwrite('image_flower.png',image)

输出True表示图像已成功写入.png文件，并且也位于同一文件夹中。

注 - 函数destroyallWindows()简单地销毁创建的所有窗口。

色彩空间转换

在OpenCV中，图像不是使用传统的RGB颜色存储的，而是以相反的顺序存储的，即以BGR顺序存储。 因此，读取图像时的默认颜色代码是BGR。 cvtColor()颜色转换函数用于将图像从一个颜色代码转换为其他颜色代码。

示例

考虑这个例子，将图像从BGR转换为灰度。

如下所示导入OpenCV包 -

import cv2

使用imread()函数读取一个特定的图像 -

image = cv2.imread('image_flower.jpg')

现在，如果使用imshow()函数来显示这个图像，那么可以看到这个图像在BGR中。

cv2.imshow('BGR_Penguins',image)

现在，使用cvtColor()函数将此图像转换为灰度。

image = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
cv2.imshow('gray_penguins',image)

边缘检测

人类在看到粗糙的草图后，可以轻松识别出许多物体类型及其姿态。 这就是为什么边缘在人类生活以及计算机视觉应用中扮演重要角色的原因。 OpenCV提供了非常简单而有用的函数Canny()来检测边缘。

示例

以下示例显示了边缘的清晰标识。

如下所示导入OpenCV包 -

import cv2
import numpy as np

使用imread()函数读取一个指定的图像 -

image = cv2.imread('Penguins.jpg')

现在，使用Canny()函数来检测已读图像的边缘。

cv2.imwrite('edges_Penguins.jpg',cv2.Canny(image,200,300))

要显示具有边缘的图像，请使用imshow()函数，参考以下代码 -

cv2.imshow('edges', cv2.imread('edges_Penguins.jpg'))

这个Python程序将创建一个名为edges_penguins.jpg 的图像并进行边缘检测。

人脸检测

人脸检测是计算机视觉的令人着迷的应用之一，它使其更加逼真。 OpenCV有一个内置的工具来执行人脸检测。 我们将使用Haar级联分类器进行人脸检测。

Haar级联数据

我们需要数据来使用Haar级联分类器。 可以在我们的OpenCV包中找到这些数据。 安装OpenCv后，有一个文件夹名称haarcascades。 将有不同应用程序的.xml文件。 现在，将它们全部复制以供不同的使用，然后粘贴到当前项目下的新文件夹中。

示例

以下是使用Haar级联检测下图中显示的Amitabh Bachan的面部的Python代码 -

如下所示导入OpenCV包 -

import cv2
import numpy as np

现在，使用HaarCascadeClassifier来检测脸部 -

face_detection=
cv2.CascadeClassifier('D:/ProgramData/cascadeclassifier/
haarcascade_frontalface_default.xml')

使用imread()函数读取一个指定的图像，

img = cv2.imread('AB.jpg')

将其转换为灰度，因为它会接受灰色图像 -

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

接下来，使用face_detection.detectMultiScale，执行实际的人脸检测

faces = face_detection.detectMultiScale(gray, 1.3, 5)

围绕整个脸部绘制一个矩形 -

for (x,y,w,h) in faces:
   img = cv2.rectangle(img,(x,y),(x+w, y+h),(255,0,0),3)
cv2.imwrite('Face_AB.jpg',img)

如图所示，这个Python程序将创建一个名为Face_AB.jpg 的图像，它包含人脸检测 -

眼睛检测

眼睛检测是计算机视觉的另一个引人注目的应用，使其更加逼真和未来。 OpenCV有一个内置的工具来执行眼睛检测。 我们将使用Haar级联分类器进行眼睛检测。

示例
以下示例给出了使用Haar级联的Python代码来检测下图中给出的Amitabh Bachan 的面部 -

如下所示导入OpenCV包 -

import cv2
import numpy as np

使用HaarCascadeClassifier检测脸部 -

eye_cascade = cv2.CascadeClassifier('D:/ProgramData/cascadeclassifier/haarcascade_eye.xml')

使用imread()函数读取指定图像 -

img = cv2.imread('AB_Eye.jpg')

然后，将其转换为灰度，因为它会接受灰色图像 -

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

使用 eye_cascade.detectMultiScale ，执行实际的人脸检测 -

eyes = eye_cascade.detectMultiScale(gray, 1.03, 5)

现在，围绕整个脸部绘制一个矩形 -

for (ex,ey,ew,eh) in eyes:
   img = cv2.rectangle(img,(ex,ey),(ex+ew, ey+eh),(0,255,0),2)
cv2.imwrite('Eye_AB.jpg',img)

这个Python程序将创建一个名为Eye_AB.jpg 的图像，如图所示，