OpenCV分享：从新手到专家，计算机视觉工程师的成长指南

（映维网Nweon 2023年12月27日）在上一篇博文中，我们分享了OpenCV对何谓计算机视觉的介绍，包括它的朴素起源，这一迷人技术背后的机制，计算机视觉的任务，以及领先品牌如何利用其潜力来推动其业务向前发展等等。

现在我们将分享OpenCV的另一篇博文中：“从新手到专家：你在2024年成为计算机视觉工程师的指南”：

1. 什么是计算机视觉?

计算机视觉或机器视觉是人工智能的一个子领域，它有助于机器和计算机系统从数字图像、视频和其他视觉数据中获取有价值的信息。

更多信息请查看之前分享的新手指南《OpenCV深度分享：什么是计算机视觉》。

2. 计算机视觉工程师是什么人？

计算机视觉工程师是尝试利用各种机器视觉工具和算法来为机器重新构建人类视觉系统的人。他们以数据集的形式分析和处理大量数据，以通过视觉帮助自动化预测决策。简单地说，计算机视觉工程师是处理来自图像和视频的视觉信息的人。

大多数视觉工程师都在研究、训练、测试和部署在计算机视觉应用程序中实现的模型。他们同时与其他工程师密切合作，利用视觉信息构建硬件和软件来解决问题或执行特定任务。他们在机器学习、深度学习、图像注释、图像和视频分割以及图像识别等领域拥有令人印象深刻的知识。视觉工程师在医疗保健、汽车、机器人和监控等各个行业都有非常高的需求。

成为一名计算机视觉工程师可不是在公园里散步。由于这门学科的广泛性，你需要大量的投入和努力来进行研究和学习。但不要烦恼。这篇初学者指南将引导你完成成为专业计算机视觉工程师的步骤。下面开始吧。

3. 成为计算机视觉工程师所需的技能

3. 1 数学

成为计算机视觉专家的旅程从数学开始。你必须征服数学。数学用于图像的表示和操作。计算机视觉专业人员都需要理解和掌握图像和它们的数值表示之间的关系。下面我们来探索一下你需要掌握的数学概念。

3.1.1 线性代数

线性代数是计算机视觉需要掌握的基础之一。下面我们来看看数个例子。

在基本层面，图像表示为矩阵或多维数字数组。线性代数处理对于各种图像处理任务至关重要的矩阵。

另一个计算机视觉任务是检测和描述图像中的特征，如边缘或角落。用于执行相关操作的算法会利用线性代数来进行更有效的计算。

旋转、缩放和平移等操作是计算机视觉的基础。它们都是用矩阵和向量来表示，并构成了线性代数核心概念的一环。

在图像处理领域，卷积运算用于滤波和图像变换。在深度学习的背景下实现卷积是通过利用线性代数。

计算机视觉的另一个重要方面是3D视觉和深度感知。从2D图像（如摄像头校准、立体视觉和运动结构）中获得3D场景和深度的见解涉及基于线性代数的计算。

线性代数为各种计算机视觉任务提供了必要的数学框架和工具。

3.1.2 微积分

微积分，尤其是微分，在计算机视觉中至关重要。

以深度学习为例。理解深度学习模型是计算机视觉的重要组成，而微积分概念同样有在这里广泛使用。例如，训练神经网络的反向传播算法就是基于微积分。

特征提取是另一项计算机视觉任务。它包括从图像中提取有意义的特征，而这同样是通过微积分实现。以SIFT和边缘检测为例。在微积分的帮助下，它们能够识别图像中对于图像匹配和对象识别等任务至关重要的关键点和特征。

运动分析和跟踪同样使用微积分。如何实现？在空间和时间上计算导数，以确定对象在场景中如何移动。

理解微积分原理是理解计算机视觉算法和技术的关键。

3.1.3 概率论与统计学

计算机视觉处理数据中的诸多不确定性和可变性。这就是概率和统计学的用武之地。下面我们来看看其中的几个。

统计技术使得深度学习模型的优化成为可能。随机梯度下降等方法依赖于概率方法来寻找神经网络的最优参数。

统计方法用于检测和跟踪图像或视频序列中的对象。对象的运动则是用概率模型来预测。

构成计算机视觉很大一部分的机器学习模型同样使用概率和统计学。卷积神经网络等模型则使用统计数据来识别和分类图像中的模式。

3.2 编程

编程是计算机视觉的另一个重要组成。下面我们来看看为什么。

在分析任何图像或视频之前都需要对其进行预处理。这就是编程的由来。它们用于执行诸如规范化数据、图像大小调整和噪点过滤等任务。

计算机视觉的核心是算法。诸如对象检测、图像分类或模式识别等任务都是用算法实现。你猜对了，编程是用来创建所述算法的。

在大多数应用中，计算机视觉算法需要实时运行，而编程可以通过优化算法的速度和效率来救场，确保实时视频馈送可以快速处理。

许多计算机视觉任务利用机器学习和深度学习技术。通过编程，模型的性能可以优化并集成到更大的系统中。这包括使用神经网络，设置训练管道，以及使用TensorFlow和PyTorch等视觉库。

在涉及探索新计算机视觉技术的学术或研究环境中，编程用于进行实验和验证假设。

下一个问题出现了，我应该从哪种语言开始？让我们来探讨一下。

3.2.1 Python

Python是计算机视觉领域最流行的编程语言之一，主要是因为它的简单性和拥有大量的库，如OpenCV、TensorFlow和PyTorch。由于其通用性和易于集成，Python广泛用于学术研究。

3.2.2 C++

C++是一种强大的编程语言，可用于内存管理、实时处理和执行速度至关重要的场景。OpenCV等库中的核心算法最初是用c++编写。它同时支持大多数库。C++广泛应用于实时图像处理、资源优化任务、嵌入式系统和机器人等领域。

3.2.3 MATLAB

MATLAB是由MathWorks开发的一种high-level语言，在计算机视觉中有着广泛的应用。

它拥有对于图像和视频分析至关重要的强大数据可视化工具，并同时用于创建易于使用的用户界面以及与计算机视觉应用程序的交互。

MATLAB允许与其他语言集成，提供了更大的灵活性，并可利用其他库和工具。

MATLAB帮助将计算机视觉算法与Simulink集成到更大的系统中，允许基于模型的设计和图形化编程方法。它尤其用于嵌入式系统和控制设计。

初学者通常从Python开始，因为它非常简单，然后继续掌握其他语言。编程是掌握计算机视觉的基础之一。

4. 机器学习概念

机器学习在计算机视觉中起着至关重要的作用。它显著增强了计算机视觉功能和应用。下面我们来探讨一下机器学习在计算机视觉中的关键作用。

模式识别在视觉数据中起着至关重要的作用。这对于识别和分类图像或视频中的对象的对象识别等任务十分重要。其中，这是通过机器学习算法实现。

理解视觉数据情景的另一个关键方面是特征检测和提取。它包括识别图像中的关键点、边缘和形状。再一次，机器学习通过检测和提取特征来救场。

机器学习算法可以分析和解释图像和视频，以检测异常，跟踪运动，甚至根据视觉线索预测未来的事件。

然后是语义分割，这是将图像中的每个像素分类到一个类别的过程，它有助于在更详细的层面上理解场景。机器学习使这成为可能。

机器学习算法同时可以在视频中跨帧跟踪运动中的对象，而这在监控、运动分析和自动驾驶汽车中至关重要。

机器学习通过实现实时图像处理和与环境的交互来增强AR和VR体验。

这个概念允许为一个任务开发的模型重用为第二个任务的模型的起点，促进更快和更有效的计算机视觉模型训练。

机器学习概念对计算机视觉产生了重大影响，使得高级图像处理、实时分析以及从视觉数据中提取和利用复杂模式的能力成为可能。

5. 计算机视觉理论

下一步是建立计算机视觉理论的坚实基础。下面我们来看看其中的关键理论。

5.1 卷积神经网络

卷积神经网络（CNN）是计算机视觉领域的一个重要理论。它们用来从输入图像中学习特征的空间层次，并构成了图像识别、分类和分割等任务的很大一部分。

5.2 图像处理

计算机视觉的另一个基本概念是图像处理。它涉及到增强从摄像头和传感器接收到的原始图像的技术。这可以包括降噪、对比度增强和图像锐化，而这对于提高进一步处理的准确性至关重要。

5.3 模式识别

顾名思义，它涉及识别数据中的模式和规律。这包括识别计算机视觉图像中的特定对象、面孔或场景。模板匹配、基于特征的匹配和统计分类等技术属于这一部分。

5.4 计算机图形学

图像的几何方面，如透视、形状和运动是关键，并与三维重建、摄像头校准和立体视觉相关的理论广泛用于解释图像中的空间关系。

5.5 深度学习

除了卷积神经网络的空间层次结构之外，我们同时有深度学习，包括各种架构，如自动编码器，生成式对抗网络和循环神经网络，可用于图像生成，风格转移和视频分析等复杂任务。

5.6 特征提取

特征提取是识别图像中的关键点或特征，如边缘和角，并找到不同图像之间的对应关系。这对于对象识别、运动跟踪和全景拼接等任务至关重要。

5.7 语义分割

这个理论侧重于像素级的图像分析，并旨在将每个像素分类到特定的类别中。语义分割在场景理解、自动驾驶应用和医学成像应用中都有应用。

以上理论都至关重要，并在解决视觉数据解释和理解的不同方面和挑战时发挥作用。从简单的图像分类到复杂的场景理解以及与物理世界的交互，它们促进了广泛任务的正常运作。

6. 图像处理技术

图像处理是将图像处理成数字形式以执行特定操作，并从中推断出有用信息的方法。这样做是为了增强现有图像以从中获得相关信息。图像处理是对象检测和人脸识别等许多应用中必不可少的预处理步骤。例如在娱乐行业中，图像处理用于向图像中添加或删除对象。下面我们来探索一下。

6.1 图像增强

计算机视觉图像处理中的图像增强是指用于改善图像的视觉外观，或将图像转换为更适合人类或计算机算法分析的一组技术。这个过程对于为计算机视觉中的进一步任务备图像至关重要，如特征提取、目标检测和分类。目标通常是从观察者的角度提高原始图像的质量，或者增强对进一步处理很重要的特定图像特征。为什么图像增强至关重要？下面我们看看为什么。

• 图像增强有助于对比度调整。通过直方图均衡化或对比度拉伸等技术，可以修改像素强度以获得更清晰的图像。
• 通过简单或复杂的方法调整像素值来增强图像亮度。
• 图像平滑通过使用高斯模糊、中值或双边滤波等方法最小化随机亮度或颜色变化来实现。
• 它同时执行边缘增强，使图像边缘更明显，并利用拉普拉斯滤波器和高通滤波器等技术。
• 色彩平衡和饱和度：通过校正色温和增强色彩鲜艳来改善视觉吸引力或重点。
• 去模糊：恢复因运动或对焦问题而模糊的图像的清晰度。
• 几何处理：处理图像结构以去除噪点、分离对象或强调形状。

6.2 图像恢复

图像恢复是通过去除噪点来提高图像质量的过程。尽管与图像增强有一定的相似之处，但后者利用了人类视觉系统的特征来获得更好的效果。在图像恢复中，原始图像的质量要求很高，但有一定的条件。

• 图像恢复的一个关键方面是去除图像中的噪点，如高斯噪点或斑点噪点。
• 另一个方面是提高图像的分辨率。这可以是通过增加图像中的像素数。
• 图像模糊是另一个常见问题。这可能是由于失焦或其他因素造成，并可通过估计模糊模式或模糊核和逆转其影响来解决。
• 色彩校正是图像恢复的另一个重要方面。例如，有些图像会有颜色失真，或者较旧的图像会褪色。这样的图像需要通过调整图像的色彩平衡来进行色彩校正。

6.3 图像压缩

图像压缩是对数字图像进行数据压缩的过程。这样做的目的是优化图像数据的大小，使其更具可存储性和可传输性。它大致可分为：

• 无损压缩：这个过程是指在不影响图像质量的情况下制作图像的较小版本。这是一个可逆过程，图像部分依然完好无损。
• 有损压缩：在这个过程中，通过去除图像的特定部分来减小图像的大小。我们将得到一个明显更小的图像版本，使其加载速度更快，质量差异最小。缺点之一是不像无损压缩，这不可逆转。

6.4 图像处理

图像处理是对数字图像进行修改的过程。这一步是为了提高图像质量或创造视觉效果。下面是图像处理的用法

图像处理通常助以滤波。它是一种常用的模糊、锐化或边缘检测技术，是图像处理的基本组成。

另一个方面是组合创作，它涉及到将不同的形象组合在一起并创造一个新的形象，通常用于广告。

通过图像处理，不仅可以将图像放在一起，同时可以将图像分成不同的部分。这是基于图像中像素的特征来完成。

我们同时可以在图像预处理中进行扩张和开合等操作，特别是通过形态学处理对二值图像来进行预处理。

7. 深度学习模型和方法

下面我们来关注计算机视觉熟练度的另一个重要关键：深度学习。

掌握各种深度学习模型和方法对计算机视觉工程师来说至关重要。熟练掌握CNN、GAN和Vision Transformer等模型有助于解决从图像识别到实时目标检测的各种问题。

我们从CNN卷积神经网络开始。它们构成了分析图像的基石，其架构模仿人类视觉系统，提供更有效的特征提取和模式学习。CNN在图像识别和图像分类等任务中表现出色，并在自动驾驶和面部识别应用中得到应用。

现在我们来看RNN循环神经网络。它们破译视觉数据中的时间关系和顺序情景，而这对于帧预测或视频字幕等应用非常有用。它们擅长理解序列数据，如动作识别或视频分析。

RNN和LSTM非常擅长处理时间序列数据和序列，可在视觉任务中提供更连贯的解释。

然后是自动编码器。它们主要用于无监督学习，如特征学习和图像降维。它们在降噪和图像重建等任务中发挥着关键作用，并在图像去噪和异常检测等应用中得到了应用。

生成式对抗网络GAN是一种强大的模型，能够生成新图像和增强数据集。它们有助于创建逼真的合成图像并增强数据集，以用于训练生成高分辨率图像的其他模型。它们具有模拟复杂数据分布的不可思议的能力。它的应用包括：

• 为更身临其境的AR体验生成逼真的纹理和对象
• 为面部识别和生物识别认证生成各种逼真的训练数据

理解相关模型可以帮助你更有效地解决问题，并可以优化计算资源，从而将知识提高到通往成功的水平。

8. 计算机视觉工程师的成长阶段

从事计算机视觉工程师的职业是一件令人兴奋的事情。计算机视觉专家的道路可以分为几个关键阶段，而每个阶段都有自己的挑战和奖励。

8.1 初级计算机视觉工程师

大多数计算机视觉工程师的职业生涯从这里开始。作为一名初级工程师，你必须尽可能多地学习和吸收知识。你将参与在大型项目的系列小模块，掌握图像处理算法、机器学习模型和数据注释任务。这是磨练技术技能和理解理论知识实际应用的阶段。

8.2 计算机视觉工程师

有了几年的经验后，你就会担任一个更加独立的角色。在这里，你将设计和实现计算机视觉系统的组成，排除问题，并优化性能。在这个阶段，你将深入了解高级算法并探索对象检测，面部识别或3D重建等领域。你将开始为不同的项目和应用程序提供解决方案。

8.3 高级计算机视觉工程师

现在我们慢慢进入正题。作为一名高级工程师，你将承担复杂的挑战，并领导项目的各个部分。这一阶段包括在深度学习和神经网络等领域完善和开发复杂的算法，这可能涉及实验新形式的图像和视频分析，以及提高目标检测和识别的准确性。在这个阶段，你不仅要解决问题，同时要识别问题。另外，你可以指导初级团队成员，分享你的专业知识和经验。

8.4 项目经理

在这个阶段，你要监督整个项目。这个角色需要在技术知识和管理技能之间取得平衡。你将从技术工作过渡到管理计算机视觉项目，职责包括项目规划，确保时间表和资源得到妥善管理。领导力是关键。你将负责指导一个工程师团队，培养一个协作环境。涉众沟通变得至关重要，因为你是团队与外部各方之间的桥梁。你的影响力是由项目的成功、团队的成长以及交付给利益各方的价值来衡量。

8.5 解决方案架构师

作为解决方案架构师，你需要弥合技术方面和实际应用之间的差距。作为解决方案架构师，你的角色变得更加具有咨询性。你需要设计和构建复杂的计算机视觉系统，经常与客户或其他部门进行交互，以了解他们的需求并将其转化为技术需求。你的专业知识有助于为每个项目做出关于正确工具、技术和方法的关键决策。

8.6 首席计算机视觉工程师

这条职业道路的顶峰是首席计算机视觉工程师。这个职位专注于技术进步和研究，探索人工智能和机器学习的新领域。这个角色的关键方面包括与其他思想领袖建立联系，为学术期刊撰稿，在会议发言。理想情况下，你在这个阶段的工作有可能影响更广泛的行业格局，设定新的标准并开辟可能性。

像任何其他职业道路一样，计算机视觉工程师的道路包括不断学习和技能发展。每一步都会提供了宝贵的经验，带来个人和整个领域的进步。

尽管计算机视觉路径一开始看起来令人生畏，但从长远来看，这是非常有益的。

9. 计算机视觉工程师在哪里工作？

在当今快节奏的数字时代，计算机视觉工程师的作用变得越来越重要。从初创公司到跨国公司，许多公司都利用计算机视觉来实现流程自动化，做出更明智的决策，并创造无缝的客户体验。

然而，找到这样技能的人才是一个挑战。人才的稀缺导致了对视觉工程师的高需求。公司认识到这种专业人士的价值，并愿意支付更高的薪水来确保招揽到市场最好的人才。计算机视觉工程师的高薪证明了他们在现代商业中不可或缺的作用。

下面我们来探索相关的行业。

9.1 大型科技公司

大型科技公司，尤其是站在人工智能、增强现实和自主系统前沿的企业是计算机视觉工程师的主要雇主。旷视科技、Nauto、商汤科技和Tractable是计算机视觉技术的巨头之一。工程师与其他技术专业人员密切合作，为开发突破性技术做出贡献。

9.2 研究机构

学术和私人研究机构都非常适合推进计算机视觉的理论和实践方面。在这样的环境中，你从事的研究推动了这个令人兴奋的领域的界限。

9.3 创业公司

初创公司，尤其是人工智能、机器人和软件开发领域的初创公司都是计算机视觉人才的热点。Matterport、Hive、Mitek Systems和MetMap等公司都是美国领先的初创公司。初创公司环境以其活力和快节奏而闻名，允许工程师从事创新和变革项目。

9.4 汽车工业

特斯拉和谷歌Waymo等品牌一直在谈论自动驾驶汽车。自动驾驶汽车和高级驾驶辅助系统（ADAS）的发展在很大程度上依赖于计算机视觉工程师的专业知识。这种专业人士在掌控自动驾驶汽车的未来方面至关重要。

9.5 医疗保健

医疗保健行业是另一个从计算机视觉工程师的技能中受益匪浅的行业。从医学成像到诊断和治疗计划，计算机视觉工程师在推进医疗技术方面发挥着至关重要的作用。AiCure、Tempo、Moon Surgical和Ibex都是在积极利用计算机视觉的医疗保健品牌。

9.6 制造业
没有自动化，今天的制造业就什么都不是。制造品牌利用计算机视觉工程师的工业自动化，通过自动化改进流程。质量控制、安全监控和操作效率等任务是现代制造环境中的关键。

9.7 零售

在零售和商业领域，计算机视觉技术主要用于库存管理、分析客户行为和增强整体购物体验。工程师们致力于将先进的视觉能力整合到商业空间中。

9.8 保安及监察

与监控、国家安全和国防技术相关的项目通常需要计算机视觉工程师的专业技能。他们在这一领域的工作至关重要，往往涉及顶级安全和技术创新。

正如我们以上所见，各行各业的机会都是巨大的，具体选择取决于个人的个人兴趣和职业抱负。

10. 计算机视觉工程师的收入

在本节中，我们将仔细研究计算机视觉工程师在印度、美国和欧洲（特别是德国）的预期收入。

在印度，计算机视觉工程师的平均年薪为747370卢比，约合人民币6.4万元。然而，这只是基础。因为计算机视觉工程师通常有额外的现金补偿，平均约为97370卢比，约合人民币8353。这个数据来自于171份计算机视觉工程师提交给Glassdoor的薪酬报告，为人们在印度这一领域的预期收入提供了一个透明的视角。

至于美国，计算机视觉工程师的薪酬格局非常具有竞争力。他们的平均年收入约为165156美元（约合人民币117万元），每小时约为79.40美元（约合人民币567元）。入门级职位的年薪约为136200美元，约合人民币97万元。经验丰富的计算机视觉工程师年薪最高可达20.4万美元，约合人民币146万元。这表明所述领域的高需求和经验价值。

在德国，计算机视觉工程师的平均年薪约为93064欧元（约合人民币73万元），相当于每小时45欧元左右（约合人民币354元）。另外，工程师的平均奖金通常为4020欧元，约合人民币3.2万元。工资等级因经验而异。具有1-3年工作经验的初级工程师年薪约为65231欧元，约合人民币51万元。相比之下，拥有8年以上工作经验的人的平均工资约为115599欧元，约合人民币91万元。这表明经验和专业知识的收入增长潜力巨大。

以上的薪酬数字清楚地显示了计算机视觉工程师在多样化市场中的薪酬预期。很明显，当一个人在这个领域积累经验时，经济回报是相当可观的。

11. 计算机视觉市场趋势

计算机视觉市场正在快速增长。2022年，它的价值为141亿美元，而预计从2023年到2030年，它将以每年19.6%的速度增长。这种增长主要是因为人工智能用于无人机和自动驾驶汽车等产品。

• 相机和学习系统中的新技术使计算机视觉在学校、医院、机器人、电子产品、商店、工厂和安全等诸多领域都很有用。例如在2022年，TachyHealth和Medical Refill 合作使用计算机视觉来帮助医生更好地理解医学测试，并令治疗对患者更具交互性。
• 安全是计算机视觉非常有用的一个领域。它扫描人脸和指纹以执行安全保护。例如，你的手机可能会使用面部识别来保证安全。另一个例子是IDEMIA与美国国土安全部在2022年的合作，将面部识别用于公共安全。
• 自动驾驶汽车是计算机视觉市场的一件大事。这种汽车使用摄像头和传感器来查看道路标志并避开障碍物。2021年，Aventior谈到了计算机视觉如何通过帮助自动驾驶汽车更好地观察和理解周围环境，以使其变得更安全。
• 随着工厂自动化程度的提高，制造业同样在使用更多的计算机视觉。物联网正在令工厂变得更加智能，计算机视觉正在帮助人们关注产品的制造过程。亚马逊的Amazon Web Services于2021年启动了一项名为“亚马逊瞭望”的服务，令工厂更容易使用计算机视觉来检查他们的产品。

能够提高智能性和安全性的计算机视觉正在改变诸多行业。

12. 总结

以上就是你在2024年成为计算机视觉工程师的综合指南。我们讨论了计算机视觉工程的发展历程，你需要掌握的技能，比如深度学习图像处理。计算机视觉可以在不同的行业开辟大量的机会。无论是彻底改变医疗保健、改变汽车安全，还是重塑零售体验，计算机视觉工程师的角色都非常重要。当然，我们同时深入探讨了薪酬等级，并介绍了行业目前显示稳步上升的趋势。

2024年是追逐你的理想并成为一名专业计算机视觉工程师的一年。下期再见。

—
原文链接：https://news.nweon.com/116301