《人形机器人技术基础与应用》 课件 第7章-视觉感知技术.pptx

人形机器人视觉感知技术

***(姓名)***(学院)***@***.edu.cn

第7章人形机器人视觉感知技术《人形机器人技术基础与应用》

7.1概述目录7.2二维视觉感知7.3三维视觉感知7.4视觉感知应用

7.1概述人形机器人通过感知周围环境，以进行正确的导航、避障和交互等。视觉感知技术以高维度的方式感知环境；人形机器人结合了二维视觉感知技术和三维视觉感知技术，为其提供了全面的环境理解能力。二维视觉物体识别、文字识别、颜色和纹理分析等优势：成本低、处理速度快局限：缺乏深度信息，难以准确估计物体的距离和三维形状三维视觉深度感知、空间建模、姿态估计等优势：提供丰富的空间信息局限：成本较高，数据处理复杂，计算资源需求较大协同工作，互相补充，

7.2二维视觉感知7.2.1二维图像图像（image）是计算机视觉领域最常见的数据模态，常见的图像数据包括彩色图像、深度图像以及灰度图像。（a）彩色图像（b）深度图像（c）灰度图像图7-2计算机视觉领域常见数据模态

7.2二维视觉感知?HW?

7.2二维视觉感知??

7.2二维视觉感知??

7.2二维视觉感知7.2.2二维图像处理技术基础1.图像增强与预处理在深度学习中，数据增强和预处理可以帮助模型更好地泛化，并对抗数据集中的变动和噪声。图像增强（ImageAugmentation）通过对原始图像进行各种变换，生成新的训练样本，增加数据集的多样性。常见的图像增强方法包括：翻转（Flipping）、旋转（Rotation）、缩放（Scaling）、平移（Translation）、裁剪（Cropping）、颜色变换（ColorJittering）以及向图像中添加高斯噪声或者椒盐噪声。

7.2二维视觉感知图像预处理（ImagePreprocessing）使图像适合于模型的输入要求，并提高模型的训练效果。常见的图像预处理方法包括尺寸调整（Resizing）、归一化（Normalization）等。【PyTorch】2.3transforms图像增强(一)_randomhorizontalflip-CSDN博客

7.2二维视觉感知7.2.2二维图像处理技术基础2.图像特征提取神经网络是理解和处理图像数据的核心工具，用于对输入图像进行分析并提取关键特征。图7-3图像特征提取流程

7.2二维视觉感知卷积神经网络卷积层（ConvolutionalLayer）：卷积操作使用一组称为滤波器（或卷积核）的权重矩阵在图像上滑动，生成特征图。激活函数（ActivationFunction）：常用的激活函数是ReLU（RectifiedLinearUnit），它将卷积层的线性输出转换为非线性，使得网络能够拟合复杂的函数。池化层（PoolingLayer）：通过下采样操作减少特征图的尺寸。常见的操作有最大池化（MaxPooling）和平均池化（AveragePooling）。全连接层（FullyConnectedLayer）：通常应用于网络的最后几层，特征图被展平并连接到全连接层，用于生成最终的输出。

7.2二维视觉感知卷积神经网络?

7.2二维视觉感知3.常见二维视觉任务图像分类（ImageClassification）是将输入图像分配到预定义的类别中。常见的图像分类数据集包括CIFAR-10、ImageNet。CIFAR-10

7.2二维视觉感知目标检测（ObjectDetection）需要识别图像中的物体类别，还需要确定物体在图像中的位置。COCO数据集是最常见的用于目标检测任务的数据集。

7.2二维视觉感知图像分割（ImageSegmentation）将图像中的每个像素分配到一个类别。图像分割可以分为语义分割（SemanticSegmentation）和实例分割（InstanceSegmentation）。前者将每个像素标注为一个类别，但不区分同类物体的不同实例，后者不仅标注每个像素的类别，还区分同类物体的不同实例。SemanticSegmentationInstanceSegmentation

7.2二维视觉感知图像生成（ImageGeneration）旨在从噪声或其它输入中生成新的图像。常见的方法包括生成对抗网络（GAN）和变分自编码器（VAE）。深度学习：基于DCGAN生成手写数字图像-知乎

7.2二维视觉感知关键点检测（KeypointDetection）是识别图像中物体的特定关键点。常见的应用包括人脸识别中的面部关键点检测和人体姿态估计。图7-4人体关键点检测与图像生成实例

7.2二维视觉感知7