一直以来，技术都有能力为人们的生活带来巨大改变，而对于视障人士来说，这种改变可能是革命性的。多年来，辅助应用程序的数量明显增加。除了深受欢迎的 Windows 电脑屏幕阅读器 JAWS 和帮助用户浏览手机和平板电脑的软件之外，还有一些音频描述应用程序，利用智能设备摄像头来阅读实物文件和识别周围环境中的物品。

制作者兼开发者 Md. Khairul Alam 试图创造一种廉价的可穿戴导航工具，解放用户的双手，并描述人们从自己眼睛的角度看到的东西。它以一副眼镜为基础，使用一个小型摄像头传感器收集视觉信息，然后发送到 Raspberry Pi 1 Model B 进行解读。用户可以听到关于所见事物的语音描述。

毋庸置疑，这个项目将对全世界数十万人产生积极影响。“全球约有 22 亿人没有视力，其中 90% 来自低收入国家。“有必要为有视觉障碍的人提供低成本的解决方案，让他们能够灵活地轻松导航，在进行研究后，我意识到边缘计算机视觉可以成为解决这一问题的潜在答案"。

尖端技术

边缘计算机视觉具有潜在的变革性。它从边缘设备（如摄像头）收集视觉数据，然后在本地进行处理，而不是发送到云端。由于信息是在靠近数据源的地方处理的，因此可以快速、实时地作出反应，减少延迟。当用户视力受损，需要快速感知环境时，这一点尤为重要。

连接相当简单：将 Xiao ESP32S3 Sense 模块插入树莓派（Raspberry Pi）。

在他的项目中，Khairul 选择使用 Xiao ESP32S3 Sense 模块，该模块除了一个摄像头传感器和一个数字麦克风外，还集成了 Xtensa EPS32-S3R8 SoC 处理器、8MB 闪存和一个 microSD 卡插槽。该模块被安装在一副眼镜的中央，并通过 USB-C 连接线与 Raspberry Pi 计算机相连，然后将一副耳机插入 Raspberry Pi 的音频输出端口。有了这些连接，Khairul 就可以专心研究项目的软件了。

可以想象，机器学习是这个项目不可或缺的一部分；它需要准确地检测和识别物体。Khairul 使用 Edge Impulse Studio 来训练他的物体检测模型。这个工具非常适合建立数据集，在这种情况下，需要从头开始创建一个数据集。“他告诉我们："当我开始做这个项目时，我没有找到任何现成的数据集用于这个特定用途。“丰富的数据集对于获得良好的精确度非常重要，因此我制作了一个简单的数据集用于实验目的"。

为了帮助测试这款设备，Khairul 一直在使用一款廉价的 USB-C 便携式扬声器

物体检测

Khairul 最初专注于六个物体，上传了 188 张图片来帮助识别椅子、桌子、床和脸盆。他能拍摄到的物体图像越多，准确度就越高，但这也带来了一些挑战。“他解释说："对于这类工作，我需要一个独特而丰富的数据集来获得良好的结果，这是最困难的工作。事实上，他仍在努力创建一个更大的数据集，这些工作需要大量时间；但在将模型上传到 Xiao ESP32S3 Sense 后，它已经开始产生一些积极的结果。

当检测到一个物体时，模块会返回该物体的名称和位置。“Khairul说："在检测和识别物体后，Raspberry Pi就会公布其名称--Raspberry Pi内置音频支持，而Python有许多文本到语音库。该项目使用了一个名为 “Festival ”的免费软件包，它是由英国语音技术研究中心编写的。它能将文本转换成语音，然后用户就能听到。

在实际应用中，我们需要一个更整洁的解决方案，包括一个防水盒。

为了方便起见，所有这些目前都由一个小型可充电锂离子电池供电，该电池由一根长线连接，可以放在用户的口袋里。“功耗是另一个重要的考虑因素，“卡伊鲁尔指出，”因为它是一个便携式设备，所以需要非常省电。由于 “第三只眼 ”是为佩戴而设计的，因此还需要有合适的感觉。“外形尺寸是一个相当重要的因素--项目应该尽可能紧凑，"Khairul 补充道。

展望未来

第三只眼 "仍处于概念验证阶段，改进措施已经确定。Khairul 知道，Xiao ESP32S3 Sense 最终将无法满足他对该项目的雄心壮志，因为它将在未来不断扩展，而且随着更大的机器学习模型被证明是必要的，Raspberry Pi 可能会承担更多的工作量。

“老实说，ESP32S3 Sense 模块的能力不足以应对大型模型。我只是将它用于小型模型的实验目的，Raspberry Pi 可以是一个很好的替代品，"他说。“我相信，为了获得更好的性能，我们可以使用 Raspberry Pi 进行推理和文本到语音的转换。我计划将来在 Raspberry Pi 计算机内完全实现该系统。”

其他潜在的未来调整也在不断增加。“我想加入一些控制按钮，这样用户就可以根据需要增大和减小音量，并将音频静音，"Khairul 透露。“深度摄像头还能为用户提供物体距离的重要信息。通过在 Hackster 上分享该项目，我们希望 Raspberry Pi 社区也能协助推进该项目。“他说："这样的项目潜力巨大。

原文地址： https://www.raspberrypi.com/news/third-eye-assistive-vision-the-magpi-149/