【源码】基于Node.js和iOS的智能眼镜系统

项目简介

SmartGlasses 是一个集成了智能眼镜、iOS应用、Node.js后端服务器和人工智能语音识别的综合项目。借助ESP - 32 CAM和BLE通信，智能眼镜可实现图像捕捉与音频识别。iOS应用负责与智能眼镜及后端服务器通信，具备语音识别、图像标签识别和文本转语音功能。后端服务器采用Node.js搭建，处理来自iOS应用的请求，并通过DialogFlow进行意图识别与响应。

项目的主要特性和功能

1. 智能眼镜功能：通过ESP - 32 CAM和BLE通信完成图像捕捉和音频识别。
2. iOS应用：提供用户界面，连接智能眼镜，接收图像和音频数据，经HTTPS与后端服务器通信。
3. 后端服务器：使用Node.js搭建，处理图像和音频数据，借助DialogFlow进行意图识别，将响应结果返回给iOS应用。
4. 语音识别与响应：利用苹果的Speech框架和Google的ML Kit实现图像标签识别和语音转文字功能。
5. 意图处理：支持turn_light_on、turn_light_off和take_picture三种意图处理，分别控制ESP - 32 CAM的灯光开关和拍照功能。

安装使用步骤

服务器部分

1. 进入server/目录，安装必要的npm包： sh $ npm install
2. 下载Google Cloud凭证（JSON文件）： sh $ gcloud iam service - accounts keys create service - account.json --iam - account=<YOUR IAM ACCOUNT>
3. 运行服务器： sh $ npm start
4. （可选）启动ngrok本地隧道服务，获取HTTPS URL： sh $ ngrok http 3000

iOS应用部分

1. 进入SmartGlasses/目录，安装必要的库： sh $ pod install
2. 在Xcode中打开项目工作区SmartGlasses/SmartGlasses.xcworkspace。
3. 修改Transcriber.swift文件中的baseURL为你的服务器URL。
4. 连接iOS设备，点击Xcode中的Run按钮运行应用。

ESP - 32 CAM部分

1. 设置Arduino开发环境，参考相关指导。
2. 上传Device/目录中的固件到ESP - 32 CAM开发板。

Arduino部分

1. 上传record_audio.ino固件到Arduino开发板。
2. 连接Arduino的RX/TX引脚到ESP - 32 CAM的TX/RX引脚。

使用步骤

1. 确保Arduino和ESP - 32 CAM已开启。
2. 打开iOS应用，点击连接按钮，设备应与应用配对成功。
3. 点击设备上的按钮激活智能助手，开始使用语音控制和图像识别功能。

注意事项

• 确保所有依赖项已正确安装和配置。
• 在使用语音识别功能时，确保iOS设备已授权应用使用麦克风。
• 在连接智能眼镜时，确保设备的蓝牙已开启并处于可被发现的状态。
• 如果遇到网络问题，请检查服务器和iOS设备的网络连接状态。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】