项目简介
本项目是结合手势控制和语音识别功能的AI教学辅助系统,借助先进的手势识别与语音识别技术,提升教育过程中的互动性与效率。用户能通过手势和语音命令便捷控制和学习内容,系统还集成笔记记录、任务管理和资源搜索等丰富教育辅助功能。
项目的主要特性和功能
- 手势控制功能:运用MediaPipe库进行实时手部关键点检测,支持点击、拖动、滑动等多种手势操作;通过PyAutoGUI库实现跨平台鼠标和键盘控制,用户可通过手势操作软件应用。
- 语音识别功能:集成FasterWhisper和Whisper库进行高效语音识别,支持实时语音转文字;支持课堂字幕功能,用户能通过语音指令与系统交互,实现语音控制教学辅助系统。
- 多模态交互:结合手势识别和语音识别技术,提供无缝切换的交互体验;用户可根据个人喜好和任务需求,自由选择手势或语音命令操作系统。
- 教育辅助功能:内置笔记记录、任务管理、资源搜索等多种教育相关功能;支持与教学平台无缝集成,方便用户访问丰富教育资源和内容。
安装使用步骤
1. 复制仓库并进入项目目录
bash
cd AI-TeachAssist
2. 创建并激活虚拟环境
bash
python -m venv venv
source venv/bin/activate
3. 安装PyTorch
根据官方文档安装适合的PyTorch版本:
bash
pip3 install torch torchvision torchaudio
4. 安装项目依赖
bash
pip install -r requirements.txt
5. 下载语音识别模型
bash
git lfs install
git clone https://huggingface.co/Systran/faster-whisper-small
6. 启动系统
bash
python ui.py
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】