【源码】基于Python的AltCLIPXLMRLm18图文搜索模型研究项目

项目简介

本项目围绕AltCLIP-XLMR-L-m18模型展开，目标是为搭建分享stable diffusion模型和图片的网站实现图片搜索与推荐功能。该模型可对图片和文本进行向量化处理，支持18种语言搜索，具备图文对齐和跨语言理解能力。项目在实施过程中解决了模型下载、版本依赖等问题，还将模型转换为ONNX格式以提升推理速度。

项目的主要特性和功能

1. 多语言图文向量化：能对图片和文本进行向量化，支持包括英语、中文、日语等在内的18种语言，满足多国语言搜索需求。
2. 零样本分类测试：可对指定目录下的图片进行中文和英文提示词的分类测试。
3. 性能测试：在苹果笔记本和服务器CPU上进行推理耗时测试，评估模型性能。
4. ONNX转换提速：将AltCLIP-XLMR-L-m18模型转换为ONNX格式，减少部署依赖，提升服务器CPU推理速度。
5. 向量输出：提供脚本分别输出文本向量和图片向量。

安装使用步骤

1. 环境准备

确保已安装Python 3.11.3，运行以下命令安装必要依赖： bash direnv allow direnv exec . pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cpu direnv exec . pip install -r requirements.txt

2. 解决FlagAI版本问题

运行以下脚本从代码仓库安装最新版FlagAI： bash ./wrap/setup.sh

3. 下载模型

运行down.py脚本下载模型： bash python down.py

4. 零样本分类测试

对./jpg目录下的图片进行中文和英文提示词的分类测试，可查看测试结果。

5. 性能测试

运行相关脚本，对模型在不同设备上进行推理耗时测试。

6. 转换为ONNX格式

运行onnx_export.py脚本将模型转换为ONNX格式： bash python onnx_export.py

7. 输出向量

• 运行onnx_txt.py脚本输出文本向量： bash python onnx_txt.py
• 运行onnx_img.py脚本输出图片向量： bash python onnx_img.py

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】