项目简介
这是一个重新构建的手撕包菜网站(SSBC),运用NodeJS和MongoDB技术搭建。该网站融合了爬虫技术与搜索引擎技术,是一个DHT(分布式哈希表)内容的搜索与分享平台。项目以开源形式呈现,旨在推动技术交流,让DHT与搜索引擎技术得到更广泛的应用。
项目的主要特性和功能
- 提供基于Sphinx搜索引擎的内容搜索服务,支持用户对DHT相关内容进行搜索与分享。
- 集成爬虫功能,通过爬虫收集特定内容,丰富网站的数据资源。
- 利用Nginx进行网站访问配置,确保网站服务的稳定性。
安装使用步骤
前提条件
用户已下载本项目的源码文件,且操作系统为CentOS7。
具体步骤
- 数据库安装与启动
- 安装MongoDB:执行命令
yum install mongodb mongodb-server
。 - 启动MongoDB:执行命令
service mongod start
。
- 安装MongoDB:执行命令
- NodeJS及相关工具安装与环境配置
- 安装NodeJS 16:执行命令
curl -sL https://rpm.nodesource.com/setup_16.x | bash -
和yum install nodejs
。 - 安装pm2:执行命令
npm install -g pm2
。 - 安装项目依赖:分别进入
spider
和web
目录,执行npm install
;在web
目录还需执行npm run build
。
- 安装NodeJS 16:执行命令
- 启动服务
- 启动爬虫:进入
spider
目录,执行pm2 start ecosystem.config.js
。 - 启动web服务:进入
web
目录,执行pm2 start ecosystem.config.js
。
- 启动爬虫:进入
- Nginx配置
- 安装Nginx:执行命令
yum install nginx
。 - 启动Nginx:执行命令
service nginx start
。 - 编辑配置文件:执行
vim /etc/nginx/conf.d/ssbc.conf
,并加入以下配置:server { listen 80; server_name www.xxx.com; location / { proxy_pass http://localhost:3001; } }
- 安装Nginx:执行命令
- 搜索引擎配置
- 安装SphinxSearch:执行命令
yum install http://sphinxsearch.com/files/sphinx-2.3.2-1.rhel7.x86_64.rpm
。 - 创建目录:执行命令
mkdir -p /data/bt/index/db /data/bt/index/binlog
。 - 初始化索引:进入
spider
目录,执行indexer -c sphinx.conf hash
和searchd -c sphinx.conf
。
- 安装SphinxSearch:执行命令
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】