littlebot
Published on 2025-04-03 / 0 Visits
0

【源码】基于NodeJS和MongoDB的手撕包菜网站

项目简介

这是一个重新构建的手撕包菜网站(SSBC),运用NodeJS和MongoDB技术搭建。该网站融合了爬虫技术与搜索引擎技术,是一个DHT(分布式哈希表)内容的搜索与分享平台。项目以开源形式呈现,旨在推动技术交流,让DHT与搜索引擎技术得到更广泛的应用。

项目的主要特性和功能

  1. 提供基于Sphinx搜索引擎的内容搜索服务,支持用户对DHT相关内容进行搜索与分享。
  2. 集成爬虫功能,通过爬虫收集特定内容,丰富网站的数据资源。
  3. 利用Nginx进行网站访问配置,确保网站服务的稳定性。

安装使用步骤

前提条件

用户已下载本项目的源码文件,且操作系统为CentOS7。

具体步骤

  1. 数据库安装与启动
    • 安装MongoDB:执行命令 yum install mongodb mongodb-server
    • 启动MongoDB:执行命令 service mongod start
  2. NodeJS及相关工具安装与环境配置
    • 安装NodeJS 16:执行命令 curl -sL https://rpm.nodesource.com/setup_16.x | bash -yum install nodejs
    • 安装pm2:执行命令 npm install -g pm2
    • 安装项目依赖:分别进入 spiderweb 目录,执行 npm install;在 web 目录还需执行 npm run build
  3. 启动服务
    • 启动爬虫:进入 spider 目录,执行 pm2 start ecosystem.config.js
    • 启动web服务:进入 web 目录,执行 pm2 start ecosystem.config.js
  4. Nginx配置
    • 安装Nginx:执行命令 yum install nginx
    • 启动Nginx:执行命令 service nginx start
    • 编辑配置文件:执行 vim /etc/nginx/conf.d/ssbc.conf,并加入以下配置: server { listen 80; server_name www.xxx.com; location / { proxy_pass http://localhost:3001; } }
  5. 搜索引擎配置
    • 安装SphinxSearch:执行命令 yum install http://sphinxsearch.com/files/sphinx-2.3.2-1.rhel7.x86_64.rpm
    • 创建目录:执行命令 mkdir -p /data/bt/index/db /data/bt/index/binlog
    • 初始化索引:进入 spider 目录,执行 indexer -c sphinx.conf hashsearchd -c sphinx.conf

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】