基于大数据技术的笔趣阁小说数据分析系统

基于大数据技术的笔趣阁小说数据分析系统

引用

CSDN

1.

https://blog.csdn.net/q_1262330535/article/details/144566333

本项目针对笔趣阁小说网站的丰富文本数据，采用基于Hadoop的数据处理和分析方法，对小说内容进行了深入的统计和分析。通过定制的爬虫程序收集数据，进而部署了一系列算法，包括词云算法、基础统计算法、关键词搜索算法和作者统计分析算法，旨在从多角度解读小说文本，挖掘作者风格和读者偏好。

一、项目介绍

开发语言：Python
python框架：Django
软件版本：python3.7/python3.8
数据库：mysql 5.7或更高版本
数据库工具：Navicat11
开发软件：PyCharm/vs code
前端框架:vue.js

二、功能介绍

管理员账户的基本信息管理。主要提供管理员账户的基本信息录入、删除、维护和查询等功能，包括：

• 管理员录入管理员账户基本信息；
• 管理员更新、增加及删除管理员账户基本信息；
• 用户根据管理员账户 ID 查询基本信息；
• 系统管理员更改个人密码；

留言的基本信息管理。主要提供留言的基本信息录入、修改和查询功能，包括：

• 用户录入留言基本信息；
• 管理员更新、增加及删除留言基本信息；
• 管理员更新、增加及删除评论基本信息；
• 管理员根据评论 ID 查询评论基本信息；

小说分类的基本信息管理。主要是提供小说分类的基本信息录入、维护和查询功能，包括：

• 用户录入小说分类基本信息；
• 用户更新、增加及删除小说分类基本信息；
• 用户根据小说分类 ID 查询小说分类基本信息；

系统总体结构图如图4-1所示。

三、核心代码

def users_login(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")
        if req_dict.get('role')!=None:
            del req_dict['role']
        datas = users.getbyparams(users, users, req_dict)
        if not datas:
            msg['code'] = password_error_code
            msg['msg'] = mes.password_error_code
            return JsonResponse(msg)
        req_dict['id'] = datas[0].get('id')
        return Auth.authenticate(Auth, users, req_dict)

def users_register(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")
        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)

def users_session(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}
        req_dict = {"id": request.session.get('params').get("id")}
        msg['data'] = users.getbyparams(users, users, req_dict)[0]
        return JsonResponse(msg)

def users_logout(request):
    if request.method in ["POST", "GET"]:
        msg = {
            "msg": "退出成功",
            "code": 0
        }
        return JsonResponse(msg)

def users_page(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code,
               "data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
        req_dict = request.session.get("req_dict")
        tablename = request.session.get("tablename")
        try:
            __hasMessage__ = users.__hasMessage__
        except:
            __hasMessage__ = None
        if __hasMessage__ and __hasMessage__ != "否":
            if tablename != "users":
                req_dict["userid"] = request.session.get("params").get("id")
        if tablename == "users":
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = users.page(users, users, req_dict)
        else:
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = [],1,0,0,10
        return JsonResponse(msg)

四、数据库参考

--
-- Current Database: `djangof81s1mwf`
--
/*!40000 DROP DATABASE IF EXISTS `djangof81s1mwf`*/;
CREATE DATABASE /*!32312 IF NOT EXISTS*/ `djangof81s1mwf` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;
USE `djangof81s1mwf`;
--
-- Table structure for table `85716149_dianzitushu`
--
DROP TABLE IF EXISTS `85716149_dianzitushu`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `85716149_dianzitushu` (
  `id` bigint(20) NOT NULL DEFAULT '0' COMMENT '主键',
  `addtime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `shuming` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '书名',
  `fengmian` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '封面',
  `fenlei` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '分类',
  `zhuangtai` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '状态',
  `zuozhe` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '作者',
  `zuihougengxin` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '最后更新',
  `tuijianyuedu` longtext CHARACTER SET utf8 COMMENT '推荐阅读',
  `jianjie` longtext CHARACTER SET utf8 COMMENT '简介',
  `detail` longtext CHARACTER SET utf8 COMMENT '章节'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
/*!40101 SET character_set_client = @saved_cs_client */;
--
-- Dumping data for table `85716149_dianzitushu`
--