基于大数据技术的笔趣阁小说数据分析系统
基于大数据技术的笔趣阁小说数据分析系统
本项目针对笔趣阁小说网站的丰富文本数据，采用基于Hadoop的数据处理和分析方法，对小说内容进行了深入的统计和分析。通过定制的爬虫程序收集数据，进而部署了一系列算法，包括词云算法、基础统计算法、关键词搜索算法和作者统计分析算法，旨在从多角度解读小说文本，挖掘作者风格和读者偏好。
前言
本项目针对笔趣阁小说网站的丰富文本数据，采用基于Hadoop的数据处理和分析方法，对小说内容进行了深入的统计和分析。通过定制的爬虫程序收集数据，进而部署了一系列算法，包括词云算法、基础统计算法、关键词搜索算法和作者统计分析算法，旨在从多角度解读小说文本，挖掘作者风格和读者偏好。
词云算法揭示了小说文本中的高频词汇，帮助快速识别作品主题和风格；基础统计算法提供了对小说规模和结构的量化了解；关键词搜索算法对特定词汇的分布进行了定位和分析；而作者统计分析算法对作者的创作活动进行了量化评估。这些算法的综合应用在Hadoop平台上处理大规模文本数据，有效地展示了数据分析在文学创作和出版行业中的实用性和高效性。
项目的结论强调了大数据技术在文学分析领域的潜力，为出版商、作者和市场分析师提供了宝贵的数据支持。同时，项目也展现了Hadoop在处理和分析大规模数据集方面的卓越能力，为数据驱动决策提供了强有力的工具。未来，此类分析框架可广泛应用于其他文本数据分析领域，从而推动知识发现和创新进步。
详细视频演示
文章底部名片，联系我看更详细的演示视频
一、项目介绍
开发语言：Python
python框架：Django
软件版本：python3.7/python3.8
数据库：mysql 5.7或更高版本
数据库工具：Navicat11
开发软件：PyCharm/vs code
前端框架:vue.js
二、功能介绍
管理员账户的基本信息管理。主要提供管理员账户的基本信息录入、删除、维护和查询等功能，包括：
管理员录入管理员账户基本信息；
管理员更新、增加及删除管理员账户基本信息；
用户根据管理员账户 ID 查询基本信息；
系统管理员更改个人密码；
留言的基本信息管理。主要提供留言的基本信息录入、修改和查询功能，包括：
用户录入留言基本信息；
管理员更新、增加及删除留言基本信息；
管理员更新、增加及删除评论基本信息；
管理员根据评论 ID 查询评论基本信息；
小说分类的基本信息管理。主要是提供小说分类的基本信息录入、维护和查询功能，包括：
用户录入小说分类基本信息；
用户更新、增加及删除小说分类基本信息；
用户根据小说分类 ID 查询小说分类基本信息；
系统总体结构图如图4-1所示。
三、核心代码
部分代码：
def users_login(request):
if request.method in ["POST", "GET"]:
msg = {'code': normal_code, "msg": mes.normal_code}
req_dict = request.session.get("req_dict")
if req_dict.get('role')!=None:
del req_dict['role']
datas = users.getbyparams(users, users, req_dict)
if not datas:
msg['code'] = password_error_code
msg['msg'] = mes.password_error_code
return JsonResponse(msg)
req_dict['id'] = datas[0].get('id')
return Auth.authenticate(Auth, users, req_dict)
def users_register(request):
if request.method in ["POST", "GET"]:
msg = {'code': normal_code, "msg": mes.normal_code}
req_dict = request.session.get("req_dict")
error = users.createbyreq(users, users, req_dict)
if error != None:
msg['code'] = crud_error_code
msg['msg'] = error
return JsonResponse(msg)
def users_session(request):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}
req_dict = {"id": request.session.get('params').get("id")}
msg['data'] = users.getbyparams(users, users, req_dict)[0]
return JsonResponse(msg)
def users_logout(request):
if request.method in ["POST", "GET"]:
msg = {
"msg": "退出成功",
"code": 0
}
return JsonResponse(msg)
def users_page(request):
'''
'''
if request.method in ["POST", "GET"]:
msg = {"code": normal_code, "msg": mes.normal_code,
"data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
req_dict = request.session.get("req_dict")
tablename = request.session.get("tablename")
try:
__hasMessage__ = users.__hasMessage__
except:
__hasMessage__ = None
if __hasMessage__ and __hasMessage__ != "否":
if tablename != "users":
req_dict["userid"] = request.session.get("params").get("id")
if tablename == "users":
msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
msg['data']['pageSize'] = users.page(users, users, req_dict)
else:
msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
msg['data']['pageSize'] = [],1,0,0,10
return JsonResponse(msg)
数据库参考
--
-- Current Database: `djangof81s1mwf`
--
/*!40000 DROP DATABASE IF EXISTS `djangof81s1mwf`*/;
CREATE DATABASE /*!32312 IF NOT EXISTS*/ `djangof81s1mwf` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;
USE `djangof81s1mwf`;
--
-- Table structure for table `85716149_dianzitushu`
--
DROP TABLE IF EXISTS `85716149_dianzitushu`;
/*!40101 SET @saved_cs_client = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `85716149_dianzitushu` (
`id` bigint(20) NOT NULL DEFAULT '0' COMMENT '主键',
`addtime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`shuming` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '书名',
`fengmian` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '封面',
`fenlei` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '分类',
`zhuangtai` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '状态',
`zuozhe` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '作者',
`zuihougengxin` varchar(200) CHARACTER SET utf8 DEFAULT NULL COMMENT '最后更新',
`tuijianyuedu` longtext CHARACTER SET utf8 COMMENT '推荐阅读',
`jianjie` longtext CHARACTER SET utf8 COMMENT '简介',
`detail` longtext CHARACTER SET utf8 COMMENT '章节'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
/*!40101 SET character_set_client = @saved_cs_client */;
--
-- Dumping data for table `85716149_dianzitushu`
--