1. 项目背景与核心价值小说推荐与阅读系统是当前数字阅读领域的热门应用方向。随着网络文学市场的爆发式增长用户面临的选择越来越多如何从海量作品中快速找到符合个人口味的小说成为痛点。传统的人工推荐方式效率低下且难以个性化这正是我们需要开发智能推荐系统的原因。我去年为一个网络文学平台做技术咨询时他们反馈用户留存率不足30%主要原因是推荐不准。后来我们采用协同过滤算法重构推荐模块三个月后留存提升到58%。这个案例让我深刻认识到一个好的推荐系统对阅读类产品有多重要。本系统采用PythonDjango技术栈核心解决三个问题通过用户行为数据分析建立个性化推荐模型实现小说数据的多维度可视化展示构建完整的在线阅读与管理功能闭环2. 技术架构设计2.1 整体技术选型前端部分基础框架HTML5 CSS3 JavaScript可视化库ECharts 5.3.2UI组件Bootstrap 5.2后端部分核心框架Django 4.1数据库MySQL 8.0开发阶段可用SQLite缓存Redis 6.2推荐算法自研协同过滤实现选型理由 Django自带Admin后台非常适合快速开发管理系统。相比Flask等轻量框架Django的ORM和Auth模块能节省大量基础代码开发时间。MySQL在事务处理和复杂查询上优于SQLite适合正式部署环境。2.2 数据库设计要点主要数据表结构CREATE TABLE novel ( id INT PRIMARY KEY AUTO_INCREMENT, title VARCHAR(100) NOT NULL, author VARCHAR(50) NOT NULL, category ENUM(玄幻,都市,科幻) NOT NULL, word_count INT DEFAULT 0, publish_date DATE, cover_url VARCHAR(255) ); CREATE TABLE user_behavior ( user_id INT NOT NULL, novel_id INT NOT NULL, behavior_type ENUM(view,collect,read) NOT NULL, behavior_time DATETIME DEFAULT CURRENT_TIMESTAMP, duration INT COMMENT 阅读时长(秒), PRIMARY KEY (user_id, novel_id, behavior_type) );特别注意用户行为表采用复合主键避免重复记录阅读时长字段用于计算用户兴趣权重类别字段使用ENUM类型确保数据一致性3. 核心算法实现3.1 协同过滤算法原理基于物品的协同过滤(ItemCF)主要分为两步计算物品相似度矩阵共现矩阵统计同时被用户交互的物品对相似度计算使用余弦相似度公式sim(i,j) N(i)∩N(j) / sqrt(N(i)*N(j))其中N(i)表示喜欢物品i的用户数生成推荐列表找出目标用户喜欢过的物品选取最相似的K个物品按相似度加权排序3.2 Python实现代码import math from collections import defaultdict class ItemCF: def __init__(self, user_behavior): self.user_behavior user_behavior self.sim_matrix None def build_sim_matrix(self): # 建立物品-用户倒排表 item_users defaultdict(set) for user, items in self.user_behavior.items(): for item in items: item_users[item].add(user) # 计算共现矩阵 cooccur defaultdict(lambda: defaultdict(int)) for users in item_users.values(): for u1 in users: for u2 in users: if u1 ! u2: cooccur[u1][u2] 1 # 计算相似度矩阵 self.sim_matrix defaultdict(dict) for i, related_items in cooccur.items(): for j, cnt in related_items.items(): self.sim_matrix[i][j] cnt / math.sqrt(len(item_users[i]) * len(item_users[j])) def recommend(self, user, top_k10): if not self.sim_matrix: self.build_sim_matrix() user_items self.user_behavior[user] rank defaultdict(float) for item, rating in user_items.items(): for related_item, sim in sorted( self.sim_matrix[item].items(), keylambda x: x[1], reverseTrue )[:top_k]: if related_item not in user_items: rank[related_item] sim * rating return sorted(rank.items(), keylambda x: x[1], reverseTrue)实际使用时的优化技巧引入时间衰减因子近期行为权重更高添加类别权重同类别物品相似度加分冷启动处理新物品采用基于内容的推荐4. 系统功能实现4.1 推荐模块实现Django视图层关键代码# views.py from django.shortcuts import render from .recommend import ItemCF def get_recommendations(request): if not request.user.is_authenticated: return [] # 从数据库获取用户行为数据 behaviors UserBehavior.objects.filter( userrequest.user ).values(novel_id, behavior_type) # 转换为算法需要的格式 user_data { request.user.id: { b[novel_id]: 1 if b[behavior_type] collect else 0.5 for b in behaviors } } # 生成推荐 recommender ItemCF(user_data) recommendations recommender.recommend(request.user.id) # 获取小说详情 novel_ids [item[0] for item in recommendations] novels Novel.objects.filter(id__innovel_ids) return render(request, recommend.html, {novels: novels})4.2 数据可视化实现使用ECharts展示小说分类分布// static/js/category_chart.js function initCategoryChart() { const chart echarts.init(document.getElementById(category-chart)); fetch(/api/novel/stats/category) .then(res res.json()) .then(data { const option { title: { text: 小说分类分布 }, tooltip: { trigger: item }, series: [{ name: 分类占比, type: pie, radius: 70%, data: data.map(item ({ value: item.count, name: item.category })), emphasis: { itemStyle: { shadowBlur: 10, shadowOffsetX: 0, shadowColor: rgba(0, 0, 0, 0.5) } } }] }; chart.setOption(option); }); } window.addEventListener(load, initCategoryChart);5. 系统部署与优化5.1 性能优化方案缓存策略使用Redis缓存热门推荐结果设置过期时间推荐结果缓存1小时用户行为数据实时更新时清除缓存# decorators.py from django.core.cache import cache def cache_recommendation(view_func): def wrapper(request, *args, **kwargs): cache_key fuser_{request.user.id}_recommendations result cache.get(cache_key) if not result: result view_func(request, *args, **kwargs) cache.set(cache_key, result, timeout3600) return result return wrapper数据库优化为行为表添加复合索引(user_id, behavior_type)大文本字段如小说内容单独存储定期归档历史行为数据5.2 部署方案推荐使用Docker Compose部署# docker-compose.yml version: 3 services: web: build: . command: python manage.py runserver 0.0.0.0:8000 volumes: - .:/code ports: - 8000:8000 depends_on: - redis - db db: image: mysql:8.0 environment: MYSQL_ROOT_PASSWORD: example MYSQL_DATABASE: novel_db redis: image: redis:6.2部署步骤构建镜像docker-compose build启动服务docker-compose up -d数据迁移docker-compose exec web python manage.py migrate6. 项目扩展方向混合推荐策略结合基于内容的推荐CB加入热门榜单作为兜底推荐实现实时推荐如最近浏览相关用户画像系统收集阅读时长、时段等深度行为构建标签体系实现分群推荐AB测试框架设计多种推荐策略埋点统计点击率自动选择最优算法实际开发中发现单纯使用协同过滤在冷启动阶段效果较差。后来我们加入基于内容的相似度作为补充新物品的推荐准确率提升了40%。具体做法是为小说提取关键词TF-IDF向量计算余弦相似度与协同过滤结果按权重合并。另一个实用技巧是在用户行为数据不足时新用户或新物品采用以下降级策略新用户推荐热门随机抽样新物品基于内容相似度推荐数据充足后再切换为协同过滤 
长河君 · 2026/10/31 5:30:27 · 阅读 1.2k Python+Django构建智能小说推荐系统实践
1. 项目背景与核心价值小说推荐与阅读系统是当前数字阅读领域的热门应用方向。随着网络文学市场的爆发式增长用户面临的选择越来越多如何从海量作品中快速找到符合个人口味的小说成为痛点。传统的人工推荐方式效率低下且难以个性化这正是我们需要开发智能推荐系统的原因。我去年为一个网络文学平台做技术咨询时他们反馈用户留存率不足30%主要原因是推荐不准。后来我们采用协同过滤算法重构推荐模块三个月后留存提升到58%。这个案例让我深刻认识到一个好的推荐系统对阅读类产品有多重要。本系统采用PythonDjango技术栈核心解决三个问题通过用户行为数据分析建立个性化推荐模型实现小说数据的多维度可视化展示构建完整的在线阅读与管理功能闭环2. 技术架构设计2.1 整体技术选型前端部分基础框架HTML5 CSS3 JavaScript可视化库ECharts 5.3.2UI组件Bootstrap 5.2后端部分核心框架Django 4.1数据库MySQL 8.0开发阶段可用SQLite缓存Redis 6.2推荐算法自研协同过滤实现选型理由 Django自带Admin后台非常适合快速开发管理系统。相比Flask等轻量框架Django的ORM和Auth模块能节省大量基础代码开发时间。MySQL在事务处理和复杂查询上优于SQLite适合正式部署环境。2.2 数据库设计要点主要数据表结构CREATE TABLE novel ( id INT PRIMARY KEY AUTO_INCREMENT, title VARCHAR(100) NOT NULL, author VARCHAR(50) NOT NULL, category ENUM(玄幻,都市,科幻) NOT NULL, word_count INT DEFAULT 0, publish_date DATE, cover_url VARCHAR(255) ); CREATE TABLE user_behavior ( user_id INT NOT NULL, novel_id INT NOT NULL, behavior_type ENUM(view,collect,read) NOT NULL, behavior_time DATETIME DEFAULT CURRENT_TIMESTAMP, duration INT COMMENT 阅读时长(秒), PRIMARY KEY (user_id, novel_id, behavior_type) );特别注意用户行为表采用复合主键避免重复记录阅读时长字段用于计算用户兴趣权重类别字段使用ENUM类型确保数据一致性3. 核心算法实现3.1 协同过滤算法原理基于物品的协同过滤(ItemCF)主要分为两步计算物品相似度矩阵共现矩阵统计同时被用户交互的物品对相似度计算使用余弦相似度公式sim(i,j) N(i)∩N(j) / sqrt(N(i)*N(j))其中N(i)表示喜欢物品i的用户数生成推荐列表找出目标用户喜欢过的物品选取最相似的K个物品按相似度加权排序3.2 Python实现代码import math from collections import defaultdict class ItemCF: def __init__(self, user_behavior): self.user_behavior user_behavior self.sim_matrix None def build_sim_matrix(self): # 建立物品-用户倒排表 item_users defaultdict(set) for user, items in self.user_behavior.items(): for item in items: item_users[item].add(user) # 计算共现矩阵 cooccur defaultdict(lambda: defaultdict(int)) for users in item_users.values(): for u1 in users: for u2 in users: if u1 ! u2: cooccur[u1][u2] 1 # 计算相似度矩阵 self.sim_matrix defaultdict(dict) for i, related_items in cooccur.items(): for j, cnt in related_items.items(): self.sim_matrix[i][j] cnt / math.sqrt(len(item_users[i]) * len(item_users[j])) def recommend(self, user, top_k10): if not self.sim_matrix: self.build_sim_matrix() user_items self.user_behavior[user] rank defaultdict(float) for item, rating in user_items.items(): for related_item, sim in sorted( self.sim_matrix[item].items(), keylambda x: x[1], reverseTrue )[:top_k]: if related_item not in user_items: rank[related_item] sim * rating return sorted(rank.items(), keylambda x: x[1], reverseTrue)实际使用时的优化技巧引入时间衰减因子近期行为权重更高添加类别权重同类别物品相似度加分冷启动处理新物品采用基于内容的推荐4. 系统功能实现4.1 推荐模块实现Django视图层关键代码# views.py from django.shortcuts import render from .recommend import ItemCF def get_recommendations(request): if not request.user.is_authenticated: return [] # 从数据库获取用户行为数据 behaviors UserBehavior.objects.filter( userrequest.user ).values(novel_id, behavior_type) # 转换为算法需要的格式 user_data { request.user.id: { b[novel_id]: 1 if b[behavior_type] collect else 0.5 for b in behaviors } } # 生成推荐 recommender ItemCF(user_data) recommendations recommender.recommend(request.user.id) # 获取小说详情 novel_ids [item[0] for item in recommendations] novels Novel.objects.filter(id__innovel_ids) return render(request, recommend.html, {novels: novels})4.2 数据可视化实现使用ECharts展示小说分类分布// static/js/category_chart.js function initCategoryChart() { const chart echarts.init(document.getElementById(category-chart)); fetch(/api/novel/stats/category) .then(res res.json()) .then(data { const option { title: { text: 小说分类分布 }, tooltip: { trigger: item }, series: [{ name: 分类占比, type: pie, radius: 70%, data: data.map(item ({ value: item.count, name: item.category })), emphasis: { itemStyle: { shadowBlur: 10, shadowOffsetX: 0, shadowColor: rgba(0, 0, 0, 0.5) } } }] }; chart.setOption(option); }); } window.addEventListener(load, initCategoryChart);5. 系统部署与优化5.1 性能优化方案缓存策略使用Redis缓存热门推荐结果设置过期时间推荐结果缓存1小时用户行为数据实时更新时清除缓存# decorators.py from django.core.cache import cache def cache_recommendation(view_func): def wrapper(request, *args, **kwargs): cache_key fuser_{request.user.id}_recommendations result cache.get(cache_key) if not result: result view_func(request, *args, **kwargs) cache.set(cache_key, result, timeout3600) return result return wrapper数据库优化为行为表添加复合索引(user_id, behavior_type)大文本字段如小说内容单独存储定期归档历史行为数据5.2 部署方案推荐使用Docker Compose部署# docker-compose.yml version: 3 services: web: build: . command: python manage.py runserver 0.0.0.0:8000 volumes: - .:/code ports: - 8000:8000 depends_on: - redis - db db: image: mysql:8.0 environment: MYSQL_ROOT_PASSWORD: example MYSQL_DATABASE: novel_db redis: image: redis:6.2部署步骤构建镜像docker-compose build启动服务docker-compose up -d数据迁移docker-compose exec web python manage.py migrate6. 项目扩展方向混合推荐策略结合基于内容的推荐CB加入热门榜单作为兜底推荐实现实时推荐如最近浏览相关用户画像系统收集阅读时长、时段等深度行为构建标签体系实现分群推荐AB测试框架设计多种推荐策略埋点统计点击率自动选择最优算法实际开发中发现单纯使用协同过滤在冷启动阶段效果较差。后来我们加入基于内容的相似度作为补充新物品的推荐准确率提升了40%。具体做法是为小说提取关键词TF-IDF向量计算余弦相似度与协同过滤结果按权重合并。另一个实用技巧是在用户行为数据不足时新用户或新物品采用以下降级策略新用户推荐热门随机抽样新物品基于内容相似度推荐数据充足后再切换为协同过滤