后端前端社交人工智能【免费下载链接】NewsBlurNewsBlur is a personal news reader that brings people together to talk about the world. A new sound of an old instrument.项目地址https://gitcode.com/gh_mirrors/ne/NewsBlur点击查看免费下载NewsBlur 于 2014 年推出的跨全部订阅与文件夹全文搜索Full Text Search Across All of Your Subscriptions and Folders是该项目历史上最受期待的功能之一它把此前只支持单 Feed 的简单搜索Simple Search升级为覆盖用户所有订阅源、全部文章正文的即时检索。本文以发布公告为骨架结合仓库中apps/search、apps/rss_feeds、apps/reader等模块的现行实现说明该功能的使用方式、索引构建流程、Elasticsearch 查询语义与前端交互细节帮助读者理解 NewsBlur 全文搜索的完整技术链路。一、功能背景从单 Feed 搜索到全文搜索在全文搜索上线之前NewsBlur 已有简单搜索Simple Search能力用户可以一次只搜索一个 Feed在 Feed 视图内对标题、正文等字段做关键词匹配。它对单源场景够用但对动辄订阅上百个站点的重度用户来说远远不够——想要在全部订阅里找到一条记忆模糊的文章必须逐个站点去试。全文搜索正是为了补齐这一缺口。它的核心承诺是打开任意文件夹Folder或单个站点Site在屏幕顶部即可搜索交互与旧简单搜索保持一致边输入边出结果即时搜索无需按回车等待自动覆盖文章标题、全文内容、作者与标签tags四个字段。也就是说搜索范围从单 Feed扩展到该用户订阅的所有 Feed 的聚合视图而命中字段也从标题扩展到正文全文这是它与简单搜索的本质区别。二、使用方式与行为细节1. 入口与交互用户不需要进入任何独立搜索页面入口就藏在熟悉的界面里在左侧导航打开一个文件夹聚合了多个订阅源或单个站点在屏幕顶部的搜索框输入关键词结果随输入实时刷新行为与旧简单搜索一致。2. 命中字段一次搜索同时匹配四个字段对应 Elasticsearch 索引中的四个字段详见下文字段说明title文章标题content文章正文全文author文章作者tags文章标签3. 已隐藏已读文章的处理因为搜索的目标是文章而不是未读队列所以已被隐藏已读的文章同样会出现在结果中只是带有红色未读标记red unread mark用于提醒用户这是一条已读记录。4. 首次搜索的索引过程全文搜索依赖预构建的索引因此用户第一次执行搜索时系统会自动为其所有订阅 Feed 建立索引这是一次性流程通常耗时几分钟取决于订阅数量与文章量索引期间界面会显示进度条progress bar完成后自动更新消失索引状态持久化此后搜索即走增量路径不再需要全量重建除非订阅发生变化触发补充索引。三、源码级剖析全文搜索如何实现1. 索引存储Elasticsearch 与 SearchStory全文搜索的索引层由 apps/search/models.py 中的SearchStory类承担。它通过settings.ELASTICSEARCH_STORY_HOST默认http://db-elasticsearch.service.nyc1.consul:9200见 newsblur_web/settings.py连接 Elasticsearch索引名为stories-index。create_elasticsearch_mapping()定义的映射直接对应上文四个搜索字段mapping { title: {store: False, type: text, analyzer: snowball, term_vector: yes}, content: {store: False, type: text, analyzer: snowball, term_vector: yes}, tags: {store: False, type: text, fields: {raw: {type: text, analyzer: keyword, term_vector: yes}}}, author: {store: False, type: text, analyzer: default}, feed_id: {store: False, type: integer}, date: {store: False, type: date}, }要点title、content使用snowball 词干分析器保证英文词形变化如 run/running能互相命中tags同时保留raw子字段keyword 分词支持精确标签匹配_source被禁用enabled: False索引只做检索、不做存储文章详情仍从 Mongo 读取每个文档的_id即story_hash写入时用ignore409处理并发重复写入。SearchStory.index()是写入入口将标题、正文、标签逗号拼接、作者、feed_id、日期组装为文档后调用 EScreate。2. 查询语义query 与 _sanitize_querySearchStory.query(feed_ids, query, order, offset, limit, stripFalse)是全文搜索的核心查询方法其 Elasticsearch 请求体结构为body { query: { bool: { must: [ {query_string: {query: query, default_operator: AND}}, {terms: {feed_id: feed_ids[:2000]}}, ] } }, sort: [{date: {order: desc if order newest else asc}}], from: offset, size: limit, }关键语义default_operator: AND多个关键词默认做 AND 匹配保证结果更精确避免搜news blur时返回只含其中一个词的噪声结果terms: feed_id把检索范围限制在当前打开文件夹/站点对应的 Feed 集合内即在你订阅的站点里搜这是全文搜索与全局搜索global_query的分野sort按date排序newest/oldest双向feed_ids[:2000]单次查询最多限定 2000 个 Feed防止请求体过大。_sanitize_query()是一个值得注意的防御性实现Elasticsearch 的query_string要求引号成对若用户输入奇数个引号如hello world会把最后一个引号转义为\避免整个查询因解析错误而失败quote_count query.count() if quote_count % 2 ! 0: last_quote_idx query.rfind() query query[:last_quote_idx] \\ query[last_quote_idx 1:]配套实现还有query_tag()按精确标签检索使用tags.raw的 term/wildcard 组合确保标签AI不会误命中标签AIGCglobal_query()不限定 feed_id 的全站范围检索用于 Trending/Popularity 场景见 apps/rss_feeds/models.py 的query_popularitymore_like_this()以某篇文章为种子做相似内容推荐被 apps/search/views.py 的more_like_this接口调用。3. 用户索引状态机MUserSearch每个用户的索引进度由 Mongo 集合user_search中的MUserSearch文档跟踪apps/search/models.pyuser_id mongo.IntField(uniqueTrue) last_search_date mongo.DateTimeField() subscriptions_indexed mongo.BooleanField(defaultFalse) subscriptions_indexing mongo.BooleanField(defaultFalse) subscriptions_indexing_date mongo.DateTimeField(nullTrue, blankTrue)touch_search_date()是状态机核心若从未索引且当前不在索引中立即调度IndexSubscriptionsForSearch置subscriptions_indexingTrue若索引中断超过1 天one_day 60 * 60 * 24则重新调度保证中断任务能被自动恢复每次搜索都会刷新last_search_date。4. 首次索引的编排Celery chord 与进度条索引调度通过 apps/search/tasks.py 的 Celery 任务链完成全部走search_indexer队列IndexSubscriptionsForSearch └─ index_subscriptions_for_search() ├─ 按每 6 个 Feed 一组切分chunks(feed_ids, 6) ├─ IndexSubscriptionsChunkForSearch × N并行 └─ celery.chord(...)(FinishIndexSubscriptionsForSearch) // 全部完成后回调对应 apps/search/models.py 的实现切分后每个 chunk 任务调用Feed.index_stories_for_search()见 apps/rss_feeds/models.py它遍历该 Feed 在 Mongo 中的全部MStory逐个执行story.index_story_for_search()写入 ES最后把feed.search_indexed置为True并落库每处理完一个 chunk通过 Redis Pub/Sub 发布search_index_complete:feeds:id列表全部完成后由 chord 回调发布search_index_complete:done并把subscriptions_indexedTrue前端 media/js/newsblur/views/feed_search_view.js 监听这些事件渲染NB-search-indexing-banner用进度条填充NB-search-indexing-progress-fill实时展示Indexing your feeds for search进度media/js/newsblur/reader/reader.js 的search_index_complete:分支负责解析消息并调用update_indexing_progress。值得注意的是chunk 任务对异常做了兜底apps/search/tasks.pyIndexSubscriptionsChunkForSearch捕获所有异常并记录日志确保 chord 回调必定触发——否则一旦某个 chunk 失败subscriptions_indexing会永远停留在True用户将一直卡在正在索引状态。5. 前端调用链从输入到结果以已读文章搜索load_read_stories见 apps/reader/views.py为例完整链路为用户输入关键词触发请求携带query、order、offset、limit校验user.profile.is_premium——全文搜索是 Premium 订阅功能非付费用户会收到必须订阅 Premium 才能搜索的提示调用MUserSearch.get_user(user.pk).touch_search_date()触发/确认索引状态若未指定具体 feed_id则取该用户全部UserSubscription的 feed_id 作为搜索范围调用Feed.find_feed_stories(...)apps/rss_feeds/models.py内部执行SearchStory.query()拿到story_hash列表再回 Mongo 取MStory文档、经format_stories格式化输出。这条链路完美印证了发布公告中的设计搜索的范围由用户当前打开的文件夹/站点或全部订阅决定而匹配则由 Elasticsearch 的 query_string 跨 title/content/author/tags 完成。6. 索引进展后的增量维护用户完成首次全量索引后新订阅的 Feed 走增量路径MUserSearch.schedule_index_feeds_for_search(feed_ids, user_id)会检查subscriptions_indexed状态已索引用户的新 Feed 直接调度IndexFeedsForSearchapps/search/models.py无需重新全量扫描Feed模型上的search_indexed字段apps/rss_feeds/models.py用于幂等跳过已索引的 Feed。四、测试验证与质量保障仓库为全文搜索提供了针对性的测试覆盖查询语义与边界情况见 apps/search/tests.py短语匹配quick brown fox与乱序fox brown quick、brown fox quick都能命中验证 query_string 的短语语义混合查询quick brown fox短语 单词正常返回多短语quick brown lazy dog同时命中两个短语非法输入防御奇数引号fox brown不会引发解析错误对应_sanitize_querystrip 模式stripTrue时剥离非字母数字字符保留引号后再查询空查询被安全处理而非报错。这些测试用例可直接验证即使输入残缺或非常规的查询串搜索服务也不会崩溃这正是线上即时搜索边输入边出结果能保持流畅的底线保障。五、总结NewsBlur 的全文搜索2014 年发布公告见 blog/_posts/tumblr/2014-04-29-full-text-search-across-all-of-your-subscriptions-and.md在架构上可以概括为三层协作交互层沿用简单搜索的顶部搜索框 即时结果把范围从单 Feed 扩展为文件夹/全部订阅已读文章以红色未读标记呈现首次搜索以进度条提示一次性全量索引索引层SearchStory基于 Elasticsearch 建立stories-index对 title/content/tags/author 四个字段做 snowball 分词索引MUserSearch以 Mongo 文档 1 天超时重试机制管理每个用户的索引状态机编排层Celery 的search_indexer队列 chord 将全部订阅按 6 个 Feed 一组并行索引通过 Redis Pub/Sub 实时回传进度chunk 异常兜底保证回调必达。对于希望在自己项目中复刻跨订阅全文搜索的开发者NewsBlur 的这一实现提供了完整的可参考范式索引与存储分离ES 检索 Mongo 取详情、用户级索引状态机、增量补索引、以及查询层的输入防御AND 语义、引号转义、字段白名单每一环都值得借鉴。赞分享后端前端社交人工智能【免费下载链接】NewsBlurNewsBlur is a personal news reader that brings people together to talk about the world. A new sound of an old instrument.项目地址https://gitcode.com/gh_mirrors/ne/NewsBlur点击查看免费下载相关推荐ArchiveBox 搜索命令深度解析从 archivebox search 到全文检索后端ArchiveBox 搜索命令深度解析从 archivebox search 到全文检索后端 archivebox search 是 ArchiveBox 中后端数据工程Keystone 6 实战用 Prisma Full-Text Search 为 PostgreSQL 打造全文搜索 GraphQL 查询Keystone 6 实战用 Prisma Full Text Search 为 PostgreSQL 打造全文搜索 GraphQL 查询 导读 本文基于 K后端Quasar-Preview部署实战从本地测试到生产环境的完整部署流程Quasar Preview部署实战从本地测试到生产环境的完整部署流程 Quasar Preview是SILX AI推出的首个公共基础模型作为Quasar系上一篇ChineseChess-AlphaZero终极指南从零构建象棋AI的完整教程下一篇让收件箱自动整理Proton WebClients的Sieve邮件过滤引擎实战教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/9/29 2:48:44 · 阅读 1.2k NewsBlur 全站全文搜索（Full Text Search）实现解析：从单 Feed 简单搜索到跨订阅/文件夹的即时全文检索
后端前端社交人工智能【免费下载链接】NewsBlurNewsBlur is a personal news reader that brings people together to talk about the world. A new sound of an old instrument.项目地址https://gitcode.com/gh_mirrors/ne/NewsBlur点击查看免费下载NewsBlur 于 2014 年推出的跨全部订阅与文件夹全文搜索Full Text Search Across All of Your Subscriptions and Folders是该项目历史上最受期待的功能之一它把此前只支持单 Feed 的简单搜索Simple Search升级为覆盖用户所有订阅源、全部文章正文的即时检索。本文以发布公告为骨架结合仓库中apps/search、apps/rss_feeds、apps/reader等模块的现行实现说明该功能的使用方式、索引构建流程、Elasticsearch 查询语义与前端交互细节帮助读者理解 NewsBlur 全文搜索的完整技术链路。一、功能背景从单 Feed 搜索到全文搜索在全文搜索上线之前NewsBlur 已有简单搜索Simple Search能力用户可以一次只搜索一个 Feed在 Feed 视图内对标题、正文等字段做关键词匹配。它对单源场景够用但对动辄订阅上百个站点的重度用户来说远远不够——想要在全部订阅里找到一条记忆模糊的文章必须逐个站点去试。全文搜索正是为了补齐这一缺口。它的核心承诺是打开任意文件夹Folder或单个站点Site在屏幕顶部即可搜索交互与旧简单搜索保持一致边输入边出结果即时搜索无需按回车等待自动覆盖文章标题、全文内容、作者与标签tags四个字段。也就是说搜索范围从单 Feed扩展到该用户订阅的所有 Feed 的聚合视图而命中字段也从标题扩展到正文全文这是它与简单搜索的本质区别。二、使用方式与行为细节1. 入口与交互用户不需要进入任何独立搜索页面入口就藏在熟悉的界面里在左侧导航打开一个文件夹聚合了多个订阅源或单个站点在屏幕顶部的搜索框输入关键词结果随输入实时刷新行为与旧简单搜索一致。2. 命中字段一次搜索同时匹配四个字段对应 Elasticsearch 索引中的四个字段详见下文字段说明title文章标题content文章正文全文author文章作者tags文章标签3. 已隐藏已读文章的处理因为搜索的目标是文章而不是未读队列所以已被隐藏已读的文章同样会出现在结果中只是带有红色未读标记red unread mark用于提醒用户这是一条已读记录。4. 首次搜索的索引过程全文搜索依赖预构建的索引因此用户第一次执行搜索时系统会自动为其所有订阅 Feed 建立索引这是一次性流程通常耗时几分钟取决于订阅数量与文章量索引期间界面会显示进度条progress bar完成后自动更新消失索引状态持久化此后搜索即走增量路径不再需要全量重建除非订阅发生变化触发补充索引。三、源码级剖析全文搜索如何实现1. 索引存储Elasticsearch 与 SearchStory全文搜索的索引层由 apps/search/models.py 中的SearchStory类承担。它通过settings.ELASTICSEARCH_STORY_HOST默认http://db-elasticsearch.service.nyc1.consul:9200见 newsblur_web/settings.py连接 Elasticsearch索引名为stories-index。create_elasticsearch_mapping()定义的映射直接对应上文四个搜索字段mapping { title: {store: False, type: text, analyzer: snowball, term_vector: yes}, content: {store: False, type: text, analyzer: snowball, term_vector: yes}, tags: {store: False, type: text, fields: {raw: {type: text, analyzer: keyword, term_vector: yes}}}, author: {store: False, type: text, analyzer: default}, feed_id: {store: False, type: integer}, date: {store: False, type: date}, }要点title、content使用snowball 词干分析器保证英文词形变化如 run/running能互相命中tags同时保留raw子字段keyword 分词支持精确标签匹配_source被禁用enabled: False索引只做检索、不做存储文章详情仍从 Mongo 读取每个文档的_id即story_hash写入时用ignore409处理并发重复写入。SearchStory.index()是写入入口将标题、正文、标签逗号拼接、作者、feed_id、日期组装为文档后调用 EScreate。2. 查询语义query 与 _sanitize_querySearchStory.query(feed_ids, query, order, offset, limit, stripFalse)是全文搜索的核心查询方法其 Elasticsearch 请求体结构为body { query: { bool: { must: [ {query_string: {query: query, default_operator: AND}}, {terms: {feed_id: feed_ids[:2000]}}, ] } }, sort: [{date: {order: desc if order newest else asc}}], from: offset, size: limit, }关键语义default_operator: AND多个关键词默认做 AND 匹配保证结果更精确避免搜news blur时返回只含其中一个词的噪声结果terms: feed_id把检索范围限制在当前打开文件夹/站点对应的 Feed 集合内即在你订阅的站点里搜这是全文搜索与全局搜索global_query的分野sort按date排序newest/oldest双向feed_ids[:2000]单次查询最多限定 2000 个 Feed防止请求体过大。_sanitize_query()是一个值得注意的防御性实现Elasticsearch 的query_string要求引号成对若用户输入奇数个引号如hello world会把最后一个引号转义为\避免整个查询因解析错误而失败quote_count query.count() if quote_count % 2 ! 0: last_quote_idx query.rfind() query query[:last_quote_idx] \\ query[last_quote_idx 1:]配套实现还有query_tag()按精确标签检索使用tags.raw的 term/wildcard 组合确保标签AI不会误命中标签AIGCglobal_query()不限定 feed_id 的全站范围检索用于 Trending/Popularity 场景见 apps/rss_feeds/models.py 的query_popularitymore_like_this()以某篇文章为种子做相似内容推荐被 apps/search/views.py 的more_like_this接口调用。3. 用户索引状态机MUserSearch每个用户的索引进度由 Mongo 集合user_search中的MUserSearch文档跟踪apps/search/models.pyuser_id mongo.IntField(uniqueTrue) last_search_date mongo.DateTimeField() subscriptions_indexed mongo.BooleanField(defaultFalse) subscriptions_indexing mongo.BooleanField(defaultFalse) subscriptions_indexing_date mongo.DateTimeField(nullTrue, blankTrue)touch_search_date()是状态机核心若从未索引且当前不在索引中立即调度IndexSubscriptionsForSearch置subscriptions_indexingTrue若索引中断超过1 天one_day 60 * 60 * 24则重新调度保证中断任务能被自动恢复每次搜索都会刷新last_search_date。4. 首次索引的编排Celery chord 与进度条索引调度通过 apps/search/tasks.py 的 Celery 任务链完成全部走search_indexer队列IndexSubscriptionsForSearch └─ index_subscriptions_for_search() ├─ 按每 6 个 Feed 一组切分chunks(feed_ids, 6) ├─ IndexSubscriptionsChunkForSearch × N并行 └─ celery.chord(...)(FinishIndexSubscriptionsForSearch) // 全部完成后回调对应 apps/search/models.py 的实现切分后每个 chunk 任务调用Feed.index_stories_for_search()见 apps/rss_feeds/models.py它遍历该 Feed 在 Mongo 中的全部MStory逐个执行story.index_story_for_search()写入 ES最后把feed.search_indexed置为True并落库每处理完一个 chunk通过 Redis Pub/Sub 发布search_index_complete:feeds:id列表全部完成后由 chord 回调发布search_index_complete:done并把subscriptions_indexedTrue前端 media/js/newsblur/views/feed_search_view.js 监听这些事件渲染NB-search-indexing-banner用进度条填充NB-search-indexing-progress-fill实时展示Indexing your feeds for search进度media/js/newsblur/reader/reader.js 的search_index_complete:分支负责解析消息并调用update_indexing_progress。值得注意的是chunk 任务对异常做了兜底apps/search/tasks.pyIndexSubscriptionsChunkForSearch捕获所有异常并记录日志确保 chord 回调必定触发——否则一旦某个 chunk 失败subscriptions_indexing会永远停留在True用户将一直卡在正在索引状态。5. 前端调用链从输入到结果以已读文章搜索load_read_stories见 apps/reader/views.py为例完整链路为用户输入关键词触发请求携带query、order、offset、limit校验user.profile.is_premium——全文搜索是 Premium 订阅功能非付费用户会收到必须订阅 Premium 才能搜索的提示调用MUserSearch.get_user(user.pk).touch_search_date()触发/确认索引状态若未指定具体 feed_id则取该用户全部UserSubscription的 feed_id 作为搜索范围调用Feed.find_feed_stories(...)apps/rss_feeds/models.py内部执行SearchStory.query()拿到story_hash列表再回 Mongo 取MStory文档、经format_stories格式化输出。这条链路完美印证了发布公告中的设计搜索的范围由用户当前打开的文件夹/站点或全部订阅决定而匹配则由 Elasticsearch 的 query_string 跨 title/content/author/tags 完成。6. 索引进展后的增量维护用户完成首次全量索引后新订阅的 Feed 走增量路径MUserSearch.schedule_index_feeds_for_search(feed_ids, user_id)会检查subscriptions_indexed状态已索引用户的新 Feed 直接调度IndexFeedsForSearchapps/search/models.py无需重新全量扫描Feed模型上的search_indexed字段apps/rss_feeds/models.py用于幂等跳过已索引的 Feed。四、测试验证与质量保障仓库为全文搜索提供了针对性的测试覆盖查询语义与边界情况见 apps/search/tests.py短语匹配quick brown fox与乱序fox brown quick、brown fox quick都能命中验证 query_string 的短语语义混合查询quick brown fox短语 单词正常返回多短语quick brown lazy dog同时命中两个短语非法输入防御奇数引号fox brown不会引发解析错误对应_sanitize_querystrip 模式stripTrue时剥离非字母数字字符保留引号后再查询空查询被安全处理而非报错。这些测试用例可直接验证即使输入残缺或非常规的查询串搜索服务也不会崩溃这正是线上即时搜索边输入边出结果能保持流畅的底线保障。五、总结NewsBlur 的全文搜索2014 年发布公告见 blog/_posts/tumblr/2014-04-29-full-text-search-across-all-of-your-subscriptions-and.md在架构上可以概括为三层协作交互层沿用简单搜索的顶部搜索框 即时结果把范围从单 Feed 扩展为文件夹/全部订阅已读文章以红色未读标记呈现首次搜索以进度条提示一次性全量索引索引层SearchStory基于 Elasticsearch 建立stories-index对 title/content/tags/author 四个字段做 snowball 分词索引MUserSearch以 Mongo 文档 1 天超时重试机制管理每个用户的索引状态机编排层Celery 的search_indexer队列 chord 将全部订阅按 6 个 Feed 一组并行索引通过 Redis Pub/Sub 实时回传进度chunk 异常兜底保证回调必达。对于希望在自己项目中复刻跨订阅全文搜索的开发者NewsBlur 的这一实现提供了完整的可参考范式索引与存储分离ES 检索 Mongo 取详情、用户级索引状态机、增量补索引、以及查询层的输入防御AND 语义、引号转义、字段白名单每一环都值得借鉴。赞分享后端前端社交人工智能【免费下载链接】NewsBlurNewsBlur is a personal news reader that brings people together to talk about the world. A new sound of an old instrument.项目地址https://gitcode.com/gh_mirrors/ne/NewsBlur点击查看免费下载相关推荐ArchiveBox 搜索命令深度解析从 archivebox search 到全文检索后端ArchiveBox 搜索命令深度解析从 archivebox search 到全文检索后端 archivebox search 是 ArchiveBox 中后端数据工程Keystone 6 实战用 Prisma Full-Text Search 为 PostgreSQL 打造全文搜索 GraphQL 查询Keystone 6 实战用 Prisma Full Text Search 为 PostgreSQL 打造全文搜索 GraphQL 查询 导读 本文基于 K后端Quasar-Preview部署实战从本地测试到生产环境的完整部署流程Quasar Preview部署实战从本地测试到生产环境的完整部署流程 Quasar Preview是SILX AI推出的首个公共基础模型作为Quasar系上一篇ChineseChess-AlphaZero终极指南从零构建象棋AI的完整教程下一篇让收件箱自动整理Proton WebClients的Sieve邮件过滤引擎实战教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考