Shiyin Dong

自动化聚合 · 每日

AI 行业日报

每天自动抓一遍 AI 圈，精炼成能直接读的卡片。

打开 Demo 代码仓库
9+
数据来源
LLM
评分排序
独立网站 + API
两种访问方式

概览

AI 圈的信息密度太高，光是 GitHub Trending、HuggingFace Papers、arXiv、TechCrunch、Hacker News、36 氪这几个地方轮一遍就要不少时间，而其中真正值得看的可能只有几条。这条流水线做的就是这件事：每天固定跑一次，从 30 多个来源抓回来，评分、过滤、精炼，最后排成卡片；点开卡片能看详情，点标题直达原文。

产出刻意做了两份：结构化的 JSON 给程序读，HTML 卡片给人读。前端页面按需请求接口，所以网站本身仍然是纯静态的，不需要在浏览器里做任何抓取。

用到的技术

Python 抓取
并发地从 30 多个来源取数据：OpenAI、DeepMind 等官方博客和 TechCrunch、The Verge 等媒体走 RSS（feedparser），GitHub、HuggingFace、arXiv、HN 走各自的 API 或页面解析，抓回来统一成带原文链接、来源层级和发布时间的同一种结构。
LLM 评分与精炼
英文来源先翻成中文，过滤噪音和与 AI 无关的内容。每条新闻由 LLM 按 0-100 分评分，按注意力价值排序，Top 6 组成「今日热门」板块。无 API key 时回退到关键词启发式评分。
FastAPI
同时提供 JSON 接口和服务端渲染的独立网站（Jinja2）。
结构化产出
同一份内容同时落成 JSON 和 HTML：JSON 便于以后接别的用途（推送、检索），HTML 卡片则可以直接看。

流水线

  1. 01

    数据采集

    从 30+ 个来源并发抓取 AI 资讯，RSS 信源分官方（T1）和媒体（T2）两层。

  2. 02

    过滤精炼

    去掉噪音内容，提取结构化信息，生成 JSON + Markdown。

  3. 03

    LLM 评分

    每条新闻按注意力价值打 0-100 分，排序后提取今日热门。

  4. 04

    发布

    FastAPI 提供 JSON API 和独立网站；卡片可放大看详情、跳转原文。

代码地图

  • ai_news_aggregator.py多来源采集。
  • produce_news.py过滤、精炼与评分。
  • llm_score.pyLLM 评分模块（OpenAI 兼容 API + 关键词回退）。
  • server.pyFastAPI API + 独立网站（Jinja2 SSR）。

部署方式

访问路径
/news/（nginx 反向代理到独立服务）
说明
作品集站只负责跳转，日报站点由服务自己渲染。