知识大地 Terra Cognita · 人类知识与技术底图

一张会生长的知识地图：看清知识如何长成技术，技术如何反哺知识。

当前版次：v0.9（已交付） —— 23035 节点 / 92902 边 / 17 个学科域（含开放图谱导入层 21k ConceptNet 概念），十倍生成器建成：ConceptNet 5.7 全量导入 + 校准报告 67%。性能优化：按域分组斥力(17× 更少对)、Topic 静态排除(模拟只跑 1700 节点)、边合批(93k stroke→15)、视口裁剪、脏标记、两层加载(核心 2MB 秒开 + 扩展 15MB 懒合并)、FPS 计数器。打开 F12 Console 看 FPS。全部 6 个维基分片（1.6GB，CC BY-SA）已下载并本地提取完毕：wiki_extract.py 用 Aho-Corasick 扫描约 140 万篇文章（只扫到一半的匹配名称），累计提取 3600 个概念节点 + 5000 条真实文本共现边，全部 C 级标注 CC BY-SA 溯源，curate.py 可逐条复核或剔除。

• 设计蓝图：知识技术底图-十倍扩展设计.md

打开方式

本地开发：

npm install
npm run dev
# 浏览器打开 http://localhost:3000/

线上版：仓库导入 Vercel 后自动部署（见下方「技术栈与部署」），推送即更新。

旧静态站（双击 index.html）已随 Next.js 迁移移除；如需纯静态预览，npm run build 生成 out/ 后任意静态服务器可托管。

技术栈与部署

• Next.js 15（App Router）+ TypeScript strict，next build 静态导出到 out/（零服务端运行时，纯静态托管）
• 部署：Vercel 导入本仓库即自动识别——Framework: Next.js、Root: 仓库根目录，零配置；推送即部署
• 数据文件：由 python scripts/export.py 从 atlas.db 导出到 public/data/（core.json / ext.json / manifest.js / meta.json），随仓库提交，部署时一并上线
• 模拟在 Web Worker（public/sim-worker.js）中运行，主线程回退兜底

工程结构

app/            Next.js App Router 页面(全部视图)
components/     React 组件(AtlasMap 星图主组件等)
lib/            图状态单例/纯函数/模拟协议/主题
public/data/    前端数据(export.py 导出: core/ext/manifest/meta)
scripts/        数据管线(build-api.mjs, build_db.py, ingest.py, export.py, serve.py …)
data/           种子与语料(seed.js, bulk/, corpus/)

16 个学科域

形式科学 · 物理学 · 化学 · 地球与气候科学 · 工程与技术 · 计算机科学与技术 · 生物技术 · 医学与健康 · 农业与食品 · 社会科学 · 人文学科 · 艺术与设计 · 法律与治理 · 经济与商业 · 教育与传播 · 实践技艺与生活

• 深度层：物理学、计算机、生物技术三域打穿到概念/公式/证据链粒度
• 骨架层：其余 13 域各有真实子领域结构 + 标志性节点（火的使用、文字、轴心时代、科举、汉谟拉比法典、工业革命、哈伯固氮、板块构造、都江堰、集成电路……）
• 跨域奠基链（SQLite 实测可查）：火的使用→冶铜→冶铁→工业革命→蒸汽机→热力学→统计力学→蒙特卡洛→蛋白质折叠→AlphaFold→Transformer→ChatGPT（12 跳横跨 40 万年）；最长的单条时间边"轮子(前3500)→铁路(1825)"
• 多文明：中国、印度、阿拉伯、希腊化、两河、罗马、波利尼西亚、日本各有传统标注

开放数据源

数据集	下载地址	许可	用途
ConceptNet 5.7	https://hf-mirror.com/datasets/conceptnet5/conceptnet5/resolve/main/conceptnet5/train-*.parquet	CC BY-SA 4.0	48 万中文断言 → 21k 概念节点 / 84k 类型边
Wikimedia Wikipedia 中文	https://hf-mirror.com/datasets/wikimedia/wikipedia/resolve/main/20231101.zh/train-*.parquet	CC BY-SA 3.0	23 万篇文章 → 摘要/年份补全 + 1200 条真实共现边 + 600 新概念
OpenAlex（规划中）	https://openalex.org · 2.5 亿论文	CC0	引用网络→奠基边
Wikidata（规划中）	https://dumps.wikimedia.org/wikidatawiki/entities · 1 亿实体	CC0	类型体系→骨架

维基百科 / Wikidata 原始站点在本网络不可达，通过 hf-mirror.com（HuggingFace 国内镜像）下载 parquet 分片后本地处理。 ConceptNet 原始下载（S3）：https://s3.amazonaws.com/conceptnet/downloads/5.7.0/conceptnet-assertions-5.7.0.csv.gz（350MB gz） 使用任何数据时保留证据溯源字段，即可满足 CC BY-SA 的署名要求。

数据管线（v0.3 架构）

data/seed.js(种子策展层,B级) ──node scripts/build-api.mjs──> api/*.json ──python scripts/build_db.py──┐
                                                                                                      ▼
data/bulk/*.tsv(批量骨架层,C级) ────python scripts/ingest.py────────────────────────────────────> atlas.db (SQLite, 规范存储)
data/corpus/batch*.tsv(LLM抽取,C级) ──python scripts/extract.py──────────────────────────────────↗
data/corpus/dump/zh-*.parquet(维基CC BY-SA) ──python scripts/wiki_extract.py(Aho-Corasick扫23万篇)──↗
                                                                                                      │
public/data/{core.json,ext.json}(前端全量层) <──python scripts/export.py─────────────────────────────┘
        ↓ 网站优先加载

• 三层信任模型：种子层 B（人工校订）→ 批量层 C（data/bulk/*.tsv，conf 0.7）→ 抽取层 C（data/corpus/*.tsv LLM 语料经 scripts/extract.py 规范化：按名去重、年份提取、共现自动连边，conf 0.6）
• 策展队列：python scripts/curate.py stats|pending|promote|promote-domain|reject —— 把 C 逐条/批量复核为 B（已演示复核 52 条），复核后 scripts/export.py 同步全站
• 策展工作台（v0.7 新增）：python scripts/serve.py 启动本地服务后，访问 #/curate —— 网页界面批量复核节点（通过/剔除）、依据维基原文证据句判读共现边（奠基/使能/应用/解释/启发/保留/删除），写回 SQLite 后一键重新导出。概念卡的"关联"边下方会直接显示原文共现引文。需先 npm run build 生成 out/（策展服务托管静态导出产物）；线上版 #/curate 无后端，会显示本地模式提示
• 构建一体化（v0.7 新增）：python scripts/make_all.py 一条命令编排全部管线（含每步断言与终检），--fresh 全重建
• 共现边语义升级（v0.6 新增）：data/corpus/pending_semantic.tsv（待判读对导出）→ 人工/LLM 判读 data/corpus/semantic.tsv（升级为带方向类型边 或 判噪声删除）→ python scripts/semantic.py 应用 → scripts/export.py 同步。首轮：560 对判读，88 条升级（半导体→使能集成电路/微处理器/智能手机/激光器…），295 条同域垃圾边清理
• 维基开放数据本地管线（v0.5 新增）：scripts/wiki_extract.py —— 下载→本地解析→三类提取（既有节点年份补全 / 文本共现边按计数取优 / 高关联新概念），全部 C 级标注溯源"维基语料本地提取 (CC BY-SA)"；可用 scripts/curate.py reject 剔除质量差的列表页混入项
• 扩数据只需：往 data/corpus/ 加批次或再下载一个 parquet 分片 → python scripts/wiki_extract.py data/corpus/dump/zh-part4.parquet → python scripts/export.py
• SQLite schema：nodes/edges/evidence/story_steps/domains/meta + 域/类型/年代/边端点索引；scripts/ingest.py 幂等可重跑、建库时自动完整性校验
• 改数据后的重跑顺序：node scripts/build-api.mjs → python scripts/build_db.py → python scripts/ingest.py → python scripts/export.py → npm run validate

SQLite 查询 CLI

python scripts/db.py stats                      # 版次/域分布/类型分布
python scripts/db.py node 熵                    # 概念卡: 定义/证据/邻居
python scripts/db.py path 火的使用 ChatGPT      # 跨域最短奠基路径(实测12跳)
python scripts/db.py domain 医学与健康          # 域概况: 子领域+里程碑
python scripts/db.py search 印刷                # 模糊检索
python scripts/db.py query "SELECT ..."        # 只读 SQL

六大视图

视图	回答的问题	亮点
星图 #/atlas	全景长什么样？	16 域成簇+大陆光斑+域名常显；提取层(主题)作为背景纹理降权绘制；边按缩放分级 LOD；脏标记渲染(空闲零 CPU)
河流 #/flow	知识怎么长成技术？	五级成熟度管道桑基图
前沿 #/frontier	哪里在生长/卡住/漏接？	v2：四张榜单（活跃/瓶颈传导影响面/类型化待连接/生长大陆）+ 星图热力层
时间轴 #/timeline	每个时代发生了什么？	画布密度视图：淡蓝直方图=各域节点分布（可承载任意规模），彩色点=已策展节点（贪心防重叠标签），点击密度块展开该时段完整清单，点彩点直接开概念卡
图志 #/about	方法论是什么？	八条生长机制、成熟度管道、证据分级制度
开放 API #/api	AI Agent 怎么用？	静态 JSON 端点(graph.json 一次拉取) + SQLite 查询层

全局能力：非线性年代尺（前8000→2026）、▷ 重放生长、搜索、概念卡（含 A/B/C 证据分级与置信度）、化石节点、三条故事导览、深链接 #/node/<id> 与 #/domain/<id>。

已验证（浏览器 + 数据库实测）

• 497 节点全量加载（public/data/core.json 优先层）与 16 域渲染
• 批量层概念卡诚实标注（都江堰：C 级证据·置信度 70%·归属正确）
• 跨域路径 火的使用→…→ChatGPT 12 跳、晶体管→mRNA疫苗 9 跳
• 前沿三榜单/热力层/时间轴远古层/故事导览回归通过
• npm run validate（导出产物）+ scripts/build_db.py/scripts/ingest.py 完整性检查全部通过

覆盖度现状（诚实标尺）

层级	现状	下一版次
宏观域	16/16 ✓	—
子领域	77 Field	LLM 管线补齐各部门法/工程分支/艺术门类
概念	5174（LLM抽取+批量+维基三层）	更多语料批次 / en-wiki / 语义判读迭代
证据层	540 条标注	接 OpenAlex/专利引证
隐性知识	本征受限，仅作标注	永远是地图的边界

路线图（见设计文档 §11）

• Phase 1 续：LLM 提取管线直接入 SQLite；策展队列（把 C 复核成 B）；从 DB 导出图瓦片
• Phase 2：待连接层叠加星图；预测登记簿；骨架域逐个打穿
• Phase 3：社区策展；多语种；AI Agent 消费端