数据源管理
已接入 6 个来源、共 740 条外部内容。所有导入都会记录来源与许可协议，可随时按来源追溯或删除。
| 数据源 | 许可协议 | 说明 | 状态 |
|---|---|---|---|
| 中文维基百科 zh.wikipedia.org |
CC BY-SA 4.0 | 约 140 万条目，需署名并以相同协议共享 | 可用 |
| 英文维基百科 en.wikipedia.org |
CC BY-SA 4.0 | 约 700 万条目，体量最大 | 可用 |
| 任意网址清单 | 归属原站，需自行确认 | 读取 robots.txt，禁止抓取的路径会自动跳过 | 可用 |
| 本地文件 | 自有内容 | Markdown / TXT / HTML / JSON / JSONL / CSV，支持目录递归 | 可用 |
| 国家法律法规数据库 flk.npc.gov.cn |
公开政府信息 | 法条检索场景，需先导出网址清单 | 需人工导出 |
| GitHub 开源文档 github.com |
随项目（MIT/Apache 等） | 克隆后按目录导入，保留 LICENSE 说明 | 需人工导出 |
| arXiv / PubMed 摘要 arxiv.org |
开放获取（部分受限） | 学术问答场景，注意单篇授权差异 | 需人工导出 |
当前已导入
| 来源 | 条数 |
|---|---|
| wikipedia:zh | 677 |
| Cloudflare 博客 | 20 |
| InfoQ 中文 | 20 |
| 少数派 | 10 |
| 美团技术团队 | 10 |
| 阮一峰的网络日志 | 3 |
怎么导入
# 维基百科（自动翻页，按哈希去重，可重复执行） kb ingest.js --source wikipedia --lang zh --limit 5000 --topic 公开百科 # 本地文件目录（支持 md/txt/html/json/jsonl/csv，递归子目录） kb ingest.js --source files --path /root/docs --topic 产品帮助 --kind help # 任意网址清单（自动读取 robots.txt，被禁止的路径会跳过） kb ingest.js --source urls --file /root/urls.txt --topic 网络资源 # 只预览不写库 kb ingest.js --source wikipedia --limit 20 --dry-run
导入是幂等的：同一篇内容重复导入会被哈希去重跳过，中断后重跑即可续传。