本周焦点:万亿参数开源与自研推理芯片同时爆发;本地与端侧推理继续轻量化;自托管实验新增私人图床方案。
本周焦点
7 月的 AI 主线非常明确:规模神话开始退烧,落地芯片与开源权重同时井喷。从 OpenAI+Broadcom 的自研推理芯片,到美团开源的国产卡训练万亿参数模型 LongCat-2.0,再到 Meta 的 Muse Image/Video 直接进社交产品——真正的拐点已经到来:模型不再是唯一答案,部署成本、推理效率、生态绑定才是新战场。
对自托管玩家而言,这意味着图床、向量库、本地助手这些老项目突然都有了更优解。如果你还在「哪个模型更强」的争论里,已经慢了半拍;现在该问的是:我能不能在自己机器上把它跑起来、接进去、用起来?
AI & 大模型
- OpenAI + Broadcom 推出推理芯片 Jalapeño:从设计到流片只用 9 个月,同时签下 10 GW 算力大单。分析师认为,NVIDIA 的市场份额可能从 ~86% 降至 ~75%,自研 ASIC 正在吃掉训练/推理市场。
- 美团开源 LongCat-2.0:1.6 万亿参数 MoE,平均激活约 480 亿,首个在五万卡国产算力集群上完成全流程训练的万亿模型。SWE-bench Pro 59.5、Terminal-Bench 2.1 70.8,与 Claude Opus 4.6 / GPT-5.5 正面竞争。
- 微软放弃单模型 API 售卖:Azure OpenAI 将不再单独按模型计费,而是深度捆绑进 Dynamics 365 等产品。“卖 API”的商业模式正式进入黄昏。
- Meta 推出 Muse Image & Muse Video:文生图 / 视频模型直接接入 Instagram、WhatsApp,社交+AI 融合的新阶段开始了。
- 周鸿祎称 2026 为「智能体元年」:百亿级硅基智能体将重构互联网基础设施;麦肯锡预测到 2030 年智能体驱动 3~5 万亿美元交易规模。Agent 从概念变成产品形态。
开源瞭望
- sglang / SGLang:LongCat-2.0 的推理代码开源就是这个仓库,GPU 版已提交 PR,继续领跑国产卡推理适配。
- ollama:本地跑模型的门槛继续降低,现在已经成为 notebook、NAS、树莓派上最常用的入口。
- chroma / weaviate:轻量向量数据库持续演进,RAG 的最小依赖正在从“能存向量”变成“能排好序”。
- minio + nginx:私有图床/对象存储的事实标准组合,本期自托管实验室继续用它。
- AnythingLLM:桌面版本地知识库 + 对话,支持 Ollama / OpenAI / Anthropic 多后端,对不想折腾代码的用户最友好。
- Dify:低代码 AI 应用编排平台,工作流、RAG、Agent 模板齐全,适合快速把模型包装成可用产品。
自托管实验室
本周把图床搬回自家 NAS,并做了两项加固:
# nginx 图床反代 + 限速
location /img/ {
proxy_pass http://127.0.0.1:9000/;
client_max_body_size 20m;
limit_rate 2m;
}
# minio 防盗链(只允许本站域名)
location /img/ {
valid_referers none blocked server_names *.你的域名.com;
if ($invalid_referer) { return 403; }
proxy_pass http://127.0.0.1:9000/;
}
另外把 Ollama 和 Open WebUI 也搬到了 NAS 上,形成最小可用本地 AI 栈:
# NAS/Docker 一键栈示例
docker run -d -v ollama:/root/.ollama -p 11434:11434 ollama/ollama
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway ghcr.io/open-webui/open-webui:main
核心原则:能被自己托管的,就别交给 SaaS;能放在国内的资源,就别绕一圈出国。
效率工具箱
- LM-Studio:本地模型管理与聊天一体,Windows/Mac/Linux 全支持,换模型像换主题一样快。
- ComfyUI:本期用它批量出封面图,节点复用真香。工作流一旦存好,生成图就是点一下的事。
- netcheck / mtr:排查 HomeLab 网络必备。
mtr比traceroute更直观,看哪一跳丢包一眼定位。 - vitepress / astro:周报站点从 Hexo 切到 Astro,构建速度快得离谱,静态产物直接丢 CDN。
- Warp / tldr:现代终端 + 命令速查,减少查文档次数。
- Raycast / Alfred:启动器不只是打开文件;配合脚本片段,能一键触发常用流程。
极客冷知识
世界上第一个“computer bug”真的是飞蛾。1947 年,Grace Hopper 团队把一只卡在 Harvard Mark II 继电器里的飞蛾贴进日志,旁边写着:“First actual case of bug being found.”
本周金句:Premature optimization is the root of all evil. —— Donald Knuth