极客周报 #004

本周焦点

这一周最让人兴奋的事，不是又出了多大的模型，而是 「在自己的机器上跑一个会调用工具、会反思的 Agent」 第一次变得毫无门槛。

Ollama + Open WebUI 的组合已经稳定到「装完即用」，再接一个函数调用层，本地就拥有了一个隐私完全自持的 AI 助手。数据不出门，才是极客的浪漫。

AI & 大模型

• 长上下文常态化：32K~128K 上下文在本地小模型上逐渐可用，读一长串文档不再是云模型的专利。
• 函数调用标准化：Tool/Function Calling 成为本地推理框架的标配，Agent 拼装成本骤降。
• 新量化格式：int4 / int2 之外，混合量化让「精度」和「体积」可以按需取舍。

# 本地起一个带 Web UI 的模型服务（示例）
ollama pull qwen2.5:7b
open-webui serve --ollama-base-url http://127.0.0.1:11434

开源瞭望

• Open WebUI —— 自托管 ChatGPT 平替的事实标准，插件/知识库/RAG 全都有。
• whisper.cpp —— 本地语音转文字，离线可用，隐私拉满。
• LiteLLM —— 统一各家模型 API 的网关，一行配置切换后端。

自托管实验室

本周把 Open WebUI + Ollama 全家桶搬上了 HomeLab，并通过 nginx 反代暴露到内网域名：

# docker-compose 片段
services:
  ollama:
    image: ollama/ollama
    volumes: ["ollama:/root/.ollama"]
  open-webui:
    image: ghcr.io/open-webui/open-webui
    ports: ["8080:8080"]
    depends_on: [ollama]

实测：内网任意设备打开浏览器即可对话，模型权重与聊天记录全部留在本地硬盘。再也不用担心聊天内容被拿去训练了。

效率工具箱

• fzf —— 命令行模糊查找，配合 Ctrl+R 历史搜索爽到飞起。
• lazygit —— 终端里管理 git，告别记不住的参数。
• yazi —— 用 Rust 写的终端文件管理器，预览流畅、启动飞快。

# fzf + 终端里秒开历史命令
bind '"\C-r": "$(fzf --reverse < <(history -n))"'

极客冷知识

我们熟悉的「404 Not Found」并没有官方的技术含义——它只是 CERN 当初某间「404 号房间」的编号，那间房里正好放着 web 服务器的原始文件。

本周金句：The best way to predict the future is to invent it. —— Alan Kay