AI 与大模型
没人被裁,只是没人被招了
斯坦福、SignalFire 和 IZA 三组数据在 2026 年指向同一件事:公司没有停止招工程师,只是停止招没经验的工程师。入门级招聘腰斩的账单要三年后才付,被拆掉的是学徒台阶,不是岗位本身。
让模型给文章写摘要:一个会重试的 LLM 客户端,和一条 SSE 全链路
我把手写摘要交给了模型,但我不信任它。这篇讲两块最难的东西:客户端怎么处理超时、限流和退避抖动,以及 SSE 流式怎么从模型接口一路走到浏览器,中间三个环节各自的坑。
推理预算:模型开始"思考"之后,延迟和成本该怎么算
思考型模型的账单波动能差十倍,延迟也从两秒变到四十秒。这篇给出一套任务分档的实操方法、分级路由代码、缓存与批处理两个省钱杠杆,以及怎么用评测脚本查表决策。
规格驱动开发:把"给 AI 派活"变成工程流程
让 AI 直接开干很爽,直到同一个功能返工四遍。这篇讲我改成"先写规格再动手"之后的具体做法:一份可抄的规格模板、怎么让 AI 先挑刺、什么时候这套方法反而是浪费。
开源权重模型选型:Qwen、DeepSeek、GLM、Kimi
公开调用量榜上中国模型已经占了大半席位。不是说它们全面超越了旗舰,而是“够用 + 便宜 + 拿得到权重”这个组合赢了。
量化与蒸馏:把模型便宜地放进生产
同样一个模型,部署方式的成本能差十倍。量化、蒸馏、缓存,三条降本路线各有适用场景,这篇给出选型决策。
模型周更之后,你需要自己的评测集
模型发布速度已经快过开发者完成一轮评估的速度。与其追榜单,不如花一天建一个 50 条的私有评测集,从此换模型变成跑一次脚本的事。
多模态落地的三个真实场景
图文理解能力降到几厘钱一次之后,多模态从“演示项目”变成了可以写进排期的功能。挑三个投入产出比最高的场景说说。
从提示词工程到上下文工程
过去一年最明显的变化:写好一句指令带来的提升越来越有限,而“给模型看什么”——文档、示例、历史、工具结果的组织方式——成了效果的主要变量。
给应用接 LLM API:成本、限流与降级
上线一个真正在用的大模型功能,工程量的大头不在调 API,而在限流、重试、缓存和降级。这篇整理一套可以直接抄的防线设计。
上下文窗口越来越长,RAG 还有必要吗
能塞一本书进上下文之后,“把知识库都喂进去”听起来很有吸引力。但成本、噪声和延迟提醒我们:RAG 没死,它只是换了形态。
在笔记本上跑本地模型:一次完整的安装记录
从选模型到跑通第一条命令,记录在 32GB 内存的笔记本上跑开源模型的完整过程,包括显存占用、速度和几个想当然就会踩的坑。
30B 以下的小模型,能顶多大用
笔记本都塞得下的小模型,每个月都在逼近旗舰系统的能力线。哪些活已经可以放心交给它们,哪些还不行,这篇给一个实测分界线。
挑大模型的新标准:从跑分到 Token ROI
9 月前后一周之内七家厂商同时发新模型,榜单还没看完价格已经变了。比拼单点能力之外,“每百万 Token 花出去能换来多少实际产出”正在成为选型的第一指标。