Tiana随笔

大模型

大模型 标签下的全部文章。

Agent 有工牌了

2026年10月13日 · Agent 实践

10 月 8 日 Google Cloud 给 agent 发了工牌:有自己的邮箱、日历和目录身份,每个动作记在它自己名下。我看完回头数了一遍自己博客上的自动化脚本,发现它们全在共用一把管理员钥匙。这篇写我照着那套分工给三个脚本各发一个身份、按资源切权限、把动作全记下来,以及哪些我抄不动也不想抄。

让模型给文章写摘要:一个会重试的 LLM 客户端,和一条 SSE 全链路

2026年9月24日 · AI 与大模型

我把手写摘要交给了模型,但我不信任它。这篇讲两块最难的东西:客户端怎么处理超时、限流和退避抖动,以及 SSE 流式怎么从模型接口一路走到浏览器,中间三个环节各自的坑。

推理预算:模型开始"思考"之后,延迟和成本该怎么算

2026年9月24日 · AI 与大模型

思考型模型的账单波动能差十倍,延迟也从两秒变到四十秒。这篇给出一套任务分档的实操方法、分级路由代码、缓存与批处理两个省钱杠杆,以及怎么用评测脚本查表决策。

开源权重模型选型:Qwen、DeepSeek、GLM、Kimi

2026年8月30日 · AI 与大模型

公开调用量榜上中国模型已经占了大半席位。不是说它们全面超越了旗舰,而是“够用 + 便宜 + 拿得到权重”这个组合赢了。

量化与蒸馏:把模型便宜地放进生产

2026年8月29日 · AI 与大模型

同样一个模型,部署方式的成本能差十倍。量化、蒸馏、缓存,三条降本路线各有适用场景,这篇给出选型决策。

模型周更之后,你需要自己的评测集

2026年8月28日 · AI 与大模型

模型发布速度已经快过开发者完成一轮评估的速度。与其追榜单,不如花一天建一个 50 条的私有评测集,从此换模型变成跑一次脚本的事。

多模态落地的三个真实场景

2026年8月27日 · AI 与大模型

图文理解能力降到几厘钱一次之后,多模态从“演示项目”变成了可以写进排期的功能。挑三个投入产出比最高的场景说说。

给应用接 LLM API:成本、限流与降级

2026年8月25日 · AI 与大模型

上线一个真正在用的大模型功能,工程量的大头不在调 API,而在限流、重试、缓存和降级。这篇整理一套可以直接抄的防线设计。

30B 以下的小模型,能顶多大用

2026年8月22日 · AI 与大模型

笔记本都塞得下的小模型,每个月都在逼近旗舰系统的能力线。哪些活已经可以放心交给它们,哪些还不行,这篇给一个实测分界线。

挑大模型的新标准:从跑分到 Token ROI

2026年8月21日 · AI 与大模型

9 月前后一周之内七家厂商同时发新模型,榜单还没看完价格已经变了。比拼单点能力之外,“每百万 Token 花出去能换来多少实际产出”正在成为选型的第一指标。