第一，延迟的不可预测性。大模型的推理延迟从数百毫秒到数十秒不等，取决于输入长度、输出长度和模型负载。
13、karakeep：可自托管的浏览器书签管理平台。这是一款可自托管的浏览器书签管理应用，可保存链接、笔记、图片和 PDF，并支持 AI 自动打标签与生成摘要。
与此同时，越来越多机构用户也开始关注 AI 使用成本。部分开发者已经用上“模型路由”（IT之家注：Model Routing）服务，根据不同任务自动选择成本最低、效率最高的 AI 模型，这其中当然包括中国模型。
两类用户的诉求有诸多差异，如何同时满足人类和 Agent 的使用体验，就成为了设计上的一个重要课题。