LiteLLM 架构拆解:请求链路、重试回退与多租户表结构
一条请求如何过鉴权、限流、Router 的 retry/fallback,再进 SDK 翻译层;Spend 为何异步落库。与 Bifrost 的 trade-off,以及组件化与 HPA/KEDA。
ENGINEERING · NOTES · RUNNING
把跑过的路,和想清楚的事留下来。
Forrest 的个人技术与生活笔记。记录 AI 基础设施、Kubernetes、工程实践,也记录长期主义、阅读和跑步。
RECENT NOTES
一条请求如何过鉴权、限流、Router 的 retry/fallback,再进 SDK 翻译层;Spend 为何异步落库。与 Bifrost 的 trade-off,以及组件化与 HPA/KEDA。
一张表对照 Pub/Sub、Streams、Asynq 的投递语义、持久化、ACK、重试与回放。同一封 mail:send,三种失败完全不同。
未知字段默认被丢。自己写 Marshal/Unmarshal,delete 已知键,Extra 才干净。会进 checkpoint 的状态再加版本号和 Legacy。
裸 ReAct 跑完交不出产物,往往不是缺某种新循环,而是循环、拓扑、骨架三层缠在一起。分开定,再选论文名。
Function Calling、MCP、Skill、A2A 不在同一层。各自的协议不变量,决定一次生成如何发现、隔离、执行并写回外部世界。
从技法分层到 OpenAI 最佳实践、Meta Prompt,以及评测后如何把 prompt 持续往更好的版本靠拢。
读完《横向领导力》后的框架整理:Ask-Offer-Do 如何把个人专业能力转成横向影响力,以及我自己的练习方法。
DEEP DIVES