超大规模MaaS System Design
设计一个可大规模扩展的 MaaS 平台：面向海量 LLM 推理的系统设计 在 AI 飞速发展的今天，Model as a Service（模型即服务，MaaS）平台已成为向开发者和企业交付大语言模型（LLM）的核心基础设施。类似阿里云 DashScope、AWS Bedrock、Azure AI、G…
TOPIC
LLM
10 篇相关文章
OpenAI API格式
OpenAI API 格式详解 OpenAI API 提供了多种端点，用于处理文本生成、嵌入、图像、音频等任务 每个端点都支持通过 HTTP POST/GET 等方法调用，需要在请求头中包含 Authorization: Bearer YOUR API KEY 和 Content Type: app…
读「大模型训练与推理加速实战：基于CUDA计算平台（python版）」
深入浅出CUDA：GPU并行计算的入门指南 在AI和大数据时代，GPU已成为加速计算的核心力量。CUDA（Compute Unified Device Architecture）作为NVIDIA推出的GPU编程框架， 让开发者能利用GPU的并行能力处理复杂任务 。 CUDA的核心基础概念 CUDA的…
读「大模型时代的基础架构：大模型算力中心建设指南」
第1章 AI与大模型时代对于基础架构的需求 机器学习的核心认知 机器学习算法（尤以大模型、AI 为代表），本质是通过叠加多个线性幂函数，逼近现实世界的数学模型；计算这些函数的核心过程是 调参 ，该过程涉及海量乘加运算，因此具备并行乘加能力的 GPU、TPU 等专用硬件，在该场景下的性价比远高于通用…
AI 时代下的 Kubernetes 调度器：架构、挑战与演进路径
1. 引言：Kubernetes 编排的核心 Kubernetes 调度器（ kube scheduler ）是负责将 Pod 分配到节点（Node）的核心控制平面组件。尽管它在微服务时代表现卓越，但随着 人工智能（AI）和机器学习（ML） 工作负载的爆发式增长，其原始设计已逐渐触及瓶颈。本文将深入…
深度学习模型架构解析：以Encoder-Decoder为核心的分类体系
引言 自2017年Vaswani等人发表的论文《Attention Is All You Need》中首次提出Transformer架构以来，深度学习领域，特别是自然语言处理（NLP）发生了革命性的变化 [1]。Transformer模型完全摒弃了以往主流的循环神经网络（RNN）和卷积神经网络（CN…
从模型视角看上下文工程
从模型视角看上下文工程 模型训练完成后固定的参数 训练完的 Transformer 其实已经“死”了。 所有权重、所有偏置、所有 LayerNorm 的 γ/β、词表 embedding、输出头的投影矩阵……全部冻结，再也不会变了。 从这一刻起，它不再是一个学习机器，而变成了一个极其巨大、极其复杂的…
Function Calling、MCP、Skill 三者本质区别与适用场景
一、Skill 的本质与核心设计（2025.10 开放标准） Skill 是一个 文件夹 ，里面至少包含一个 SKILL.md 文件（YAML 前言 + Markdown 正文），可选包含： scripts/ ：可执行脚本（Python、Bash、JS 等） references/ ：参考文档、模板…
vLLM 初体验
vLLM 1. 传统内存分配的痛点（为什么浪费严重） KV Cache 需要连续大块内存 ：自回归生成时，序列长度动态增长 → 必须提前预分配一大段连续显存。 两大碎片化问题 ： 内部碎片 ：预分配过多，实际用不完的部分空闲浪费。 外部碎片 ：请求结束释放后，显存出现很多小空洞 → 无法放入新的大请…
分词
一、为什么要分词 考虑一个简单的句子 Hello world ，不分词直接拆成字符：H、e、l、l、o、空格、w、o、r、l、d共11个字符： 语义完全丢失 一个复杂的句子或片段拆分出来的字母序列非常长 考虑直接空格分词： 中文没有空格，多语言不支持 Token 和 Tokenization 语义相…