企业私有推理
面向企业自有环境中的模型部署与持续调用，研究资源隔离、访问管理与运行保障
INFERENCE PRODUCTIONToken Factory
Token Factory
面向业务的推理产能
01 / TECHNOLOGY VISION
连接算力资源与业务推理
算力供给
模型推理
持续运行的业务服务
Token Factory 是范特面向推理服务的研发方向，围绕异构算力调度、模型部署与推理优化，构建从计算资源到业务调用的技术体系
以企业实际工作负载为牵引，协同推理质量、响应效率与运行成本，探索持续、稳定的模型服务
02 / SERVICE SCENARIOS
面向企业的推理场景
垂类模型服务
面向行业模型与专业任务，研究模型适配、任务评测与推理效率
长任务与工作流
面向多步骤智能任务，探索任务编排、上下文管理与执行过程中的资源协同
03 / TECHNICAL FRAMEWORK
贯穿模型服务的技术体系
| 技术环节 | 研究内容 | 目标价值 |
|---|---|---|
| 任务与评测 | 业务任务建模、模型输出评测与质量分析 | 面向真实工作负载的服务质量 |
| 部署与验证 | 异构环境适配、模型部署与负载测试 | 可复现的部署与性能评测 |
| 运行与优化 | 请求调度、缓存复用与运行监测 | 推理响应、吞吐与资源效率 |
| 计量与管理 | 调用计量、资源消耗与成本分析 | 可追溯的使用记录与服务成本 |
技术研发覆盖模型部署、推理优化与运营管理，连接底层资源和上层应用
04 / PERFORMANCE & EFFICIENCY
兼顾质量、效率与成本
质量与响应
关注任务完成质量、首 Token 延迟与持续生成速度，匹配不同业务的响应需求
有效产出与能耗
研究推理吞吐、缓存命中与单位能耗产出，提升计算资源的有效利用
单位成本与稳定性
结合资源消耗、服务可用性与运营成本，评估持续推理服务的综合表现
以真实工作负载驱动性能优化
覆盖不同模型、上下文长度与并发规模的性能评测05 / CORE RESEARCH
推理系统的关键研发方向
请求调度与缓存复用
协同计算、存储与网络
范特围绕推理性能、能效、部署评测与服务计量持续研发，研究调度、计算、存储与网络的协同，连接异构算力集群与模型服务
查看 Token Factory 架构调度与推理拆分
研究感知 KV 缓存的请求路由，以及 Prefill 与 Decode 分离部署，优化不同上下文和并发负载下的响应与吞吐
缓存与数据搬运
探索 GPU 显存、主机内存、SSD 与对象存储的分层缓存，研究缓存复用、数据迁移与网络通信效率
服务计量与评测
关联调用记录、任务质量与资源消耗，研究可追溯的服务计量和评测方法，支持性能分析与成本优化
围绕推理系统与模型服务，持续开展技术研发与联合验证
查看研发评测体系CONTACT US
共同拓展推理服务的可能
企业私有推理 · 行业模型 · 智能工作流
0510–81999881推理技术合作咨询