KTransformers加速SGLang的混合推理
KTransformers项目为Mixture-of-Experts（MoE）模型的CPU/GPU混合推理提供了一系列优化，显著提升了计算效率。通过引入AMX优化的CPU内核和高效的设备协调机制，KTransformers解决了传统混合推理中的协调开销和计算资源未有效利用的问题，使得在单机上部署万亿参数模型成为可能。
AI技术 (共5篇)
SGLang-Diffusion 两个月的进展
自2025年11月初发布以来，SGLang-Diffusion在社区中引起了广泛关注和应用。我们非常感谢开源开发者的反馈和贡献。经过两个月的优化，SGLang-Diffusion的速度提升了2.5倍。本文总结了我们在模型支持、LoRA支持、并行性、硬件兼容性等方面的进展，并详细介绍了关键的技术改进和性能基准测试结果。
OpenAI o1-preview推理模型重磅登场：基准测试碾压GPT-4o，AI迈向‘思考链’新时代
OpenAI推出o1-preview模型，在数学、代码等领域基准测试大幅超越GPT-4o，强调‘思考链’优化机制。发布后X平台转发超5万次，开发者热议其潜力。此举标志AI从单纯生成向深度推理转型，ChatGPT Plus用户抢先体验，引发订阅热潮与竞品对比。
OpenAI发布GPT-4.5：自然语言处理再突破
OpenAI近日发布的GPT-4.5在自然语言处理和生成能力上实现了显著提升，吸引了开发者和用户的广泛关注。新版本的增强性能和灵活性使其成为AI行业的热门话题。
OpenAI发布GPT-4.5：语言模型的全新进化
OpenAI近日发布了其新一代语言模型GPT-4.5，凭借更强的自然语言处理能力和更高的生成文本准确性，迅速在科技圈引发热议。这一新产品的推出不仅引发了开发者的高度关注，也在行业内掀起了一股关于AI未来发展的讨论。