engine
Engine 是面向消费级设备的端侧 AI 推理项目，聚焦 2bit 量化、底层 kernels 与轻量 runtime，目标是在智能手机、Android/iOS 与 ARM 设备上以更低内存和算力运行 LLM 等 Transformer 模型。它主要解决端侧模型部署中的内存占用高、推理速度受限和跨平台适配难等问题，支持 on-device AI、mobile inference 等场景，可服务 LLM inference、语音处理（如 Whisper）与 RAG 应用。核心亮点包括极低比特量化能力、针对消费设备的算子优化、移动端运行时，以及面向 llama.cpp 相关模型与生态的端侧推理支持，帮助开发者在本地设备上实现更高效、更轻量的 AI 推理。