engine
Engine 是一个面向手机、平板等消费级设备的端侧 AI 推理引擎，目标是在内存和算力受限的移动环境中运行 LLM、语音与 Transformer 模型。项目提供 2bit 量化方案、底层计算 kernel 与运行时，兼容 Android、iOS 及 ARM 平台，并与 llama.cpp 生态相关。它支持移动端推理、端侧 AI 及 RAG、Whisper 类语音处理等场景，核心价值在于通过激进的量化压缩模型体积、降低内存占用，让原本依赖云端的大模型能力直接运行在本地设备上，兼顾隐私、离线可用性与响应速度。