用树莓派和Qwen打造本地车载AI：一个35B模型的离线智能助手
在汽车智能化浪潮中，一位开发者展示了如何用一台树莓派（Raspberry Pi）运行35B参数的大语言模型，打造一个完全离线的车载AI助手。这个名为CarWatch的项目，将树莓派5嵌入车内，通过Qwen模型实现与车主的自然语言交互，不仅能够读取车辆内部数据，还能调用制造商云服务控制空调、门锁等，甚至能回答车主手册中的问题。
核心亮点：35B模型跑在树莓派上
最令人惊讶的是，CarWatch在树莓派5（16GB内存，约300欧元）上运行了Qwen3.6-35B-A3B模型，采用Unsloth的UD-Q3_K_S动态量化，模型大小14.3GB。生成速度达到3.5 token/s，提示处理速度超过25 token/s，持续运行温度65°C。这意味着，即使没有云端连接，车辆也能拥有一个智能的“大脑”。
深度集成：从车辆数据到云端控制
CarWatch通过OBD接口读取车辆内部信息，并连接到制造商的云服务，实现远程控制空调、开关门锁等功能。此外，它还集成了Home Assistant，通过Tailscale建立私有加密网络，确保在行驶中也能安全地访问家庭网络中的设备。
知识库与自我认知：严谨的AI
CarWatch内置了车辆的用户手册（745页），通过词法RAG技术，能够引用手册中的具体页码来回答问题。更重要的是，它明确区分自己感知到的信息（如温度、风扇、内存、网络状态）和无法感知的信息，避免产生幻觉。系统提示词设计确保未知内容不会被当作事实陈述。
语音交互与自治能力
项目支持免提语音交互，通过能量检测和whisper.cpp实现本地语音识别，无需唤醒词，所有处理都在树莓派上完成。同时，CarWatch通过systemd服务实现开机自启，并能自动更新、建立隧道连接，即使在手机热点NAT之后也能远程访问。
零依赖与开源精神
CarWatch的所有代码仅使用Python标准库，无需pip安装任何依赖，克隆即可运行。开发者通过AST扫描验证了这一点。项目已在GitHub上开源，吸引了大量关注。
这个项目展示了边缘AI的巨大潜力，将大模型部署到低功耗设备上，为汽车智能化提供了新的思路。尽管速度有限，但完全离线的特性保障了隐私，同时也为未来更强大的边缘AI应用奠定了基础。
