新上线昨天0 投票
NativeTernary：为三元神经网络权重设计的自定界二进制编码方案
在AI模型部署和边缘计算日益重要的今天，高效的数据编码和传输成为关键挑战。近期，BitNet b1.58的研究表明，大型语言模型可以完全使用三元权重（{-1, 0, +1}）运行，但此前缺乏针对这种权重格式的原生二进制编码方案。NativeTernary的提出，正是为了填补这一空白。
什么是NativeTernary？
NativeTernary是一种二进制编码方案，它将2位对空间划分为三个数据符号，用于表示三元值——可以是平衡的{-1, 0, +1}或无符号的{0, 1, 2}——以及一个保留的结构分隔符。其核心创新在于利用一元游程编码来表示语义层次深度：N个连续的分隔符对表示第N级的边界，从而以2、4、6、8和10位的成本分别编码字符、单词、句子、段落和主题边界，这种成本与边界的稀有性成正比。
技术细节与设计选择
- 分隔符选择：选择哪个2位对作为分隔符是一个设计参数。**{11}是主要实现方式，提供简单的OR门检测；{00}**则是针对超低功耗CMOS系统的替代方案，旨在最小化开关活动。专利权利要求涵盖了所有四种位对选择。
- 编码变体：论文提出了三种编码变体：(1) 以{11}作为唯一分隔符的主要方案；(2) 双启动变体，其中{10}和{11}启动不同的符号命名空间；(3) 无符号与平衡三元数据映射的分析。
- 解码器：解码器是一个10行的无状态状态机，对位流损坏具有弹性。
应用场景与潜在影响
NativeTernary不仅适用于三元神经网络权重的存储，还扩展到更广泛的应用领域：
- 分层自然语言编码：通过编码字符到主题的边界，支持高效的语言处理。
- 边缘计算与IoT：在资源受限的设备（如物联网传感器、卫星遥测、工业传感器、汽车系统、医疗设备）中实现高效数据传输。
- 其他领域：游戏和金融tick数据等场景也能受益于这种紧凑的编码方式。
论文还描述了一条无需硬件更改即可实现三元原生通用计算基础设施的路径，为未来计算架构提供了新思路。
当前状态与未来计划
- 专利与实现：专利已于2026年3月向印度专利局提交，C语言实现即将发布。
- 版本规划：计划推出v2版本，包含GGUF基准测试，以进一步验证其性能。
NativeTernary的出现，为AI模型在边缘设备上的高效部署提供了新的工具，有望推动低功耗、高压缩率的数据处理技术的发展。随着AI应用向更广泛的设备渗透，这类编码方案的重要性将日益凸显。