AI21 Labs首推基于Mamba的量产级模型

3月29日消息，以色列AI初创公司AI21 Labs昨日在官网推出SSM-Transformer模型Jamba，据称是世界上第一个基于Mamba的量产级模型。

通过利用传统Transformer架构的元素增强Mamba结构化状态空间模型，Jamba弥补了纯SSM模型的固有局限性。

它提供了256k上下文窗口，在吞吐量和效率方面展现了显着的进步。

目前，AI21 Labs并不打算将Jamba用于商业用途。

该模型没有防止生成有毒文本的保障措施，也没有解决潜在偏见的缓解措施。

经过微调、更安全的Jamba版本将在未来几周内推出。