Inkling

Inkling是Thinking Machines推出的首个开放权重模型，它拥有9750亿个混合专家（MoE）参数，其中有410亿个是活跃参数，支持1百万的上下文长度，并且能够在文本、图像和音频之间进行本地推理，同时还可以控制思考的深度。你可以在Tinker上微调它，或者下载Apache 2.0的权重文件。