Databricks最新推出的大语言模型DBRX在近日引起了广泛关注，被誉为“现阶段最强开源AI”。根据官方新闻稿透露，DBRX是基于Transformer架构的大语言模型，采用MoE（Mixture of Experts）架构，拥有惊人的1320亿个参数，并在12T Token的源数据上进行了预训练。
研究人员对DBRX进行了一系列测试，结果显示，相较于市场上已有的LLaMA2-70B、Mixtral、Grok-1等开源模型，DBRX在语言理解（MMLU）、程式设计（HumanEval）及数学逻辑（GSM8K）等基准测试上表现突出。更令人惊讶的是，DBRX在这些基准测试中甚至超越了OpenAI的GPT-3.5。
Databricks AI部分副总裁Naveen Rao透露，公司花费了两个月时间和1000万美元的成本来训练DBRX。虽然目前DBRX在整体成绩方面表现出色，但仍需使用4块英伟达H100 GPU来运行，因此还有待进一步优化。
因此，Databricks推出的DBRX大语言模型无疑是AI领域的一大突破，其强大的性能和超越市面上所有开源模型的表现让人期待未来AI技术的发展。