模型架构：
132b参数的moe模型，一共拥有16个专家，每个token激活4个专家，意味着有36b的活跃参数，mixtral只有13b的活跃参数（少了近3倍）。
性能表现 ：
它在语言理解、编程、数学和逻辑方面轻松击败了开源模型，如 llama2-70b、mixtral 和 grok-1
dbrx 在大多数基准测试中超过了 gpt-3.5。
dbrx 是基于 megablocks 研究和开源项目构建的专家混合模型（moe），使得该模型在每秒处理的标记数量方面非常快速。
数据训练：
以12万亿token的文本和代码进行预训练，支持的最大上下文长度为32k tokens。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/yun295716.html
微信扫一扫不于多少！
支付宝扫一扫礼轻情意重
阿里开源支持视频理解的多模态 llm qwen2-vl 国内现在还没有特别好的多模态闭源模型尤其是支持视频理解的，阿里这就开源了。不过最大的qwen2-vl 72b 没有开源，只开…
一亿上下文长度的 llm：ltm-2-mini magic 发布了一个具有 1 亿 token 上下文的模型 ltm-2-mini。1 亿 token相当于大约 1000 万行代码…
open ai 新的推理模型已经训练完成 高质量合成数据的重要性再一次被证明。 open ai 的逻辑是使用一个足够庞大且非常不经济的推理模型（strawberry）生产优质合成数…
meta 如何微调： 关注有效数据集 meta ai 团队关于如何微调 llm 的第三篇文章，主要探讨如何通过精细化数据集来提高大型语言模型（llms）的性能，包括全参数精细化（f…
flux 的周边生态发展迅速 前段时间由于 sd3 的问题，开源的图片生态发展一度停滞，值得关注的新项目和模型几乎没有。 flux 上周发布后这个态势被快速改变了，由于其优秀的图片…
xai 发布 grok-2 系列模型 老马的 xai 发布 grok-2 beta 版本。在lmsys的成绩超过了claude 3.5 sonnet 和 gpt-4-turbo。 …
jamba 1.5系列模型：非 transformer 模型首次追上先进模型 ai21 推出了新的 jamba 1.5 模型家族，包括 jamba 1.5 mini 和 jamba…
ideogram 发布了 2.0 图像生成模型 图像生成质量大幅提高，产品易用性改善，最强的文字生成能力。尝试了一下发现真的很离谱，不只是文字生成这么简单，可以实现复杂排版搭配色彩…
像microsoft和谷歌这样的大型科技公司正在全力以赴地整合各自的人工智能模型。根据最近的发展，opera 的 aria ai 现在可以访问 google cloud 的 gem…
google i/o 发布会的内容 google 紧随 open ai 开了今年的 i/o 发布会，一个字概括就是全。模型层面所有的指标都在卷，同时也发布了所有现在主流的模型类型。…
关于gpt-4o 模型更新 它可以接受任意组合的文本、音频和图像作为输入，并生成任意组合的文本、音频和图像输出。 它可以在 232 毫秒内响应音频输入，平均为 320 毫秒，这与人…
krea ai 发布 ai 视频生成功能 是可以定义首位帧的，而且每张图片对应的提示词都可以自定义。看起来像是之前发过的基于 ipadapter 的 animatediff 的工作…
deepseek 发布 deepseek-v2 模型 deepseek 上周发布了deepseek-v2模型，将现在优秀 llm 的价格战又抬上了一个新的高度，百万 token 输…
indigo关于发布会预测的整理 gpt-4 的新版应该会按照参数规模不同分化成多个版本，这个和 claude 还有 gemini 多版本的逻辑一样； 前两周出现在 llmsys …
frame：开源的 ai 眼镜 由一个开源的ai硬件 ，frame ai 眼镜。 你可以通过语音和 frame 进行沟通，它的回复会显示在眼镜屏幕上，而且会有小图标表示现在的情绪。…
simulon：混合现实 3d 模型软件 只需要下载app扫描周围环境，然后选择对应的模型。之后等几分钟就会渲染好跟现实环境融合的mr视频。没有凯发k8一触即发官网只有申请测试的表单。 …
synthesia：express-1 模型驱动的数字人 express-1 模型驱动，以实现逼真的头像表现。通过训练模型理解我们说什么以及我们如何说的微妙关系，表达力化头像现在可…
friend：开源的语音对话ai 硬件 轻松捕捉对话。只需将其连接到移动设备，无论您走到哪里，都会自动保存会议、聊天和语音备忘录的高质量转录。 获取即时摘要、重点亮点、思维导图、待…
生数科技发布vidu 视频生成模型 生数科技不声不响整了个大活。发布 vidu 视频生成模型，支持长达 16 秒 1080p 视频直接生成。 从演示视频来看一致性、运动幅度都达到了…
adobe 发布 firefly image 3 模型及对应新功能 adobe 发布了firefly image 3模型，photoshop（测试版）也大规模更新了很多功能。包括文…
微软发布 phi-3-mini 微型模型 微软发布 phi-3-mini 模型，4 位量化之后可以部署在 iphone 14 上，只占用 1.8g 内存，每秒输出 12 个 tok…
mixtral8x22b 模型开源 mixtral8x22b在只公布了一个磁力链接之后，又正式发布了模型的技术报告： mixtral 8x22b是一个稀疏混合专家（smoe）模型，…
meta 正式发布 llama3 8b 、 70b 模型 meta 在上周终于发布了 llama3，目前先发布的是 8b 以及 70b 两个模型，还有多模态以及一个 400b 规模…
perplexity-inspired llm answer engine：开源的 ai 搜索应用 一个开源的类似 perplexity 的 ai 搜索应用，含构建复杂答案引擎所需…
reader：jina开源的网页内容爬取工具 将网络信息灌输到大语言模型（llm）中是实现信息实体化的关键步骤，但这一过程充满挑战。最直接的方法是直接抓取网页内容并提取其 html…
