1月20日,据《财联社》报道,马斯克正式开源社交媒体平台X的核心推荐算法。他在声明中坦言:“我们知道这个算法很笨拙,且需要大幅改变。”并承诺用户至少能实时且透明地看到改进的努力。
此次开源的代码库包含为X平台“为你推荐”信息流提供支持的核心系统。X工程团队强调,系统已彻底移除所有人工设计的特征及绝大多数人为设定的规则。整个推荐流程完全依赖基于Grok的Transformer模型驱动,该模型通过理解用户历史互动数据(点赞、回复、分享、点击等)来预测并判断内容相关性。
系统每天处理超过1亿条帖子。其架构采用两阶段“召回-排序”流程。第一阶段“召回”,内容来自两大源头:代号“Thunder”的内部网络系统检索用户关注账号的动态;代号“Phoenix Retrieval”的外部网络系统利用机器学习从全局语料库中发现潜在兴趣内容。第二阶段“排序”,所有候选内容由基于Grok-1修改的“Phoenix”模型进行评分。该模型不依赖预设规则,而是通过注意力机制直接预测用户对每条帖子产生各类互动行为的概率,最终将这些概率加权组合成一个综合相关性得分。
经过评分的帖子还需通过最终过滤器,包括移除违规内容,并应用“作者多样性”机制以防止同一创作者的帖子连续刷屏。马斯克承诺,该算法将每4周更新一次并同步开源代码及详细的开发者说明。
此次是继2023年3月后X平台的第二次算法开源,但首次披露了基于Grok大模型的完整架构细节。有技术社区成员指出,此次开源释放了框架代码,但未包含模型权重、具体的权重参数及训练数据等核心细节。