请在Chrome、Firefox等现代浏览器浏览本站。另外提供付费解决DEDE主题修改定制等技术服务,如果需要请 点击 加我 QQ 说你的需求。

科学家已经证明了板代表的强烈代表,证明所有语言模型都具有相同的“几何学的一般含义

教练技术 365bet体育投注 评论

资料来源:DeepTech在2024年,麻省理工学院团队建议“柏拉图代表假设”(柏拉图)

图 | 张瑞杰(来源:https://collinzrj.github.io/)资料来源:DeepTech在2024年,麻省理工学院团队提出了“柏拉图代表假设”,认为现代神经网络的代表空间倾向于聚集。也就是说,不同的AI模型依赖于一个众所周知的表示。正如囚犯在柏拉图洞穴寓言中看到的阴影是现实的预测一样,继续迭代的AI模型开始理解投影背后的较高现实规模。当时,与-way纸一起也受到前Openai酋长Openai Ilya Sutskever的赞美。 2025年5月,基于上述情况,美国康奈尔大学(Cornell University)的医生张·鲁伊(Zhang Ruijie)和他的研究团队建议“强大的柏拉图代表假设”,即,潜在的一般代表性是已知和使用,也可以在没有任何编码器或数据对的情况下获得代表空间之间的回报。在研究中,他们还提出了一种称为VEC2VEC的新技术,这是一种技术AT可以将文本纺织品从一个向量空间转换为另一个矢量空间。这意味着这也是实现上述功能的第一个过程,而无需任何数据配对,编码器或预定的匹配集。也就是说,作为一种非监控程序,VEC2VEC可以双向改变“柏拉图表示假设”定义的常见语义结构的不合理。具体而言,VEC2VEC将能够转换由未知编码器生成的未知文档嵌入,并在非分布输入中稳定。尽管模型NG结构,参数量表和训练数据不同,但VEC2VEC仍然可以在模型对之间实现高度的Kosine均匀性。在维护未知几何形状的同时,此过程将能够将其转换为不同的空间。换句话说,VEC2VEC可以学习“独立领域”的变化,这是基于几何关系的能力,在代表不同嵌入的同一语义时很常见空间。同时,研究小组还表明,VEC2VEC的变化可以保持足够的语义输入以支持特征。此外,他们从某些患者笔记和公司电子邮件中获取了一些敏感的疾病信息和其他相关内容,但是它们只有可访问的文档复制剂没有与开发这些嵌入的编码器联系。通过这项研究,他们发现更好的承认方法将放弃越来越多的诚实信息,这证实了宝石几乎显示出与其输入一样多的信息。因此,这一发现可能为基于文本的文本“强板表示假设”提供了令人信服的证据。基于几年前Openai启动的“对比语言 - 图像P”,该实验的最初结果表明,一般的几何结构也可以在其他模式中使用。应该注意的是,此结果只是过渡中的下限EEN表示。随着更好,更稳定的研究算法的出现以及相关体系结构的促成,希望这种成功能够扩展到更多数据,更多的家庭模型和更多的方式。据了解,余弦的相似性高达0.92,文本的嵌入是现代自然语言处理的基本(NLP,自然语言处理),可以为诸如获取,几代人,分类和集群等活动提供支持。对于许多GEM模型,它们在不同的数据集,不同的数据干扰方法和不同的开始启动条件下进行了培训。文本的文本化是语义信息:一个好的地图文本模型,在新兴空间中具有语义相似性。由于语义是文本特征,因此同一文本的不同文本应为samemantics。但是,实际上,不同的模型在完全不同且不兼容的矢量空间中抹黑文本。以前,麻省理工学院团队提出的“柏拉图表示假设”认为所有图像模型都足够具有相同的潜在表示。对于文本模型,该研究团队提出了假设的更强大的建设性版本:可以知道文本表示的一般潜在结构,并且该结构可用于将表示形式从一个空间转换为另一个空间,而无需任何配对的数据或编码器。在这项工作中,研究团队证明了该假设的可汗柏拉图代表性对于培训有效。由于来自具有不同体系结构和煽动性数据的两个模型的免费填充实例,他们使用VEC2VEC学习了潜在的表示,其中这些嵌入几乎是相同的。 。据报道,VEC2VEC使用对手损失和周期的一致性来确定对共享潜在空间的奉献精神,并且可以以最小的损失来读取,从而在S处可能会成为可能AME时间,研究团队采用了一种对手方法,并伴随着向量空间维护技术,以学习如何减轻已知分布中未知的分布分布。通过此,他们发现VEC2VEC的变化具有Kosine与实际矢量与目标嵌入空间的相似性,并在8000多个随机组织的VEC2VEC嵌入中获得了完美的匹配,而无需预先访问集合匹配。为了证明上面的变化具有相同的“指南几何形状的ka -ka -bon”和“基础pot的语义”,他们使用零样品的特征来执行这些向量的护理和旋转,而无需了解宝石的原始模型。不支持了解许多研究对向量集之间的匹配或相应问题进行了许多研究。但是,这些方法都不适用于本研究的研究,因为先前的研究Assu我认为,不同编码器从相同的输入产生了两组或更多集嵌入向量。换句话说,对于每个未知的向量,都应在不同的差距中有另一组矢量候选,其中之一是正确的匹配。但是,不可行的应用程序,很难获得这样的数据库。研究小组说,他们认为形成的无薪变化是可能的,因为它完全取决于假设的盘子代表的更强版本。直到今天,他们都提出了以下猜测:使用目标和模态,但是使用不同模型体系结构训练的不同数据和神经网络,它们与标准潜在空间进行交互,以便可以知道其表示之间的变换而无需任何字母。在计算机视觉领域,非支持囚犯结合了循环的一致性和对抗性正则化的成功。因此,THE研究团队还从Scarsars中获得了一些灵感,这是VEC2VEC的设计。同时,他们想以相同的周期和误解实施空间的集合变化。与图像不同,嵌入式向量没有任何空间偏差。在研究中,研究团队没有使用卷积神经网络(CNN),而是使用具有剩余连接的多层感知器(MLP,多层感知器),层归一化和非线性激活功能。在鉴别器中,采用了类似的结构作为发电机,但剩余的连接被删除以简化对手的研究过程。没有任何配对数据,您可能会知道将穿着的向量转换为数据集。研究团队使用了一个自然问题(NQ),该问题是由真实用户查询的,并使用了以Wikipedia答案进行培训的数据集。评估信息获取:首先,他们使用了TweetTopic,这是由19个主题组成的多标签数据集。其次,他们使用了随机的8192伪固定的Mimic-III(MIMIC)子集记录,并使用了2673例具有多发性MEDCAT疾病的多个标记描述的患者记录的模拟数据集的伪固定版本。同样,他们使用了损坏的能源公司安然(Enron)的50个随机子集电子邮件语料库,这也是一个未标记的公共数据集。在该模型中,研究团队使用了一个出现的模型,该模型代表三个比例类别,四个变压器脊柱体系结构和两个输出大小。其中,花岗岩是一个多语言模型,剪辑是多式联运模型。 (来源:数据照片)在MGAN实验中,他们表明VEC2VEC可以知道一个共同的潜在空间,并证明该空间维护所有宝石的几何形状。他们可以将其用作文本编码器的通用语言,并在没有数据配对的情况下转换其表示形式。实验结果表明,VEC2VEC变化可能反映了目标空间的几何结构。作为sHown在下图中,VEC2VEC在模型对之间生成了几乎良好的嵌入,实现了余弦相似性,最高为0.92,TOP-1准确度高达100%,并且矩阵的等级小于1。最佳程序辅助协助中的辅助过程中所产生的VEC2VEC产生的vec2vec所产生的vec2vec的实际价值与NAY的基础相比。通过跨狭窄配对,VEC2VEC优于所有指标,而基线方法的执行几乎与随机预测相同。如下图所示,该性能可以扩展到未分布的数据。 。 。这些结果表明,此过程具有适应新模式的潜力,尤其是当夹子空间GEM成功建立了与其他模式(例如热图,音频和深度图)的连接时。在研究使用VEC2VEC更改以检索信息的过程中,研究小组表明,VEC2VEC的变化不仅将保留在几何几何形状中,而且语义仍然是SUF高度支持特征。如图Sbelow所示,VEC2VEC变化推理的特征始终会发出幼稚的基线,并且倾向于比完美的零样本基线表现更好。应当指出的是,这个理想的基线旨在使用同一空间中的宝石和特征的真实文档进行推理。由于这些指南在本研究的情况下不可用,因此是一个假设的基线。 。通过相同的脊柱配对,出于修改原因的推理推理与幼稚的基线相当,并且明显优于将十字架配对十字架的简单基线。例如,VEC2VEC可以维持诸如“肺泡周期炎”之类的概念的语义,该概念尚未出现在训练数据中,证明VEC2VEC的潜在空间实际上是一个常见的表示。醉酒,即重建文本输入。旋转比识别角色要困难。 VEC2VEC更改可以维护在足够的语义信息中,尽管它使用了“原始标准”,但Ready Zero样本旋转开发的机械嵌入方法也可以重建多达几对模型的文档内容的80%,仅基于转换后的嵌入。 (来源:数据库)当然,这些旋转并不完美。研究小组表示,他们将开发特殊的反转机器,以供将来转换嵌入。通常,本研究证明所有语言模型都将结合相同的“几何定义”,这将对矢量数据库的开发产生一定的影响。参考:https://arxiv.org/pdf/2505.12540这些orperation/typeline:他钦隆
喜欢 (0) or 分享 (0)
发表我的评论
取消评论

表情

您的回复是我们的动力!

  • 昵称 (必填)
  • 验证码 点击我更换图片

网友最新评论