Discuz! Board

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 27|回复: 0

词汇模型

[复制链接]

40

主题

56

回帖

323

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
323
发表于 2026-10-29 00:20:42 | 显示全部楼层 |阅读模式
现在需要考虑一个快速检索模块,它独立于大文段检索(包括RAG或者关键词匹配大文段这种检索机制)。

我的需求是:
- 输入:词汇的一个集合
- 输出:也是词汇的集合

现在先不考虑别的系统,先用一个示例系统去做。后续你也可以提出其他的一些,比如快速决策系统之类的东西。

现在我只以智能体系统为例,也就是主要是人格模拟的一个智能体系统。

想要给智能体系统做人格模拟的时候,可能会依赖大量的文档文段,导致在智能体回写的时候,可能会写入过于具体的一些信息,导致这些记忆并不具有泛化性,并且可能会在之后引入大量的过于具体的幻觉,特别放大这个幻觉效应。

此外,词汇组合具有显著的创意模式。关键在于通过提取关键词,对原始语料进行适当白化。可通过统计学指标动态反馈,计算出下一次模型输出的关键词个数k(或 泛关键词(大数N个凑合)+二次自选top k)。

现在我们想要将记忆载体从文段转化成每次智能体根据文档产出的一些关键词。关键词之间建立一个动态的条件概率模型,再根据关键词进行召回。

最后,我们注入的不再是记忆的文段,而是注入的是记忆的关键词以及带有持续性的一些信息(不只是平铺的关键词,还要根据它们的概率条件模型去做一个标注)。

接下来我会给你呈现一个稍微具体一点的手稿,也可以去提出一个你的独立的一个想法

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|DiscuzX

GMT+8, 2026-11-23 05:14 , Processed in 0.064977 second(s), 18 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表