与您的文件对话

关联文件到聊天会话

1. 固定文件(多模态向量化)

“固定文件”是将文件跟具体会话关联起来的交互方式，本质是启动对文件内容进行多模态向量化，也就是将知识文件中的文本、图片、表格抽离成独立知识片段，随后建立知识索引，以供以后对话时按需取用。

2. 多模态检索和答案合成

多模态检索即可以通过文字搜到语义上有相关性的文字片段、图片描述和表格描述，并找到原始的文字位置上下文、图片原图、原始表格，这项技术能最大程度的从整个库中找到最相关的知识。 根据“召回”的原始知识，提供给本地全能(主要是视觉能力)小模型或是商业模型API，结合搜索引擎等外部数据工具，合成高质量的、几乎无幻觉的回复答案。

3. 知识片段去除敏感信息(todo)

每次提交给商业模型API之前本地小模型会根据配置项-数据预处理策略对知识片段进行脱敏，充分保护数据隐私的情况下又能利用商业模型API的强大之处。

• 主界面中间区域下方是数据观察窗，能看到知识片段的召回情况。
• 每次提交之前需要人为确认和审核脱敏结果

4. 使用工具

合成答案前在互联网上进行一番搜索可以大大提高回复质量，降低幻觉。 会话的输入区可选配置搜索工具Tavily，在其官网注册后申请key配置进来。

5. “AI与你共读PDF”

进一步的，您可以边读PDF边跟AI聊天，获得独特的陪伴式阅读体验。详见共读模式