🖼️ 多模态人工智能的兴起，使历史模拟更加生动，通过图像与文本交互生成历史场景。
生成式AI占据着2023年诸多头条新闻，2024年大概也会如此。
研究人员表示，DeWave模型在将脑电波转化为文本的任务中取得了一定的成果，但也存在一些局限性。
具体来说，方法使用了场景的自分解技术，通过倒置球面参数化的扩展，引入了感知遮挡的场景参数化。在这个参数化中，除了第一个由倒置球面参数化定义的球体外，引入了第二个内部球体，并将从摄像机到内部球体边缘的区域定义为遮挡区域。通过分开渲染这个区域，可以将遮挡与场景的其余部分解耦。为了确保对人的高保真和完整呈现，方法通过像素级光度损失、场景分解损失、遮挡解耦损失和几何完整性损失的组合来聚合三个渲染。
1、清华、浙大等中国顶尖学府提供了性能优异的GPT-4V开源替代方案。