PaperDaliy-2023-07-14

Generating Efficient Training Data via LLM-based Attribute Manipulation

📝 Abstract

📖 中文摘要

	在本文中，我们提出了一种新颖的方法，链式思维属性操作（CoTAM），通过从大型语言模型（LLMs）中精心制作的数据来引导小样本学习。主要思想是仅在任务所针对的属性上进行数据更改。受到面部属性操作的启发，我们的方法利用LLMs生成标签交换的数据，以控制的方式操作任务特定的属性并重新构建新的句子。我们采用思维链分解和重构来适应LLMs的过程，而不是传统的潜在表示控制方法。广泛的文本分类和其他任务的结果验证了CoTAM相对于其他具有相同训练样本数量的基于LLMs的文本生成方法的优势。分析可视化了CoTAM的属性操作效果，并展示了在更少监督下LLM引导学习的潜力。​

MMSD2.0: Towards a Reliable Multi-modal Sarcasm Detection System

🔗 Arxiv Link

📝 Abstract

📖 中文摘要

	多模态讽刺检测近期受到广泛关注。然而，现有的基准数据集（MMSD）存在一些缺点，限制了可靠的多模态讽刺检测系统的发展：（1）MMSD中存在一些杂音线索，导致模型偏差学习；（2）MMSD中的负样本并不总是合理的。为了解决上述问题，我们引入了MMSD2.0，一个修正了MMSD缺点的纠错数据集，通过消除杂音线索和重新注释不合理样本。同时，我们提出了一个称为多视图CLIP的新框架，可以从多个视角（即文本、图像和文本-图像交互视图）利用多粒度线索进行多模态讽刺检测。大量实验证明，MMSD2.0是构建可靠多模态讽刺检测系统的有价值的基准数据集，而多视图CLIP能够显著超越先前最佳结果。​

Do not Mask Randomly: Effective Domain-adaptive Pre-training by Masking  In-domain Keywords​

🔗 Arxiv Link

📝 Abstract

📖 中文摘要

	我们提出了一种新颖的与任务无关的领域内预训练方法，介于通用预训练和微调之间。我们的方法有选择性地屏蔽领域内关键词，即提供目标领域的简洁表示的单词。我们使用KeyBERT（Grootendorst, 2020）来识别这些关键词。我们使用六个不同的设置评估了我们的方法：将三个数据集与两个不同的预训练语言模型（PLM）相结合。我们的结果表明，使用我们的领域内预训练策略适应的微调PLM优于使用随机屏蔽进行领域内预训练以及遵循常规预训练-微调范式的PLM。此外，识别领域内关键词的开销是合理的，例如对于BERT Large（Devlin et al., 2019），相当于预训练时间的7-15%（两个时期）。​

Drive Like a Human: Rethinking Autonomous Driving with Large Language Models

🔗 Arxiv Link

📝 Abstract

📖 中文摘要

在本文中，我们探索了使用大型语言模型（LLM）以类似人类的方式理解驾驶环境，并分析其在面对复杂场景时进行推理、解释和记忆的能力的潜力。我们认为，传统的基于优化和模块化的自动驾驶（AD）系统在处理长尾边界情况时面临固有的性能限制。为了解决这个问题，我们提出一个理想的AD系统应该像人类一样驾驶，通过持续驾驶积累经验，并使用常识解决问题。为了实现这一目标，我们确定了AD系统所需的三个关键能力：推理、解释和记忆。我们通过构建一个闭环系统展示LLM在驾驶场景中的可行性，展示其理解和环境互动能力。我们的广泛实验表明，LLM展现出了推理和解决长尾案例的令人印象深刻的能力，为人类化自动驾驶的发展提供了有价值的见解。相关代码可在https://github.com/PJLab-ADG/DriveLikeAHuman上找到。

Learning to Retrieve In-Context Examples for Large Language Models

🔗 Arxiv Link

📝 Abstract

📖 中文摘要

	大语言模型（LLMs）已经证明了他们在上下文中学习的能力，使它们能够依据一些输入输出示例执行各种任务。然而，上下文学习的有效性在很大程度上取决于所选择示例的质量。本文提出了一个新的框架，通过迭代训练密集的检索器，以帮助LLMs识别高质量的上下文示例。我们的框架首先通过LLM反馈训练奖励模型来评估候选示例的质量，然后进行知识蒸馏以训练基于双编码器的密集检索器。我们在30个任务套件上的实验证明了我们的框架显著提升了上下文学习的性能。此外，在训练期间，我们展示了我们框架对未见任务的泛化能力。深入分析显示，我们的模型通过检索具有相似模式的示例来提高性能，并且这种收益在不同规模的LLMs中是一致的。​

Switching Head-Tail Funnel UNITER for Dual Referring Expression  Comprehension with Fetch-and-Carry Tasks​

🔗 Arxiv Link

📝 Abstract

📖 中文摘要

	本文描述了一种家庭服务机器人（DSR），它可以根据自由形式的自然语言指令获取日常物品并将它们运送到指定位置。给定一个指令，如“将盘子左边的瓶子移到空的椅子上”，DSR 应能够从环境中的多个候选对象中识别出瓶子和椅子，并将目标物品运送到目的地。大多数现有的多模态语言理解方法在计算复杂性上是不实际的，因为它们需要针对所有目标物品候选和目的地候选进行推理。我们提出了一种名为 Switching Head-Tail Funnel UNITER 的方法，它通过使用单一模型对目标物品和目的地进行独立预测来解决此任务。我们的方法在一个新构建的数据集上进行验证，该数据集包含物体操作指令和在标准体验式人工智能模拟器中捕获的半照片般真实的图像。结果表明，我们的方法在语言理解准确性方面优于基线方法。此外，我们进行了物理实验，DSR 根据具有指代表达的指令在标准家庭环境中传递标准化的日常物品。实验结果显示，物体抓取和放置动作的成功率超过90％。​

Certified Robustness for Large Language Models with Self-Denoising

🔗 Arxiv Link

📝 Abstract

📖 中文摘要

尽管大型语言模型（LLMs）在广泛的实际应用中取得了巨大的成功，但其对噪声输入的弱点显著限制了它们的使用，尤其是在高风险环境中。在这些背景下，确保大型语言模型所做的每个预测都是稳定的非常重要，即在输入的微小差异下，LLM的预测应保持一致。这在很大程度上属于研究认证鲁棒性LLMs的范畴，即在输入周围的局部区域内，LLM的所有预测都经过认证为正确的。随机平滑在证明LLMs的稳健性和预测稳定性方面表现出巨大的潜力。然而，随机平滑要求在模型预测之前向输入添加噪声，并且其认证性能在很大程度上取决于模型在受损数据上的表现。因此，将其直接应用于LLMs仍然具有挑战性，并且通常会导致较小的认证半径。为了解决这个问题，我们利用LLMs的多任务性质，提出了一种使用LLMs进行自我去噪来修复受损输入的方法。与以前的去噪平滑之类的工作不同，该方法不需要训练一个单独的模型来增强LLM的鲁棒性，我们的方法在效率和灵活性方面都具有更好的性能。我们的实验结果表明，我们的方法在认证鲁棒性和经验鲁棒性方面优于现有的认证方法。代码可在https://github.com/UCSB-NLP-Chang/SelfDenoise 上获得。

Dialogue Agents 101: A Beginner's Guide to Critical Ingredients for  Designing Effective Conversational Systems​

🔗 Arxiv Link

📝 Abstract

📖 中文摘要

	通过与同伴的交流分享思想是人类主要的交互方式。因此，在对话AI领域进行了大量的研究，导致了对话任务、数据集和方法的可用性和多样性增加。然而，由于同时探索了许多任务，当前的对话AI领域变得分散。因此，对从零开始设计对话代理的从业者提出了重大挑战。为了突出从从业者设计对话代理所需的关键要素，本研究全面概述了对话代理的主要特征、支持任务、相应的开放域数据集以及用于对这些数据集进行基准测试的方法。我们观察到不同的方法已被用来解决不同的对话任务。然而，为每个任务构建单独的模型代价高昂，并且不能充分利用对话代理的多个任务之间的相关性。因此，最近的趋势表明转向构建统一的基础模型。为此，我们提出了UNIT，一个由现有对话任务的对话构成的统一对话数据集，捕捉了每个对话任务的细微差别。我们还检查了用于衡量对话代理性能的评估策略，并强调了在对话AI领域的未来研究范围。​

Improving BERT with Hybrid Pooling Network and Drop Mask

🔗 Arxiv Link

📝 Abstract

📖 中文摘要

	基于Transformer的预训练语言模型，如BERT，在各种自然语言理解任务中取得了巨大成功。先前的研究发现，BERT在不同层次上捕捉到了丰富的语言信息层次结构。然而，传统的BERT在每个层次上都使用相同的自注意机制来建模不同的上下文特征。本文提出了一种名为HybridBERT的模型，它结合了自注意机制和池化网络，以编码每个层次中不同的上下文特征。此外，我们提出了一种简单的DropMask方法，用来解决预训练期间由于过度使用特殊掩码标记而导致的预训练和微调之间的不匹配问题。实验证明，HybridBERT在预训练中表现出更低的损失、更快的训练速度（相对提高了8%）、更低的内存成本（相对减少了13%），在下游任务上的迁移学习中也具有相对更高的准确性（提高了1.5%）。此外，DropMask方法改善了BERT在不同遮蔽率下的下游任务的准确性。​

MorphPiece : Moving away from Statistical Language Representation

🔗 Arxiv Link

📝 Abstract

📖 中文摘要

	令牌化是现代自然语言处理流程中的关键部分。然而，针对大型语言模型的现代令牌化器基于对文本语料进行的统计分析，对语言学特征考虑较少。本文提出了一种基于语言学动机的令牌化方案，MorphPiece，该方案部分基于底层文本的形态分段。在该令牌化器上训练的一种GPT风格的因果语言模型（称为MorphGPT）与在标准BPE令牌化器上训练的相同架构相比，具有更好的收敛性能。具体而言，我们获得了与一个6倍更大模型相当的语言建模性能。此外，我们在各种有监督和无监督的NLP任务上评估了MorphGPT，并发现与GPT-2模型相比，在各方面都具有更好的性能。​
​
(Please note that the translation may not be perfect and could be further fine-tuned by a native speaker for better accuracy.)​

PaperDaliy-2023-07-14​

PaperDaliy-2023-07-14