prompt进阶列表

背景

LLMs通过prompt实现问题解决,但基本的few-shot学习有局限性。要解决复杂问题,需要更精细化的prompt设计引导LLM进行多步推理。结合prompt设计技术可以解决更困难的任务,发挥LLM更大潜力。通过结合prompt设计技术可以解决更困难的任务,发挥LLM更大潜力。

prompt进阶列表

常见高级prompt设计技术包括链式prompt、循环prompt、提示词提示等。

链式prompt将任务分解为子任务,引导LLM逐步解决。

循环prompt利用LLM自身输出作为新的prompt输入。

提示词提示利用关键词帮助LLM关注正确方向。

除此之外，做如下补充：

对比学习(Contrastive Learning) - 通过正例和反例让LLM学习区分不同类型的语义。
多任务学习(Multi-Task Learning) - 组合多个相关任务的prompt,让LLM同时解决,加强知识迁移。
语义匹配提示(Semantic Matching Cues) - 使用语义相关的词汇作为提示词,帮助LLM抓住关键信息。
可视化提示(Visual Prompting) - 提供图片或图表作为视觉输入,帮助LLM理解上下文。
模式调整(Prompt Tuning) - 调整prompt模板,使用迁移学习或微调来优化prompt。
语料调整(Corpus Filtering) - 筛选语料库中高质量样本,为prompt预训练提供 cleaner 数据。
多轮互动(Conversational Multi-Turn) - 利用对话方式进行多轮互动,让LLM逐步完善输出。
知识注入(Knowledge Injection) - 注入外部知识,为LLM提供更多上下文信息。
强化学习(Reinforcement Learning) - 通过奖励机制增强特定行为,让LLM学习到期望输出。
结构化提示(Structured Prompting) - 使用特定的语法结构组织prompt,如表格、代码块等来传达不同类型信息。
多语言提示(Multilingual Prompting) - 利用不同语言版本的prompt来提供更丰富的上下文。
个性化提示(Personalized Prompting) - 使用个性化信息定制提示,让LLM针对特定用户进行回复。
外部记忆(External Memory) - 结合外部知识库,为LLM提供丰富的背景信息。
中间表示提示(Intermediate Representation Prompting) - 使用中间表示状态作为prompt的一部分,引导LLM逐步推理。
程序化提示(Programmatic Prompting) - 使用程序语言构建动态生成的提示。
多模态提示(Multimodal Prompting) - 结合文本、音频、视频等不同模式的信息进行提示。
对抗性提示(Adversarial Prompting) - 构建对抗prompt来评估LLM的鲁棒性。
符号提示(Symbolic Prompting) - 使用数学和逻辑符号表示信息,提高表示能力。
评估优化(Evaluation-Centered Optimization) - 直接针对评估指标来调整prompt。
强化迁移学习(Reinforcement Transfer Learning) - 通过强化学习,先在源任务上训练prompt策略,然后迁移到目标任务。
神经prompt学习(Neural Prompt Learning) - 使用神经网络来自动学习优化prompt模板。
对抗样本检测(Adversarial Example Detection) - 检测对抗prompt,提高模型鲁棒性。
多代理协作(Multi-Agent Collaboration) - 多个prompt代理协作探索最优提示策略。
自动prompt生成(Automatic Prompt Generation) - 根据用户需求和上下文自动生成定制化prompt。
渐进prompt学习(Curriculum Prompt Learning) - 采用由简单到复杂的训练策略来学习prompt。
元学习prompt(Meta-Learning Prompts) - 学习如何快速针对新任务适配prompt。
神经语料生成(Neural Corpus Generation) - 使用神经网络生成针对prompt的语料。
prompt微调 - 通过梯度方法自动优化连续表示的prompt。
多目标prompt(Multi-Objective Prompting) - 优化多个目标,实现pareto最优的prompt效果。
强化prompt学习(Reinforced Prompt Learning) - 将prompt设计视为马尔可夫决策过程,使用强化学习方法优化。
记忆增强prompt(Memory-Augmented Prompting) - 结合外部记忆模块,提供更多上下文和先验知识。
程序化prompt生成(Programmatic Prompt Generation) - 使用程序或脚本自动化生成和优化prompt。
对抗自监督prompt(Adversarial Self-Supervised Prompting) - 使用对抗自监督方法增强prompt的鲁棒性。
多模态互学习prompt(Multimodal Co-learning Prompting) - 不同模态输入之间进行互学习来提高prompt的表达能力。
符号交互prompt(Symbolic Interaction Prompting) - 借鉴符号/神经混合系统,增强prompt的逻辑推理能力。
元学习优化prompt(Meta-Learned Optimization of Prompts) - 使用元学习方法,快速针对新任务学习高效prompt。
对抗攻击策略研究(Adversarial Attack Strategy Research) - 分析prompt的安全性,研究可能的对抗攻击手段。
解释性prompt学习(Explainable Prompt Learning) - 研究prompt对模型行为的解释性,提高可解释性。
多任务prompt学习(Multi-Task Prompt Learning) - 学习同时适用于多个任务的通用prompt表示。

文章目录

背景

prompt进阶列表