ChatGPT推荐能力评测流程及模块解析

本文评估了ChatGPT推荐能力的流程，包括Pre-process模块、LLM和Post-process模块。Pre-process模块将原始数据转换为domain-specific的prompt，LLM将prompt输入并生成输出，Post-process模块对输出进行格式验证和指标评测。Prompt的设计包括Task Description、Demonstration Examples和New Input Query三个部分，用于帮助模型理解推荐任务、规范输出格式以及根据用户历史预测当前的候选项。具体形式为point-wise ranking中的候选项为一个物品。