考虑需基于测试集优化LLM提示词,提示词是完成一个具体NLP任务,这时候测试集本身需要人工标注,以保证正确率,可用多种大模型或多套(完成相同任务的)提示词,分别对测试集进行推理,找出里面label不一致的数据,再进行人工标注,可节省人工标注全部测试集的时间。(找不一致label这个思想可以拓展的地方不少)目前做小模型,都大模型标注数据了,而提示词基于测试集优化,测试集就尤为重要了,需人工标注。