# 参考方案 https://www.kaggle.com/code/luisleonardll/qwen2-5-32b-qwen3-embed-improved-prompt-engg/edit --- # 比赛方案简述 本方案围绕 **Reddit 评论是否违反子版块规则** 的判定任务，设计了两条不同的预测路线，并在最终阶段进行融合。 --- ## 1. 大模型直接分类（Qwen-32B 推理） * 使用 Qwen-32B-Instruct（AWQ 量化），配合 LoRA 适配器。 * 输入格式：`系统提示 + 规则 + 正反例子 + 待判定评论`。 * 输出限定为 "Yes" 或 "No"，通过 `MultipleChoiceLogitsProcessor` 控制生成。 * 得到的结果是每条评论违规的概率预测。 👉 优点：模型理解力强，能直接结合规则语境做出判断。 👉 缺点：推理成本高，对边缘样本有时不稳定。 --- ## 2. 语义相似度投票（Embedding 检索） * 构建训练+示例语料库，并为每条评论生成 embedding。 * 使用微调后的 Qwen Embedding 模型，把测试评论与语料库对齐。 * 检索 Top-K 最相似的样本，并用相似度 × 样本标签（违规=+1 / 不违规=-1）加权。 * 得分为正 → 倾向违规；为负 → 倾向不违规。 👉 优点：基于相似案例，结果可解释且稳定。 👉 缺点：对语料质量依赖大，单独使用时区分度有限。 --- ## 3. 融合策略 * **思路**：结合大模型的“直接理解”与嵌入模型的“相似投票”。 * **方法**：采用 **rank 加权融合** * 将两个分支的预测转化为排名（归一化到 0\~1）。 * 以固定比例加权（如 0.55×LLM + 0.45×Embedding）。 * 得到最终的违规概率。 👉 这样既能利用大模型的强表达，又能借助相似度检索的稳健性。 --- ## 4. 总结 整体 pipeline： 1. LLM 直接分类给出概率； 2. Embedding 检索投票给出相似度分数； 3. 通过 rank 融合获得最终提交结果。 这种“双路+融合”的设计思路，既保证了模型的理解力，又提升了整体的鲁棒性与稳定性。