# Summary # Cues # Notes | 特征 | Encoder | Decoder | Decoder-only | |-----------------|---------|---------|--------------| | Token Embedding | ✓ | ✓ | ✓ | | Self-Attention | ✓ | ✓ | ✓ | | 因果掩码 | ✗ | ✓ | ✓ | | 双向注意力 | ✓ | ✗ | ✗ | | Cross-Attention | ✗ | ✓ | ✗ | Decoder-only = 有 Decoder 的因果注意力，但没有 Encoder 和 Cross-Attention 这种架构适合自回归语言建模任务，如 GPT 系列模型。