标签:"Topk"相关文章

【青鸟飞扬教育】Transformer 初探(青鸟教育是做什么的)

T 小的时候，我们需要让低概率词的被选择的机会变小，也就是放大低概率词和高概率词的差距，一枝独秀。我们用 $x_i$ 表示词汇表中第 i个词的概率（术语叫 logits）, $y_i$ 表示第 i 个词温…