题目
15.传统的RNN模型并行性要优于应用了注意力机制的transformer结构A. 正确B. 错误
15.传统的RNN模型并行性要优于应用了注意力机制的transformer结构 A. 正确 B. 错误
题目解答
答案
B
解析
考查要点:本题主要考查对传统RNN模型与Transformer模型在并行计算能力上的理解。
核心思路:
- RNN模型的计算依赖于时间步的顺序,必须串行处理,导致并行性较差。
- Transformer模型通过注意力机制实现了位置间的并行计算,大幅提升了并行效率。
破题关键:
明确两种模型的计算特性:RNN的序列依赖性限制了并行,而Transformer的自注意力机制突破了这一限制。
传统RNN模型的局限性:
- 串行计算:每个时间步的输出依赖于前一步的隐状态(如$h_t = f(x_t, h_{t-1})$),无法同时处理所有时间步。
- 长序列效率低:需逐层计算,GPU并行资源利用率低。
Transformer模型的优势:
- 自注意力机制:通过计算序列中所有位置的关联关系,无需按顺序处理,可并行计算所有位置的输出。
- 全连接结构:编码器-解码器结构中,各层的前向传播可充分利用多核并行加速。
结论:Transformer的并行性显著优于传统RNN,因此题目说法错误。