6：循环神经网络理论

欢迎来到循环神经网络（RNN）的精彩世界！🎉 作为人工智能领域的重要组成部分，RNN是处理序列数据的利器——从语言翻译到股票预测，从语音识别到音乐生成，RNN的身影无处不在。

💡 学习提示：不要被复杂的数学公式吓到！每一个概念都有其直观的解释，我们会一步步引导你理解。记住，最伟大的AI专家也是从基础开始学习的！

• 主要参考：《动手学深度学习》
• 辅助资料：[李宏毅RNN循环神经网络]
• 🤖 友情提示：适度使用AI工具来辅助理解概念是完全可以的！

回顾第 5 题，CNN 通过”卷积核”提取空间特征，擅长处理图像。

但现实世界中很多数据是序列

现在让我们从基础开始，逐步建立对RNN的完整认知：

1. 循环神经网络的基本架构

   • 🔍 思考：为什么叫”循环”？数学公式中的”循环”在哪？RNN和普通神经网络有什么不同？（模型结构受数据特征影响）

2. 关键概念深度理解

   • 隐藏状态（Hidden State）- RNN的”记忆”
   • 时间依赖性（Temporal Dependencies）- 时间序列的魅力
   • 梯度消失问题（Vanishing Gradient）- 长期记忆的挑战
   • 梯度爆炸问题（Exploding Gradient）- 训练的另一个陷阱

3. 进阶架构探索

   • 双向RNN（Bidirectional RNN）- 看向过去和未来
   • 深层RNN（Deep RNN）- 层层递进的智慧
   • Seq2Seq模型 - 序列到序列的魔法
   • 选学：从Seq2Seq到Attention初步

4. 门控机制的智慧

   • LSTM门控机制：遗忘门、输入门、输出门 - 精确控制信息流
   • GRU简化门控 - 优雅的简化方案

创意加分：强烈建议在解释中插入一些图片和你自己的理解与思考！用你的方式来诠释这些概念，让学习变得生动有趣。

这些问题将帮助你从不同角度深入理解RNN：

0. 思考问题（仅起引导作用，你无需在提交文档中呈现）

   Q1) 为什么 RNN 不能并行？

   Q2) 对LSTM 4 个门的输入输出维度进行推导

   Q3) GRU 相比 LSTM 少了什么？参数量减少多少？

   Q4) Seq2Seq 的 Encoder-Decoder 为什么需要 Context Vector？

1. 根本问题探讨 为什么传统的全连接网络不适合处理序列数据？RNN是如何巧妙地解决这个问题的？

2. 架构对比分析 比较RNN、LSTM、GRU三种架构的特点：

   a) 各自的参数量关系 - 复杂度的权衡

   b) 计算复杂度比较 - 效率的考量

   c) 适用场景分析 - RNN 在 LLM 时代还有用吗？

3. 双向RNN深度分析 分析双向RNN相比单向RNN的优势和劣势，什么情况下不能使用双向RNN？

💪 挑战自己：尝试用自己的话来解释这些概念，最好不要生搬概念，就像在向朋友介绍一样！

不要害怕数学公式！它们是理解RNN工作原理的钥匙

给定标准 RNN 的前向传播方程：

你的任务：

1. 梯度传播公式推导 推导从时刻t到时刻k(k<t)的梯度传播公式 $\frac{\partial h_t}{\partial h_k}$

   提交方式：可以手写后拍照上传，也可以使用LaTeX格式

2. 条件分析 分析什么条件下会出现梯度消失，什么条件下会出现梯度爆炸

3. LSTM优势解释 简单说明为什么LSTM能够缓解梯度消失问题

🌟 学习心得：数学推导可能看起来复杂，但它能帮你真正理解RNN的工作机制。每一步推导都是在揭示算法的内在逻辑！

现在是最激动人心的部分——从零开始构建你自己的RNN！🚀

import numpy as np

class SimpleRNN:
    def __init__(self, input_size, hidden_size, output_size):
        """
        初始化RNN参数
        input_size: 输入特征维度
        hidden_size: 隐藏状态维度
        output_size: 输出维度
        """
        # TODO: 初始化权重矩阵和偏置
        # 提示：考虑Xavier或He初始化
        pass

    def forward(self, inputs):
        """
        前向传播
        inputs: shape (seq_len, batch_size, input_size)
        return: outputs, hidden_states
        """
        # TODO: 实现前向传播
        # 返回所有时间步的输出和隐藏状态
        pass

    def backward(self, d_outputs):
        """
        反向传播 - 通过时间反向传播(BPTT)
        d_outputs: 输出层的梯度
        return: 各参数的梯度
        """
        # TODO: 实现BPTT算法
        # 计算所有参数的梯度
        pass

    def update_parameters(self, learning_rate):
        """
        参数更新
        """
        # TODO: 使用计算得到的梯度更新参数
        pass

class LSTMCell:
    def __init__(self, input_size, hidden_size):
        """
        LSTM单元初始化
        """
        # TODO: 初始化四个门的参数
        # 提示：每个门都需要：
        #   W_x: [input_size, hidden_size]   处理当前输入
        #   W_h: [hidden_size, hidden_size]  处理上一时刻隐藏状态
        #   b:   [hidden_size]               偏置
        # 四个门：遗忘门 f、输入门 i、候选记忆 g、输出门 o
        # 思考：为什么 W 的形状是 [hidden_size, hidden_size + input_size]？
        #      （提示：可以把 h_{t-1} 和 x_t 拼接起来一次性算）
        pass


    def forward(self, input_t, hidden_state, cell_state):
        """
        LSTM单元前向传播
        input_t: 当前时间步输入 [batch_size, input_size]
        hidden_state: 前一时间步隐藏状态 [batch_size, hidden_size]
        cell_state: 前一时间步细胞状态 [batch_size, hidden_size]
        return: new_hidden_state, new_cell_state
        """
        # TODO: 实现LSTM单元的前向传播
        # 1. 计算遗忘门、输入门、输出门的值（sigmoid激活）
        # 2. 计算候选记忆元状态（tanh激活）
        # 3. 更新记忆元状态
        # 4. 计算输出隐藏状态
        pass

🎯 编程小贴士：不要一次性写完所有代码！建议先实现基本框架，然后逐步完善每个函数。记住，调试是编程的重要组成部分！

用你亲手实现的RNN来完成一个有趣的序列预测任务！

实验步骤：

1. 数据生成：生成一个特定的数学序列（如斐波那契数列、正弦波等）
2. 模型训练：使用你的RNN模型进行训练
3. 效果测试：测试模型的预测效果
4. 性能分析：分析不同序列长度对性能的影响

def generate_sequence_data(seq_type='fibonacci', length=1000):
    """
    生成序列数据
    """
    # TODO: 实现序列数据生成
    pass

def train_rnn_on_sequence():
    """
    训练RNN进行序列预测
    """
    # TODO: 实现完整的训练流程
    # 1. 数据准备
    # 2. 模型训练
    # 3. 性能评估
    # 4. 结果可视化
    pass

🏆 成就解锁：当你看到自己的RNN成功预测序列时，那种成就感是无与伦比的！这证明你已经掌握了AI领域的一项核心技术。

• 鼓励使用AI辅助学习：可以使用AI来帮助理解概念、调试代码
• 重要提醒：为保证在面试时对RNN具有完整的思路，能够独立应对相关问题，应在尝试手搓核心代码,推导相关公式后再使用AI修改
• 学习目标：AI是你的学习伙伴，而不是替代品。真正的理解来自于你的思考和实践！

• 代码文件

  将代码部分的.py文件作为邮件附件

  • 命名格式：ml-6-姓名-学号.py

• 文档报告

  将写有这道题目文本解答的.md文件作为邮件附件

  • 命名格式：ml-6-姓名-学号.md

• 邮箱: glimmerml401@163.com

• 主题: 6-姓名-学号

出题人：  Emily

QQ：3629542766

邮箱：3629542766@qq.com