参考状态：done

交互式 Playground

在浏览器中体验 LLM 核心组件！交互式演示分词、注意力计算、文本生成等关键步骤。

在线演示

以下是可交互的 LLM 核心组件演示，无需运行 C# 代码即可直观理解各步骤。

1. 分词器 (Tokenizer)

输入文本，观察分词结果和 Token ID 映射：

2. 滑动窗口数据集

调整窗口大小和步长，观察训练样本的生成方式：

3. 注意力分数可视化

输入序列长度，查看缩放点积注意力的计算过程和因果掩码效果：

4. Softmax 温度实验

调整 temperature 参数，观察概率分布的变化：

5. GPT 架构总览

输入 Token IDs: [batch, seq_len]
       │
  Token Embedding + Positional Embedding + Dropout
       │ → [batch, seq_len, emb_dim]
       │
  ┌────┴────┐
  │ Block×N │  Pre-Norm TransformerBlock:
  │         │    LayerNorm → MultiHeadAttention → +residual
  │         │    LayerNorm → FeedForward(GELU)  → +residual
  └────┬────┘
       │ → [batch, seq_len, emb_dim]
       │
  Final LayerNorm → Linear(vocab_size)
       │
  Logits: [batch, seq_len, vocab_size]
       │
  argmax / temperature+top-k → 下一个 token

6. 贪心文本生成模拟

模拟 GPT 文本生成过程（使用随机 logits 演示流程）：