LLM

• LLM 基础
  • 线性代数基础
  • 数学计算符号
  • Attention 计算量
  • Gemm 计算量
  • Latent 压缩
  • Roofline
  • Nonderterminsim
  • Sampling
• 大模型推理
  • Attention
    • Types
    • MQA
    • GQA
    • MLA
    • DSA
    • SWA
    • CSA HCA
    • YOCO
    • CSA2
    • Linear Attention
    • Gated Attention
    • Cascade Attention
    • Paged Attention
    • Chunked Prefill
    • KV Cache
  • Prefill Logprob MSE
  • Math Ops
    • Norm
  • MLP
    • Activation
    • 两阶段专家
  • Residual
    • Attention Residuals
    • mHC
  • Communication
    • Topology
    • SBO
    • TBO
  • Parallelism
    • EP
    • SP
    • DP
    • TP
    • PP
    • DCP
    • Weight Sharding
  • Disaggregation
  • Speculative Decoding
    • Origin
    • N-gram
    • Medusa & EAGLE
    • MTP
    • EAGLE-3
    • DFlash
    • DSpark
  • Quantization
  • Torch
    • Torch Ops
    • Tensor Memory
    • Data Types
    • Broadcast & Indexing
    • CUDA Execution
    • Memory Management
    • Numerical Precision
    • Inference Mode
    • Dispatcher
    • Kernel & Compile
    • Multi-GPU Communication & Execution
  • Engine Abstraction
    • Memory Pool
    • Communicator
    • PD Design
    • Batch
    • VRAM Usage
      • Budget & Metrics
      • Weights & KV Cache
      • Runtime Activation
      • CUDA Graph Memory
      • Communication Buffers
  • Model Params
    • kimi k3 weight
• 硬件基础
  • GPU 架构演变史
  • Hardware
    • GPU Arch
    • Cuda Graph
      • Graph 与 Perfetto Stream
    • CPU & GPU
    • Stream
    • Host Device Interconnect
  • Cuda Kernel
    • Softmax
    • LayerNorm
    • GELU
  • Triton
• 工作总结
  • 性能体系建设
  • 稳定性建设
  • 模型性能优化
    • DeepSeek V3 Prefill 通信优化
    • DeepSeek V3 小 batch 双流优化
    • H200 迁移 B200
    • Kimi K25/K26 B200
    • Kimi K3 B200
      • K3 Decode：DP16 vs DP2×DCP8
      • K3 Prefill PP16
    • Prefill batch overlap

Stock

• A 股事件史
  • 2005-2007
  • 2008
  • 2009-2010
  • 2011-2012
  • 2013-2014
  • 2015
  • 2016-2017
  • 2018
  • 2019
  • 2020
  • 2021
  • 2022
  • 2023
  • 2024
    • 924
  • 2025-2026
• 个股研究
  • 2020
    • CATL
  • 2026
    • 先进封装
    • ODM
    • 算力租赁
• 随笔
  • 读书学习投资有用么
  • 谈一谈历史的失真
  • A 股中的博弈势力
  • A 股特性
  • A 股的价值投资
• 基础技术分析