GPU Kernel（GPU内核）

GPU内核由大量线程组成，通过网格-块-线程的层次结构组织，利用SIMT架构实现并行。每个线程执行相同代码但处理不同数据。内核启动时，线程块被调度到流多处理器上执行。在深度学习中，cuBLAS、cuDNN等库提供高度优化的内核，而自定义内核（如通过CUDA或Triton编写）可进一步提升特定操作性能。内核优化涉及内存访问模式、占用率和指令级并行。