Triton Center 一、nvidia triton triton 是英伟达开源的推理服务框架，可以帮助开发人员高效轻松地在云端、数据中心或者边缘设备部署高性能推理服务器，服务器可以提供 http grpc 等多种服务协议。 triton server 目前支持 pytorch、onnxruntime 等多个后端，提供标准化的部署推理接口，同时提供了模型批处理、模型融合. Triton 的教程, 其实英文和中文版都很少, 知乎上有一些文章, 比如 杨军：谈谈对openai triton的一些理解 陈清扬：openai triton：25行代码实现cublas gemm 95%以上的性能 科研败犬丶：openai triton mlir 第一章: triton dsl 这些文章相对来说是比较专业的.
Triton Center 下图示展示了一个包含两个模型的示例：model0（检测模型）和model1（分类模型）。 假设triton当前没有处理任何请求，当两个请求同时到达，每个模型一个，triton会立即将它们都调度到gpu上，并且gpu的硬件调度程序开始 并行处理两个计算。. Tvm 是正儿八经的深度学习编译器。且是目前功能最全面的、图算功能都有的ai编译器。 trition是基于mlir框架的一款“算子”编译器，起初是为了绕过cuda去写gpu算子，现在成为mlir社区的重要组成部分。而且未来如果linalg triton的路线能够打通，感觉有很多可以做的事情。（快去学triton，肯定不亏. 本来准备早睡，刷到这一条知乎直接起来在tilelang里补上了gemm的stream k和splitk的example (主打一个秒杀），不要问我为什么不写triton，不喜欢，不爱写，速速加入tilelang神教！. Cuda和triton各有优劣，适用不同的gpu编程需求。.
Triton Center 本来准备早睡，刷到这一条知乎直接起来在tilelang里补上了gemm的stream k和splitk的example (主打一个秒杀），不要问我为什么不写triton，不喜欢，不爱写，速速加入tilelang神教！. Cuda和triton各有优劣，适用不同的gpu编程需求。. 感觉比较困难，因为triton很核心的tensor类编程要求了tensor和vector能力的交互。而npu本质还是加速器，编程能力不强。 2024.may.24更新如下 有希望，因为ascend的整体编程模型是spmd（single program multiple data）这和triton是一致的，对于耦合架构而言，tensor vector的交互似乎也解决了。但整个compiler工程的工作量. Triton，opencl，openacc, kompute，directml，sycl，taichi，cuda等gpu编程库哪个更好？应该用哪个？.
Triton Center 感觉比较困难，因为triton很核心的tensor类编程要求了tensor和vector能力的交互。而npu本质还是加速器，编程能力不强。 2024.may.24更新如下 有希望，因为ascend的整体编程模型是spmd（single program multiple data）这和triton是一致的，对于耦合架构而言，tensor vector的交互似乎也解决了。但整个compiler工程的工作量. Triton，opencl，openacc, kompute，directml，sycl，taichi，cuda等gpu编程库哪个更好？应该用哪个？.
Triton Center Benjamin Oberstein
Triton Center
Triton Center T Y Architect