日前，在GTC期间，NVIDIA推出了为训练具有数万亿参数的语言模型而优化的NVIDIA NeMo Megatron框架。
据了解，NVIDIA NeMo Megatron是Megatron的基础上发展起来的。Megatron是由NVIDIA研究人员主导的开源项目，研究大型Transformer语言模型的高效训练。Megatron 530B是全球最大的可定制语言模型。
 
  NeMo Megatron框架使企业能够克服训练复杂自然语言处理模型的挑战。企业可以通过NeMo Megatron框架，进一步训练它以服务新的领域和语言。经优化，该框架可以在NVIDIA DGX SuperPOD的大规模加速计算基础设施上进行扩展。。
 
  这些工具与NVIDIA DGX系统结合，提供了一个可部署到实际生产环境的企业级解决方案，以简化大型语言模型的开发和部署。
 
  NeMo Megatron通过数据处理库自动处理LLM训练的复杂性，这些数据处理库可以摄入、策划、组织和清理数据。利用先进的数据、张量和管道并行化技术，它能使大型语言模型的训练有效地分布在成千上万的GPU上。企业可以通过NeMo Megatron框架进一步训练它以服务新的领域和语言。
 
  另外，除了NeMo Megatron外，NVIDIA还推出了一个开发Physics-ML模型的框架NVIDIA Modulus。
 
  它使用物理原理及源自原理型物理和观测结果的数据训练Physics-ML模型，支持多GPU多节点训练，由此生成的模型，其物理仿真速度比模拟快1000-100,000倍。
 
  从本次GTC上，NVIDIA的远见和前瞻性不容小觑。无论是如火如荼的AI，还是方兴未艾的虚拟世界，NVIDIA能成为科技热潮的直接受益者，都离不开过去多年对其软硬件产品的打磨。