人工智慧(AI)与大型语言模型(LLM)的快速进展，模型的参数量呈现倍数成长，硬体设备亟需突破效能瓶颈。 面对庞大的算力需求，处理器供应商从CPU、GPU的运算效能、晶片内的资料传输频宽等角度切入，尽可能满足LLM在训练与推论方面的效能需求。同时，企业导入生成式AI面临诸多挑战，包含模型更新速度飞快、数位分身(Digital Twin)如何导入，以及希望将Domain Know-how数据用於模型训练，为企业提高生产效率等，都是企业AI面对的课题。
面对生成式AI大量的算力需求，NVIDIA 资深解决方案架构协理Eric Kang日前於台湾云协「【NVIDIA GTC 2024】现身说法——探索AI 最新技术与未来发展」指出，因此NVIDIA在2024 GTC中，推出由一个CPU与两个Blackwell GPU组成的GB200晶片，并透过NVLink串接多个处理器，以支援新一代演算法所需的算力。
NVIDIA 资深解决方案架构协理Eric Kang
企业AI方面，数位分身成为企业数位转型下的热门应用。Eric提及，以伺服器制造商为例，制造商在工厂内可以过DGX导入数位分身，将AI模型结合产线的场景，用於产品的瑕疵检测。同时，数位分身结合物联网(IoT)，在每个机台都能联网的工厂内，采用AI模型管理产线，提高生产效率。所有主机的烧机测试、自动上架、下架，或是机房内硬体设备的摆放与散热模拟，也能透过数位分身执行。
NVIDIA 资深资料科学家Andrew Liu表示，2024年是生成式AI的应用元年，企业将Domain Know-how用来训练生成式模型，期望用来增加生产效率。然而企业在训练模型并导入生成式AI的过程中，需要克服不断有新的AI模型出现，软体需要不断更新的挑战。而NVIDIA NIM是用於整合软体的工具，可协助企业把模型导入在特定的GPU或基础设施上，以顺利执行LLM的推论、运作与更新。
NVIDIA 资深资料科学家Andrew Liu
