NVIDIA Jetson Memory Tricks позволяет устройствам Edge запускать модели AI с параметром 10B

NVIDIA раскрывает методы оптимизации, которые восстанавливают до 12 ГБ памяти на устройствах Jetson, позволяя многомиллиардным LLM-параметрам работать на краевом оборудовании. (Читать далее)