AMD 推出自家首款小語言模型“Llama-135m”
摘要:
IT之家 9 月 29 日消息，AMD 在 Huggingface 平台公布了自家首款“小語言模型”AMD-Llama-135m，該模型具有推測解碼功能，擁有 6700 億個 token，采用 Apache 2.0 開源許可，IT之家附模型地址如下（點此訪問）。
IT之家 9 月 29 日消息，AMD 在 Huggingface 平台公布了自家首款“小語言模型”AMD-Llama-135m，該模型具有推測解碼功能，擁有 6700 億個 token，采用 Apache 2.0 開源許可，IT之家附模型地址如下（點此訪問）。
據介紹，這款模型主打“推測解碼”能力，其基本原理是使用小型草稿模型生成一組候選 token，然後由更大的目标模型進行驗證。這種方法允許每次前向傳遞生成多個 token，而不會影響性能，從而顯著減少 RAM 占用，實現效率提升。
AMD 表示，這款模型在四個 AMD Instinct MI250 節點訓練了六天，其“編程專用版本”變體 AMD-Llama-135m-code 則額外耗費了四天時間進行微調。
你可能想看：
我來說兩句