在人工智能和大语言模型（LLM）领域，量化技术的进展一直是研究的热点。近期，来自自动化研究所、清华大学和港城大学的DuQuant团队在NeurIPS 2024会议上展示了一项突破性成果，该技术能够在短短50秒内完成7B模型的量化，且在4比特设置下达成了新的SOTA（state of the art）。这一成就为大语言模型的实际应用提供了新的可能，尤其是在硬件资源有限的情况下。 量化通常是将浮点数表 ...

阿克塞县林业生态工作站工作人员在215国道路旁发现一只疑似失散离群的野生禽类动物鸬鹚， 经工作人员鉴定，确认为国家二级保护动物——鸬鹚（别名“鱼鹰”）。经进行伤情检查和疫情检疫，鸬鹚全身未发现明显外伤和禽流感征兆，疑似在迁徙过程中，因体力不支而离群失散，工作人员采取饮水、喂食、留观等临时救助措施后，第一时间对其进行了放生。

直接将激活量化为低比特可能会出现较大的精度损失。其原因在于激活矩阵中存在离群值（图4）。 一个有效的方法是SmoothQuant，主要思想是通过平滑 ...

11月5日下午，阿克塞县林业生态工作站工作人员在215国道路旁发现一只疑似失散离群的野生禽类动物鸬鹚。经鉴定，确认该鸟为国家二级保护动物——鸬鹚（别名“鱼鹰”）。经兽医进行伤情检查和疫情检疫，该鸟全身未发现明显外伤和禽流感征兆，疑似在迁徙过程中，因体力不支而离群失散。救助站采取临时救助措施后，第一时间对其进行了放生。