团队举例称，当人们使用ChatGPT时，请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大，通常还很慢。如果用户想要使用消费级图形处理单元运行LLM，就需要对这些LLM进行压缩。
CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简，可在手机或笔记本电脑等设备上存储和访问，同时提供了与未压缩版本几乎一样准确而微妙的性能。
虽然CALDERA并非首个压缩LLM的算法，但其独特之处在于兼具“低精度”和“低排序”两种特性。其中，“低精度”减少了比特数，加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。
团队表示，使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外，用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调，这使其能根据特定需求调整模型来增强隐私，而无需与第三方共享敏感数据。
不过团队也提醒道，在智能手机或笔记本电脑上运行LLM，可能会占用设备内存。
标签：
据美国科学促进会旗下网站19日报道，美国普林斯顿大学和斯坦福大学
青铜器的乐器以什么为代表?‌青铜器的乐器以钟为代表。‌在
进博会是企业的合作平台、沟通桥梁。第七届进博会期间，索尼(中国)
为深入贯彻党的二十届三中全会精神，进一步落实省、市关爱明天普法先行
10月31日，国网宁德供电公司输电运维人员对500千伏川棠Ⅰ路、Ⅱ路线
作为行走的GDP，业界常常用1：4 8形容演唱会经济对城市旅游、餐饮、
基金赎回的技巧是什么?‌了解赎回规则‌：不同基金产品可能
中新网成都10月19日电 (王利文)以众志新程，芯链WE来为主题的2024
银行基金和理财的区别是什么?1、投资对象：银行基金通常是由银行发
Win10电脑设置锁屏壁纸轮播的方法是什么?1 将要进行设置锁屏的照
10月11日，中国工程院院士、中国材料研究学会理事⻓、原华中科技大
北京时间10月8日08时至10月10日08时，太阳先后发生五次明显爆发活动
来源标题：FAST核心阵首台试验样机开工建设在500米口径球面射电望远
为认真落实黑龙江省委省政府关于长期开展房地产促消费活动和消费品
9月19日9时14分，乳白色的长征三号乙运载火箭从西昌卫星发射中心西
中秋节假期，各地商旅文体展消费活跃。记者在北京、四川、上海等地
