1月13日

OpenAI正式上线GPT Store

OpenAI已正式推出了GPT商店（GPT Store），并推出了团队版ChatGPT（ChatGPT Team）。GPT商店面向Plus、企业版和团队版用户开放，用户可以通过社区排行榜查看流行的GPT。除了整体热门榜单外，还有DALL-E（绘画）、写作、效率、研究、编程、教育和生活方式七个类别的细分榜单。OpenAI透露，上线两个月以来，GPT已超过300万个。今年第一季度，OpenAI将启动GPT创建者收入计划，根据用户对GPT的参与度提供报酬。团队版ChatGPT提供对GPT-4、DALL-E 3等高级模型的访问，并为团队协作提供专门的工作区和管理工具，收费标准为每用户25美元/月（按年收费）或30美元/月（按月收费）。GTP商店每周将重点介绍有用且有影响力的 GPT。首批推荐的一些 GPT 包括：AllTrails 的个性化路线推荐。通过 Consensus 搜索并综合 2 亿篇学术论文的结果。通过可汗学院的代码导师扩展您的编码技能。使用 Canva 设计演示文稿或社交帖子。通过书籍查找您的下一本读物。使用 CK-12 Flexi AI 导师随时随地学习数学和科学。在商店中包含您的 GPT。构建您自己的 GPT 非常简单，不需要任何编码技能。来源：OpenAI

量化新范式：智源提出首个1bit自然语言理解预训练模型BiPFT

智源团队提出了首个用于自然语言理解任务的 1bit 轻量化预训练模型 BiPFT。与标准的FP32相比，使用 1bit weight 和 1bit activation，在推理阶段显著节省了56倍的操作数量和28倍的内存。该工作已被 AAAI 2024 收录。与以往面向特定任务的 1bit Transformer结构的模型相比，BiPFT显著提升了 1bit 神经网络（BNN）的学习和泛化能力，推动 1bit 神经网络进入预训练时代。与直接在下游任务上进行二值量化的BERT模型相比，BiPFT 模型在GLUE标准测试集上平均性能超过15.4%。BiPFT还展示了较强的鲁棒性，在下游任务上微调时摆脱了1bit量化模型对特定超参数和模型蒸馏的依赖，从而在各种自然语言理解任务上具有更好的泛化能力。此外，受益于大量的预训练数据，智源团队创新采用一种数据驱动的1bit量化方法，减少量化损失。具体来说，首先通过分析自注意力操作中的1bit量化误差，推导出1bit量化误差的多项式表示，然后将1bit量化误差定义为二值化残差多项式模拟全精度自注意力，最后引入可学习的低秩估计器来对这些多项式进行参数化。来源：微信公众号【智源研究院】