斯坦福搞出来个“羊驼”，100美元能平替ChatGPT？
手机淘宝搜：天降红包55 5月20日开始，每天领红包。 京示搜：天降红包369，5月28日开始
斯坦福moss,斯坦福吧,斯坦福ccrma,斯坦福的一夜之间，大模型界又炸出个big news！
斯坦福发布【【微信】】（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-da【【微信】】）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！
还有一个更绝的“骚操作”。
研究所涉及到的数据集，是斯坦福团队花了不到500美元用【【微信】】的API来生成的。
所以整个过程下来，就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。（薅羊毛高手……）
然后团队还说，用大多数云计算平台去微调训练好的模型，成本也不到100美元：复制一个GPT-3.5效果的AI，很便宜，很容易，还很小。
而且团队还把数据集（秒省500美元）、代码统统都给开源了，这下子人人都能去微调个效果炸裂的对话AI：
项目在GitHub发布才半天时间，便已经狂揽1800+星，火爆程度可见一斑。
Django联合开发者甚至对斯坦福的新研究用“惊天大事”来形容：
不仅如此，斯坦福团队还搞了个demo，在线可玩的那种。
话不多说，我们现在就来看看这个“草泥马”的效果。
比肩da【【微信】】的草泥马Aplaca
在斯坦福官方的演示中，他们先小试牛刀地提了一个问题：
什么是羊驼？它和美洲驼的区别是什么？
草泥马Aplaca给出的答案较为干练：羊驼是一种小型骆驼科动物，原产于秘鲁、玻利维亚、厄瓜多尔和智利；它比美洲驼小，羊毛更细，也没有驼峰。
而后又简单的介绍了二者群居生活的不同。
同样的问题若是交给ChatGPT（GPT3.5-turbo），则答案就不会像草泥马Aplaca那般简洁：
对此，团队给出的解释是：【【微信】】的答案通常比ChatGPT短，反映出text-da【【微信】】的输出较短。
而后团队演示了让草泥马【【微信】】写邮件：写一封e-mail祝贺被斯坦福大学录取的新生，并提到你很高兴能亲自见到他们。
草泥马【【微信】】对于这个任务也是信手拈来，直接给出了一个像模像样的邮件模板：
难度再次进阶，团队这次提出了让草泥马【【微信】】写论文摘要的需求：写一篇经过深思熟虑的机器学习论文摘要，证明42是训练神经网络的最优seed。
草泥马【【微信】】给出的答案从内容上来看，非常符合大多数论文的摘要形式：试图回答什么问题、用了什么方法、结果如何，以及未来展望。
当然，也有迫不及待的网友亲自下场试验，发现草泥马【【微信】】写代码也是不在话下。
不过即便草泥马【【微信】】能够hold住大部分问题，但这并不意味着它没有缺陷。
例如团队便演示了一个例子，在回答“坦桑尼亚的首都是哪里”的问题时，草泥马【【微信】】给出的答案是“达累斯萨拉姆”。
但实际上早在1975年便被“多多马”取代了。
除此之外，若是亲自体验过“草泥马”【【微信】】就会发现，它……巨慢：
对此，有网友认为可能是使用的人太多的原因。
笔记本、手机、树莓派都能跑
Meta开源的LLaMA大模型，刚发布几周就被大家安排明白了，单卡就能运行。
所以理论上，基于LLaMA微调的【【微信】】同样可以轻松在本地部署。
没有显卡也没关系，苹果笔记本甚至树莓派、手机都可以玩。
在苹果笔记本部署LLaMA的方法来自GitHub项目llama.cpp，使用纯C/C++做推理，还专门对ARM芯片做了优化。
作者实测，M1芯片的MacBook Pro上即可运行，另外也支持Windows和Linux系统。
还是这个C++移植版本，有人成功在4GB内存的树莓派4上成功运行了LLaMA的 70亿参数版本。
虽然速度非常慢，大约10秒生成一个token（也就是一分钟蹦出4.5个单词）。
更离谱的是仅仅2天之后，有人把LLaMA模型量化压缩（权重转换成更低精度的数据格式）后成功在Pixel 6安卓手机上运行（26秒一个token）。
Pixel 6使用谷歌自研处理器Google Tensor，跑分成绩在骁龙865+到888之间，也就是说新一点的手机理论上都能胜任。
微调数据集也开源
斯坦福团队微调LLaMA的方法，来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。
以175个问题作为种子任务，让AI自己从中组合出新的问题以及生成配套答案实例，人工过滤掉低质量的，再把新任务添加到任务池里。
所有这些任务，之后可以采用InstructGPT的方法让AI学会如何遵循人类指令。
套娃几圈下来，相当于让AI自己指导自己。
斯坦福版【【微信】】，就是花了不到500美元使用【【微信】】 API生成了5.2万个这样的示例搞出来的。
这些数据同样开源了出来，并且比原论文的数据多样性更高。
同时还给出了生成这些数据的代码，也就是说如果有人还嫌不够，可以再去自行扩充微调数据，继续提高模型的表现。
微调代码也会在【【微信】】官方支持LLaMA后放出。
不过【【微信】】最终的模型权重需要Meta许可才能发布，并且继承了LLaMA的非商用开源协议，禁止任何商业用途。
并且由于微调数据使用了【【微信】】的API，根据使用条款也禁止用来开发与【【微信】】形成竞争的模型。
One More Thing
还记得AI绘画的发展历程吗？
2022年上半年还只是话题热度高，8月份Stable Diffusion的开源让成本下降到可用，并由此产生爆炸式的工具创新，让AI绘画真正进入各类工作流程。
语言模型的成本，如今也下降到了个人电子设备可用的程度。
最后还是由Django框架创始人Simon Willison喊出：
大语言模型的Stable Diffusion时刻到了。
梦晨 金磊 发自 凹非寺
量子位 | 公众号 【【微信】】
文心一言是百度自己研发的吗 百度的文心一言什么时候上线
文心一词的出处,百度文心ernie,文心ait,文心是谁写的3月10日，据百度官方微博消息，百度计划于3月16日14时在北京总部召开新闻发布会，主题围绕“文心一言”。百度创始人、董事长兼首席执行官李彦宏，百度首席技术官王海峰将出席。
“文心一言”是百度公司旗下的类ChatGPT聊天机器人，英文名ERNIE Bot。
据悉，今年1月初，公司高管让百度自然语言处理部的团队开始用“文心”模型整合出一款对标ChatGPT的产品。百度表示，目前已经与400多家中国公司签署了协议，这些公司将能够在其产品和服务中使用“文心一言”。与此同时，这款聊天机器人能够通过在不同场景下的运行积累经验，这将有助于其性能的提高。
值得一提的是，2023年2月14日，国内首个以科技、财经为主要特色的平台级主流移动新闻客户端――深圳商报旗下读创客户端宣布成为百度“文心一言”首批生态合作伙伴，也是深圳首家宣布接入文心一言的媒体。
值得关注的是，同样是在下周，微软下周将发布比聊天机器人ChatGPT更高级的GPT-4模型。
当地时间3月9日，德国媒体Heise报道称，微软德国首席技术官Andreas Braun在一场AI（人工智能）活动中提到，将于下周推出自然语言处理模型GPT-4，“我们将在下周推出GPT-4，它将是一个多模态模型（multimodal models），能够提供完全不同的可能性，比如支持视频。”
据了解，GPT-4是一种大型语言模型，其开发公司是OpenAI，近日爆火的聊天机器人ChatGPT是基于GPT-3的增强版进行的改造。
根据IDC的研究，百度在2022年上半年被列为第一大人工智能云供应商。百度最近报告了2022年第四季度稳健的财务业绩，其营收为48亿美元(331亿元人民币)，但百度的大部分收入来自在线广告业务，该业务在2022年第四季度的收入占比约为59%，即28.4亿美元。
百度创始人兼董事长李彦宏在财报发布后的内部信中说：“AI技术已经发展到一个临界点，各行各业都不可避免地被改变，中国AI市场即将迎来爆发性的需求增长。”
此外，百度还宣布了一项到2025年为止高达50亿美元的巨额回购计划，这将大大减少流通股的数量，从而最终推动股价。
商报君精选
等你来pick→
比亚迪官宣！英国正式开售，30万元起
收藏！60国出境游名单来了！
胡润研究院：中国“富裕家庭”一年增加10万户
读创/深圳商报综合
编辑 吴怡漪
责编 李耿光
监制 汪波
校审 谭录岗
点击 在看，让更多朋友看到！返回搜狐，查看更多
责任编辑：
