明白做大模型时代的「Linux」， ChatGPT 仅是开端2023／3／11 4：05：24

双十一 2023-03-20 14:46:29 0

手机淘宝搜：天降红包55 5月20日开始，每天领红包。
京示搜：天降红包369，5月28日开始

模型大厂,模型大型,做模型的体会,做模型的人

一代人的时间里总会有几次这样的时刻：一种产品的出现将一项技术从昏暗的工程系地下室、臭气熏天的书呆子们的卧室和业余爱好者们孤独的洞穴中弹出来，变成了连你的祖母都知道如何使用的东西。chatgpt入口的最新消息可以到我们平台网站了解一下，也可以咨询客服人员进行详细的解答！https://www.【【微信】】.com《财富》杂志的这段话，捕捉了1994年网景浏览器和2022年iPhone的历史意义，也描述了今天ChatGPT为人工智能领域带来的变化。它们都是一个生态体系的开端。ChatGPT的背后是AI大模型，但智能时代的未来不会仅仅是大模型本身，而将是大模型生态体系。北京智源人工智能研究院院长铁军认为，过去的「炼」大模型并非一种正常的状态，AI一定是通过作为公品的智力而非个别的大模型来提供服务的。在未来，大模型会有很多，但大模型生态体系不会超过3个。而要建立提供数据、训练、治理等全套服务的大模型生态体系，并非哪一家企业能为之，需要更多机构一起合作。在铁军看来，智能时代需要真开源，不是某一家企业控制下的开源，而是像Linux和RISC-V 那样的开源。如果不想在这一波AI大模型热潮中被卡脖子，我们只有开源一条路。为了加这一步伐，智源研究院在2月28日发布了FlagOpen（飞智）大模型技术开源体系，大模型领域的「Linux」正在诞生。做大模型时代的「Linux」， ChatGPT 仅是开端智源研究院院长铁军―― 1 ――ChatGPT 水面之下：回归技术理性爱迪生曾在曼哈顿的一个街区铺设电网，点亮了那个街区，OpenAI推出ChatGPT也具有同样的局部验证性作用。在大呼惊奇过后，国内各家纷纷赶制版ChatGPT，相当于各自建立一个小型电网、为一部分用户服务。但这距离大模型作为一种产品服务进入到千家万户还有很长一段距离。我们亟需从ChatGPT的商业化狂潮中回归到技术理性。要看到的是，ChatGPT作为一个产品只是水面上的冰山一角，水面之下是大模型的底层技术体系。一方面，商业模式尚未清晰，大模型的战略“占位”意图更加明显，仅少数玩家具备技术基础的相对充分累积。而总资源有限，算力稀缺，资本驱动的模式可能会导致重复性浪费，影响潜在的技术进步可能性。另一方面，如今的大模型虽然已经足够大，但将来要走什么样的技术路线还是一个开放的问题，有许多问题尚待解决，比如是否会有新的架构和算法、如何解释大模型的涌现能力、怎么提高大模型的高级认知能力等等。不仅仅是科学问题，在大模型的产业化过程中，如何用更少的计算成本、智能水平更高的大模型去提供AI服务，也需要长期考虑。就像有了发电厂之后，仍要继续钻研提高发电效率的技术，研究家庭用电接口的方式等等。所以，是否也要做一个ChatGPT出来基于当前匆匆回应，也许不如进一步面向未来看问题―― 如何驱动整个大模型产业及生态产生越来越多令人惊喜的AI现象「大模型只是冰山一角，我们要在大模型磅礴的大生态中找准自己的历史性位置。」铁军认为，大模型是一种中间状态，它不是比较终的服务形态，而是现阶段用特定技术、特定算法训练出来的结果。未来的形态应当是以大模型为技术手段、向所有人提供24×7服务的智能运营系统。如同今天的通信网络运营商仅有几家巨头，将来大模型的服务运营体系也会屈指可数――但庞大的产业群带来的商业机遇会更多。从技术出发建立生态，需要一个协作的方式。研究人员提出不同的大模型技术创新，并汇聚到一个开源开放的技术体系下，去展示能力、评估和比较。而且，不是止步于造一个大模型出来，而是持续地进行技术迭代。智源联合多家产学研单位建立大模型技术开源体系FlagOpen，正是面向这样一个长远的命题：在智能时代以大模型为代表的产业体系中，我们应该做些什么而论是从对前沿技术的重视程度还是组织的中立性来看，智源作为非营利研究机构做大模型开源这件事是再合适不过。―― 2 ――从大模型引领者到开源先锋「某种意义上，我们是后退一步，而不是去赶一个热点。」铁军说道。在各路势力一个接一个宣称入局ChatGPT的热潮中，智源推出国内首个大模型开源体系，也更加希望保持冷静的理性思考，探索还能为人工智能前沿研发底层环境做些什么。作为非营利机构，智源一直聚焦打造有重大技术挑战、需要紧密工程协作、长期攻关的重大系统级成果。相较于近期的商业化热潮，智源显然更关心技术本身，与大模型领域的长期发展。大模型在起飞之初，智源是当之愧的引领者。过去几年，已经积累了冰山之下大模型的技术栈。这是智源做大模型开源这件事的底气。坐落在「宇宙中心」五道口，智源汇聚了来自北大、清华、人大、中科院等学术高地的AI人才。作为中立非营利创新科研机构，相比高校与企业，一方面可以更好地汇集企业、学界资源集中力量做大事；另一方面非商业不逐利，愿意尊重科研创新规律，让科研人员在自由的环境中充分进行创造力探索。对有价值问题的聚焦，使得其成为上一波大模型热潮中的头雁。2022年OpenAI发布GPT-3，智源立即喊出“大模型时代即将到来”的AI未来图景，坚定奔走推动大模型研究路线，并迅速组织了“悟道”大模型攻关团队，训练出了中文预训练语言模型CPM。“悟道”团队的成员，目前已成为国内大模型研究的中坚力量。之后，智源继续加大对大模型的投入，在2022年3月发布了大模型项目“悟道1.0”，包含中文语言、图文多模态、认知和蛋白质序列预测四个方向的模型。3个月后，智源又推出创造当时“全球比较大”纪录的“悟道2.0”大模型项目。如今，大模型限堆参数的热潮已经冷却，如何在大模型的封闭生态形成前，推动建立大模型开源体系，拥抱开源开放，鼓励人工智能的底层技术创新集体热情铁军断言：「不可能、也不应该有任何一家企业来完全封闭地主导大模型这么一个重要的方向。」大模型的重要性在于，它通过一个通用模型来完成多场景任务，作为底座能够诞生数AI应用，因而是AI时代的基础设施。而从技术层面来讲，当前的大模型仍具有诸多难以透彻理解的黑箱特性，因此更加需要以开源开放的方式让大模型更安全地提供服务。而开源本身也已经成为必然趋势。以操作系统为例，为何大家都愿意用开源的操作系统对于商业公司而言，使用开源产品带来的并非仅仅是成本的降低，更重要的是风险的降低和质量的提高。由一家企业维护的闭源项目一旦终止，用户就要迁移全部技术栈，但开源不会出现这种风险，而且技术问题在开源的情况下也能更得到解决。对于研发成本极大的大模型而言，开源更是能够集约资源、汇聚人类智慧，避免重复造轮子。智源已经在大模型开源这条路上走了一段距离。「悟道」系列模型已经在持续开源，包括「悟道2.0」通用语言大模型GLM、「悟道3.0」视觉预训练大模型EVA、视觉通用多任务模型Painter、文生图大模型AltDiffusion等等。过去，智源汇集承载产学研各界力量推动大模型研究事业；现在，智源正在推进更艰巨的大模型开源开放生态建设――推出了FlagOpen（飞智）大模型技术开源体系。―― 3 ――FlagOpen：大模型时代的「Linux」大模型的技术创新涉及算法、模型、数据、工具、评测等各个层面，因此FlagOpen开源体系也全面涵盖了这些模块，能够让开发者和企业更、更低门槛地上手大模型的研发。智源之所以选择在当下发布FlagOpen开源体系，其中一个考虑也是因为看到在这一波ChatGPT热潮中，许多以往没有大模型研发经验的初创团队，也开始尝试自研大模型，对他们而言，FlagOpen来得非常及时。做大模型时代的「Linux」， ChatGPT 仅是开端FlagOpen开源体系中的重头戏，是一个大模型算法、模型及工具一站式开源项目FlagAI。该项目已经涵盖了各领域的一些明星大模型，如语言大模型OPT、T5，视觉大模型ViT、【【微信】】，多模态大模型CLIP等，以及智源自家的大模型。这些大模型在际调用和复现过程中的技术门槛很高，为此FlagAI集成了很多主流大模型算法技术，以及多种大模型并行处理和训练加速技术，并且支持微调，开箱即用的方式对开发者非常友好。大模型生态的另一要素是AI硬件评测，AI软硬件技术栈异构程度高、兼容性差，应用场景复杂多变，都给评测带来了很多挑战。FlagPerf搭建的AI硬件评测体系，提供了可直接下载且适配各家芯片的整套评测软件，能大大降低用户企业和芯片企业的人力成本。FlagPerf的推出，也体现了智源开源开放的决心。一方面，不同于目前知的AI基准评测MLperf，FlagPerf不搞排榜单，且及时跟进比较新的大模型基准；另一方面，其他大厂企业做的评测本身有其商业诉求，不够开放，而智源作为中立机构，建立评测体系的目的是为了让大模型产业更加成熟，所以评测涵盖各种芯片，而非仅仅某一款，并且支持多种深度学习框架，对用户企业的选择不加限制。也正因如此，智源首时间就把多个厂商和团队拉了进来，包括天数智芯、百度PaddlePaddle、昆仑芯科技、移动等，一同推进AI硬件评测建设。林咏华谈道，「我们首先希望它先变成一个事的基准。所谓事基准是大家评测硬件的时候都爱用它，至于未来要不要发展成产业的标准，我们顺其自然。」科学、公开的大模型评测基准及工具，同样是大模型取得技术进步的重要条件。尤其是当下AIGC的应用越发火热，行业亟需对模型在AI生成任务上的评估。基础大模型评测开源项目FlagEval为此提供了覆盖多种模态和测评维度的评测工具，其中就包括多模态领域的CLIP系列模型。在数据方面，智源构建了支撑大模型训练的WuDaoCorpora语料库，包含文本、对话、图文对、视频文本对四类数据。FlagData还集成了包含清洗、标注、压缩、统计分析等功能在内的多个数据处理工具与算法。在AI走向工程化的趋势下，大型数据集的构建正在成为的巨大机会，这个过程需要更大、更开放的协作。智源此次发布的OpenLabel是中文世界首个开放数据标注平台，它转动了数据飞轮，正持续为大模型提供训数据源。除了以上四大模块，FlagOpen开源体系中还涵盖了文生图开源项目集合FlagStudio，以及AI应用微服务框架开源项目FlagBoot，为大模型的研发和应用开放了全方位的能力。FlagOpen专门围绕大模型而搭建的开源体系，这也是它与其它开源平台的区别所在。国外有HuggingFace、国内有魔搭社区（Model Scope），而关于FlagOpen的定位，林咏华解释：「我们不只是想构建一个很多人参与的繁华社区，更是希望推动大模型技术的发展。」从产品的角度讲，FlagOpen为用户在研发大模型的需求上提供了一个更合适的选择。针对“开源的不如闭源”说法，铁军认为，开源开放是一个大趋势，开源形式的产品将会占据比较大的份额，而在一个特定方向上某个闭源产品做得更好，这一点并不奇怪。「这不等于谁打败谁了，而是大家在满足自己需求时所做的不同选择。」就像Linux成功在市场竞争中占据主要份额，但它不是把所有操作系统都打败了。FlagOpen刚刚迈出了开源首步。智源开源的策略并非等一切都足够完备再开源，而是把种子点做了之后就开源，这样可以更地推动企业和团队在非商业合作协议下互相合作。比如，AI 硬件评测开源项目是先从比较难也比较短缺的训练端做起，这一块做好了推理端便不是难点。类比13年前云计算开源平台OpenStack的起家，Rackspace和NASA合伙做了Nova并将其作为种子开源，同时成立了OpenStack基金会，让更多企业一起参与贡献，这才有了国内今天所有的云计算厂商。这也是智源做大模型开源的初心。而对于FlagOpen的未来，智源的期待是将其打造成大模型时代的「Linux」。「什么叫一个开源项目成功了就是大多数做产品和服务的企业都用这样的开源体系，就像Linux和Risc-V的开源开放带来了广泛采用，希望FlagOpen在智能时代也能发挥类似的作用。」