GPT 问世到如今已经过去了两年多的时间,在这期间全球 AI 的发展速度超乎想象。仅仅在过去的三个月里,DeepSeek 凭借着 V3 和 R1 模型引发了开源热潮,并且不断地刷新着开源大模型的性能以及成本的边界;阿里通义千问的 QwQ - 32B 等众多款开源大模型也得到了用户的好评。
海外厂商进行了密集的升级。OpenAI发布了 GPT-4.5。马斯克的 xAI 推出了 Grok-3。meta 也在近日放出了外界期待已久的 Llama 4。
数据表明,中国使用生成式 AI 的人数已经超过了 3 亿。每 5 个人当中,就有 1 个人接触过 AI 工具。在企业端,需求呈现出井喷的态势。从云端的 API 调用,到专用一体机的部署,开源技术得到普及,使得中小企业和个人开发者也能够使用顶尖的大模型。
但在技术普惠的背后,开发者们正遭遇着多重困境。其一为算力瓶颈,国外的高端芯片难以获取,国内的算力资源还在建设过程中,并且训练优质模型通常需要数千张显卡一同工作。
更现实的问题在于开发环境方面:如今的主流 AI 框架是以 Linux 系统为基础进行开发的。大部分开发者所使用的电脑,需要借助虚拟机来运行 Linux 系统。在这个过程中,存在着驱动、依赖库以及框架版本等诸多变量。并且,不同系统之间的兼容性问题时常会出现。
算法迭代是以天为单位来计算的。开源社区每天都有新的成果诞生。开发者所需要的,可能不仅仅是性能更强的芯片,还需要一种能够彻底释放生产力的设备形态。
一、开发环境繁琐、算力受限,AI开发者如何破局?
当下的AI开发者究竟需要什么样的设备?
在国内的开发者社区进行搜索,我们可以看到许多 AI 开发者都提及部署开发环境时流程较为复杂,同时容易出现兼容性方面的问题。
在 Linux 虚拟化环境中,指令翻译与模拟会带来性能损耗,内存管理开销也会导致性能损耗,I/O 瓶颈同样会带来性能损耗,这些性能损耗使得硬件的潜能难以充分释放。
社区普遍认为,Linux 系统具有开源性和高度的可定制性。正因为如此,它能够很好地适配各种模型和开发框架。
许多主流的 AI 开发框架,如 TensorFlow、PyTorch 等,都对 Linux 系统有良好的支持。Linux 系统在服务器端被广泛应用,这使得它的性能优化和资源管理更加成熟。
Linux 系统通过合理的配置与优化,能够有效降低性能损耗,还能显著提升系统的性能表现,进而让开发环境变得更加高效。
算力是诸多开发者面前的一道难题。端侧虽能提供即时的计算能力,然而其算力较为有限,难以应对复杂任务。云端计算的算力虽然强大,但在时延方面存在一定的劣势。
在这一背景下,端云协同方案可以有效地应对端侧算力的局限性以及云端的时延问题。端云协同使得能够在终端设备上开展实时数据处理,以此来降低响应的时间。并且,把部分较为复杂的计算任务分配到云端,以便充分运用云端的强大算力。此外,端云协同还能够对带宽的使用进行优化,减少数据的传输量。
有设备能够有效整合上述那些特点,这样的设备就有希望成为下一代更适宜 AI 开发者的平台。
二、“算力本”新品类出现,开箱即用的个人AI开发中心
近日,国内有一家新锐创企叫爱簿智能,它发布了 AIBOOK 算力本。这个产品具备 50TOPS 的端侧算力,还有 32GB 的统一内存。它搭载了 Linux 原生环境,并且配备了开箱即用的 AI 开发工具套件。通过端云一体的架构,实现了“AI 实训”的能力。
AIBOOK 算力本和 AI PC 不一样。AI PC 是具有 AI 功能的个人电脑,它更多地被当作是传统 PC 的升级换代产品,用来满足一般消费者对轻量级 AI 应用的需求。
爱簿智能把 AIBOOK 算力本规定为“AI 学习与开发工具”,期望能协助用户达成“开发自由”,同时处理好 AI 开发里的效率问题。
在 INT8 精度下,能够流畅地支持百亿参数大模型离线运行。
这款 AI 算力本在操作系统方面,使用的是基于 Linux 内核的 MT AIOS 操作系统,此操作系统是专门为 AI 开发而进行优化的,并且开发者不需要进行繁琐的配置。
AIBOOK 算力本预置了完整的 AI 开发环境。其中包括 Python 3.10 这一主流开发工具。还包括 VS Code 这一开发工具。也包括 Jupyter Notebook 这一开发工具。同时还包括 PyTorch 这一常用库。还包括 MTT 这一常用库。也包括 vLLM 这一常用库。还包括 Pandas 这一常用库。还包括 Matplotlib 这一常用库。还包括 NumPy 这一常用库。还包括 Seaborn 这一常用库。这些工具和库覆盖了数据科学、机器学习与深度学习领域。实现开箱即用,帮助开发者绕过了“配置地狱”,
AIBOOK 算力本借助“端云一体”协同方案,会与摩尔线程夸娥云进行整合。用户能够一键连接云端算力,进而调用规模更大的大模型来进行推理或者训练。同时,用户还可以自由地在本地模型和云端模型之间进行切换,这样既能够保护私有数据,又能够充分利用云端的资源。
在爱簿智能所提供的实训案例里,我们看到了这款算力本为 AI 开发者提供的许多实用功能。
AIBOOK 算力本所采用的 Linux 系统具备强大的命令行工具。此系统能帮助开发者迅速完成各类复杂任务,像进行文本处理,实施文件操作以及编写自动化脚本等。