作者：Chao Wang 来源：Future Mosaic 翻译：善欧巴，金色财经
纵观科技史，重大突破往往独立发生，每一项突破都会引发一场革命。然而，当两种强大的技术融合在一起时，它们的协同作用可以催化非凡的进步。今天，我们正站在这样一个十字路口：人工智能和加密货币，本身就具有变革性，正在联手。
我们设想加密解决方案将解决众多人工智能挑战，人工智能代理将构建自治经济网络以加速加密的采用，人工智能将推动现有加密技术的演变。许多人的目光都集中在这个交叉点上，大量资金涌入，这些热词的热情助长了这一趋势。
然而，在所有这些令人兴奋的事情中，我们对基础知识的了解却少得可怜。人工智能对加密的理解程度到底有多高？由 LLM 驱动的代理是否真的能够使用加密工具？不同的模型在加密任务中的表现如何？这些问题的答案对于指导这一新兴领域的产品和技术方向至关重要。
但我们不知道。
针对这些基础问题，我们进行了实验评估，评估了包括主流商业和开源模型在内的 18 个大型语言模型，参数规模从 3.8B 到 405B。
闭源模型：GPT-4o、GPT-4o Mini、Claude 3.5 Sonnet、Gemini 1.5 Pro、Grok2 beta（目前为闭源）
开源模型：Llama 3.1 8B/70B/405B、Mistral Nemo 12B、DeepSeek-coder-v2、Nous-hermes2、Phi3 3.8B/14B、Gemma2 9B/27B、Command-R、Qwen2-math-72、MathΣtral
该研究旨在评估人工智能加密应用的现状，并评估人工智能与加密集成的潜力和挑战。鉴于这项研究还处于早期阶段，本文重点关注关键见解，而不是具体的结果数据。
实验表明，人工智能模型对加密货币基础知识有全面的了解，并对加密货币生态系统表现出广泛的熟悉度。这些模型还表现出执行各种基本钱包操作所需的知识的熟练程度。在适当的提示下，它们的能力不仅得到了显着提高，而且还展示了按照指示执行复杂分析和操作的能力。这些发现共同表明，为众多加密货币相关领域开发人工智能应用程序现在是一个可行的前景。
然而，研究也发现了几个关键的局限性。这些模型的理论知识和实际应用技能之间存在很大差距，特别是在与加密相关的计算方面。虽然它们能够生成简单的智能合约，但它们很难识别更复杂协议中的复杂漏洞。此外，这些模型无法解决在基于云的人工智能系统中安全管理私钥的基本挑战。
深入探索
数学差距：最值得注意的发现之一是人工智能模型普遍难以处理与加密相关的计算。这不仅仅是复杂的加密技术；即使是计算 AMM 滑点或挖矿盈利能力等基本操作也具有挑战性。然而，需要注意的是，大型语言模型并不是为数学计算而设计的。可以通过加载预设代码来绕过 LLM 的直接计算来解决这一限制，从而提高效率和准确性。这种方法类似于人类通常处理复杂计算的方式，依靠专门的工具或预先设定的公式。
安全困境：虽然人工智能模型展示了对加密安全原则的扎实掌握，但使用人工智能实现安全系统的现实仍然存在问题。许多人工智能系统对基于云的处理的需求与加密货币的去中心化、无信任性质产生了内在冲突。解决这个问题将需要第三方服务，例如 TEE、HSM，甚至更具创新性的新技术。
智能合约：形式重于功能：AI 模型表现出了理解智能合约和解释其功能的出色能力。它们可以有效地修改合约以解决常见的漏洞和优化点，甚至可以自主创建简单场景的合约。然而，当涉及到深藏在复杂业务逻辑中的漏洞时，所有模型都无法识别它们。这表明模型对智能合约的理解仍然在很大程度上停留在表面，侧重于形式，而不是掌握底层业务逻辑的复杂性。虽然 AI 在合约交互和基本创建方面表现出色，但很明显，人类的专业知识对于确保复杂智能合约系统的安全性和效率仍然至关重要。
开源挑战：顶级闭源模型与大多数开源替代方案之间的巨大性能差距引发了有关加密领域人工智能未来的重要问题。鉴于加密社区强调开放性和去中心化，弥合这一差距对于广泛采用至关重要。
坚实的基础和潜力：尽管面临挑战，但模型展示了对加密基础知识的深刻理解，并显示出对加密生态系统的熟悉。在适当的提示下，它们的能力显著提高。这表明加密领域的人工智能有着坚实的基础，模型对区块链架构、共识机制和代币经济学等概念的掌握令人印象深刻。引导提示的显著改进表明，当前的人工智能模型虽然并不完美，但已经能够在许多与加密相关的任务中提供有价值的见解和帮助，从市场分析到协议设计评估。
随着实验的进展，一个迫切的需求变得显而易见：加密领域需要标准化的人工智能基准。正如 ImageNet 彻底改变了计算机视觉人工智能一样，加密专用基准可以推动这种技术融合的快速进步。
如果人们相信人工智能和加密技术的交叉点具有巨大的潜力，并且人工智能有望推动加密技术的广泛采用，那么为加密领域建立专用基准就成为当务之急。这些基准可以作为连接人工智能和加密领域的重要桥梁，催化创新并为未来的应用提供明确的指导。这项努力不仅仅是一项技术活动；它是对如何理解和塑造这一新兴数字前沿的深刻反思。
然而，创建这样的基准并非易事。它面临着几个重大挑战：加密技术的快速发展，其知识库仍在不断变化，并且在多个核心方向上缺乏共识；该领域的跨学科性质，涵盖密码学、分布式系统、经济学等，其复杂性远远超过任何单一领域；不仅需要评估理论知识，还需要评估人工智能利用加密技术的实际能力，这需要设计新的评估框架；必须确保基准测试任务与 DeFi、NFT、DAO 和其他新兴加密领域的实际应用保持相关，相关数据集的稀缺性进一步加剧了难度。
鉴于这些挑战的规模和复杂性，很显然这不是一项可以单独解决的任务。问题的多面性需要多种专业知识和观点。它需要加密货币和人工智能社区的共同努力。只有通过这种集体智慧，我们才能确定这一新兴技术前沿中真正重要的东西，并创建准确反映人工智能在加密货币领域的复杂性和潜力的基准。
当前的研究框架由几个关键部分组成：
一个包含约 700 道多项选择题的 MVP 数据集，由人工智能和人类协作生成，随后由人类专家验证和完善。尽管存在质量限制，但该数据集能够快速自动测试模型，展示概念理解并提供基本的评分机制。
约 100 个复杂任务不断增加，涵盖模拟、计算、代码审计和工具使用等场景。这些任务由多位加密领域专家贡献，增加了评估的深度和真实性。
为了建立有效的基准，数据集需要大幅扩展，需要更多领域专家的参与。为这些复杂任务开发合适的自动评估框架也是需要解决的关键挑战。
此外，为了让 LLM 能够应对未来现实世界的任务挑战，实现一个基本的 Agent 框架至关重要。该框架将提供更真实的测试环境，弥合理论知识与实际应用之间的差距。
该方法正在不断完善，重点是提高测试用例的复杂程度并扩大整体数据集。本着开放协作的精神，所有相关资源将很快在 GitHub 上公开，旨在加快进展并邀请更广泛的社区参与。
值得注意的是，这项研究仍处于早期阶段。研究结果应被视为初步观察和进一步研究的起点，而不是快速发展的人工智能和加密领域的明确结论。该项目欢迎更广泛的加密社区做出贡献，以帮助建立更全面、更强大的评估框架。
来源：金色财经