AI人工智能概念：NVlink 说到多卡互联的技术，首先肯定要提到英伟达自己的NVswitch和NVlink。其中NVlink甚至可以将多块板卡上的计算单元进行联合工作。比如推理一个70B的模型需要80G的显存，一张4090的显存是24G，因此你需... 枫寒 人工智能 2024-10-19 95 阅读 0 评论
AI人工智能概念：infiniband 如果多张卡还是不够，需要多组服务器相连，相互通信和传输数据，除了通常使用的以太网以及光纤连接以外，最新的一种方式称为infiniband，无限带宽，听上去是不是就很猛。InfiniBand是一种高性能互连技术，广泛应... 枫寒 人工智能 2024-10-19 76 阅读 0 评论
AI人工智能概念：chiplet 说一个题外分支，由于先进工艺产能有限，而且价格昂贵，所以现在出现了很多新的技术，尤其在国内，chiplet就是一种解决方案：用不同的工艺生产一块完整功能的“芯片”的不同部分：CPU和GPU用先进工艺，接口IO这些用传... 枫寒 人工智能 2024-10-17 106 阅读 0 评论
AI人工智能概念：算力 前面在讲芯片能力时都用性能来表述，实际在人工智能领域，大家更熟悉的一个描述可能是算力。所谓算力，就是计算能力，不过我们一般会以某种单位来进行表征，这包括使用什么样的数据精度，进行什么样的运算，来定义一款人工智能芯片的... 枫寒 人工智能 2024-10-17 116 阅读 0 评论
AI人工智能概念：算力单位 算力一般是以每秒多少次操作来作为计算量的。不过因为每次操作的数据精度不同，可能会有不同的位宽，并且可能数量太大需要加上一个前缀，因此就有会看到有FLOPS、TOPS等等。其中FL是float，浮点数的意思，T是ter... 枫寒 人工智能 2024-10-17 95 阅读 0 评论
AI人工智能概念：数据精度 前面说到算力会将每秒计算的次数，与某种数据精度一起作为衡量标准。所谓是数据精度，一般指浮点数（FP32）、半精度浮点数（FP16）、整型（INT8）等等。他们所占用的位宽依次减少，计算量相对也会依次降低。并且，浮点数... 枫寒 人工智能 2024-10-17 100 阅读 0 评论
AI人工智能概念：定点数和浮点数 前面说到了整数和浮点数，那么什么是浮点数呢？对应的二进制没法表示小数，所以还会有定点数。实际上都是以二进制为基础，用多少位表示整数，其余部分表示小数。在计算和数据表示中，定点数和浮点数是两种常见的数值表示方式，它们各... 枫寒 人工智能 2024-10-17 115 阅读 0 评论
AI人工智能概念：量化技术 前面说到算力会将每秒计算的次数，与某种数据精度一起构成评判芯片性能的指标。但是芯片通常会同时支持不同的数据精度，因此可能需要在精度之间进行转换。一般来说，从连续数转换为离散的过程，就称为量化。概念和定义量化技术（Qu... 枫寒 人工智能 2024-10-17 108 阅读 0 评论
Neo4j入门系列（二十二）Neo4j 最短路径查询 日常中，我们经常听说过，我想认识xxx人，最少通过1个人可以认识别人，最多通过6个人可以认识某人。这里就体现的是生活中，所有人与人之间其实都是有联系的。比如：张三认识李四，李四认识王五张三认识赵六，赵六认识田七，... Rae 人工智能 2024-10-16 136 阅读 0 评论
Neo4j入门系列（二十一）Neo4j 使用java-driver开发教程 在neo4j中的Cyper查询语言中还有很多的关键字和函数，这些函数如果对mysql熟悉的话，看一遍几乎都会了，所以这里我们不再进行挨个讲解了，直接开启一下篇。这里的话我们使用java语言来演示一下使用java做ne... Rae 人工智能 2024-10-16 102 阅读 0 评论
