Linux zip 与 unzip 命令详解:压缩算法原理与实战技巧
日常开发中,我们经常需要打包文件、压缩日志、分发部署包。虽然 tar + gzip 是 Linux 下的经典组合,但 zip 格式凭借跨平台兼容性,依然是文件传输和归档的首选。
内网带宽跑不满百 Gbps?OSS 三维调优实测帮你拉到位
大模型参数从百亿涨到数万亿,训练数据集从 TB 级膨胀到 PiB 级,GPU 算力每隔半年翻一番。AI 训练加载数据集、大规模备份要在窗口期内跑完,这些场景对内网带宽的要求动辄百 Gbps。
从毫秒到微秒:我用共享内存把跨进程通信延迟打掉了1000倍
上篇我们把内存映射文件技术翻了底朝天——10GB日志解析从15分钟缩到了5秒。有读者在评论区追问:“既然内存映射文件这么强,那我用来做跨进程通信呢?两个.NET进程之间的数据交换,能不能也用这套方案?”我把问题反问回去:“你现在的跨进程通信用的是什么方案?
一次压缩引发堆外内存过高的教训
一、项目介绍lz_rec_push_kafka_consume该项目通过kafka与算法进行交互,通过push推荐平台(lz_rec_push_platform)预生成消息体。
Linux中何为Buffer,cache,源码深入剖析
首先说明,本文讨论的cache指的是Linux中的page cache,buffer指的是buffer cache,也即cat /proc/meminfo中显示的cache和buffer。
透视CobaltStrike(二)—从CS到免杀框架Veil
概述在上一节的的文章了,笔者对CobaltStrike的基本使用和PE样本进行了一个概要的分析。通过上一小节的内容,可了解CobaltStrike的基本原理和代码解密上线方法。在本节中,笔者将会对CobaltStrike其他类型的恶意样本进行一个分析。
怎么实现Redis的高可用?(主从、哨兵、集群)
高可用有两个含义:一是数据尽量不丢失,二是保证服务尽可能可用。AOF 和 RDB 数据持久化保证了数据尽量不丢失,那么多节点来保证服务尽可能提供服务。
深入解读 GPUDirect PCIe P2P 驱动代码:Mailbox 和 BAR1 的实现原理及对比
自 2022 年起,NVIDIA 开源了其 Linux GPU 内核模块代码。在 GPUDirect P2P 技术出现之前,多 GPU 系统的通信模式普遍依赖 「CPU 中转」,即数据回弹机制:当 GPU A 需要向 GPU B 传输数据时,需先将数据从 GPU A 的显存拷贝到系统内存,再由 CPU 调度,将数据从系统内存拷贝到 GPU B 的显存。
弥补延时消息的不足,RocketMQ 基于时间轮算法实现了定时消息
可以在每个时间节点增加一个 round 字段,记录时间轮转动的圈数,比如对于延时 130s 的任务,round 就是 2,放在第 10 个时间刻度的链表中。