『智谱清言』CogVLM2部署实践
『智谱清言』CogVLM2部署实践入职智谱后的第一项工作的一个Part，浅浅记录。
前置准备CUDA 12.1 的ubuntu宿主机一台
注意：cuda版本应与torch版本对应，实测 CUDA 12.0 也可以正常运行
下载适配TGI的CogVLM2模型至路径/model：
123from modelscope import snapshot_download model_dir = snapshot_download('ZhipuAI/cogvlm2-llama3-chinese-chat-19B-tgi', cache_dir="/data/cogvlm2-llama3-chinese-chat-19B")
下载适配CogVLM2的TGI包至路径/tgi: https://github.com/leizhao1234/cogvlm2
正式流程12345678910111213141516171819202122232425262728# 下载conda并安装curl -O https://repo.anaconda.com/minicond ...
『黑神话悟空』游玩感想
『黑神话悟空』《黑神话-悟空》游玩感想前言8月24日上午，《黑神话-悟空》刚发售四天，打过二郎神和最终boss后，我想来不及进一步细细品味，便需要立即投身迫在眉睫的预推免之中，然而在此之前，还是有必要为这款游戏谈一谈感触，画上一个短暂不圆满的句号。
过去作为铁血魂小将，我在高二升高三的暑假肝了150小时的魂三，第一支预告片发出的第一时刻我便在现场见证历史，随后被其深深震撼，“魂游”(别喷我)+西游，要素拉满，而且Demo里的美术，场景等已经相对成熟，我当时便断定这款游戏必定会掀起轩然大波，随后了解到当时只是在开发初期，缺人手，发售遥遥无期。还记得哥几个都在开玩笑说，大学能玩上就是胜利，接着投入到备战高考的复习中去。
时间一晃过了四年，我经历了高考，选择了北航，沉浸式游玩了《艾尔登法环》，进入了计算机学院，遭受两年惨无人道的折磨并成长着，这款游戏想必也是如此。每年的相同时候都会发布最新预告片，我也会毫无例外的准时观看，然而随着课业压力的加重，大幅降低了很快想玩到的期待感，直至最近，正值在高考后的又一人生关键转折点，黑神话终于千呼万唤始出来，我见证了它的从无到有，彷佛它也见证了我的前半段人 ...
『机器学习系统』Deepseekv2
『机器学习系统』Deepseek-V2基于Decoder-Only架构，对FFN和Attention做出了改进。
MLA（Multi-head Latent Attention）：
传统MHA：需要 $2 \ast len \ast nhead \ast d_{nhead}$ 的空间存储 KV Cache
MLA: 将K和V进行低秩联合压缩，以减少KV缓存，类似LoRA。将KV以低维度缓存，使用时再通过投影层变换回去。减少内存占用的同时丢失部分精度。
旋转位置编码：待补充
FFN(MoE):
MoE: 混合专家模型，在本模型架构中主要是在FFN层体现
将专家分为共享专家与路由专家，以token为粒度：
共享专家：每个 $input$ 必须要通过$N_s$个共享专家，无权重，直接相加。
路由专家：在$N_r$个路由专家中选取$Top_k$个亲和度最高的专家激活，并计算每个激活专家归一化后的权重$g_{i,t}$，将输出按权重分配相加。
如何选择专家：router的权重为$R^{nRoutedExperts \ast gatingDim}$($gatingDim=h$)，对每 ...
『机器学习系统』Ray使用文档
『机器学习系统』Ray使用文档问题
ray的用法做个拆解，弄清ray的基础原理和用法
着重介绍利用ray如何部署 vLLM？比如怎么启动ray，怎么启动多个vLLM实例，多个dp rank 怎么调用它？
Ray是什么Ray是一个开源分布式计算框架，为AI等上层应用提供了并行处理的计算层，大幅降低分布式工作流程的复杂性。
可以跨多节点和GPU并行和分配ML的工作负载
可以提供计算抽象（统一的API）进行ML系统的扩展集成
自动处理关键流程，如编排，调度，容错，自动缩放等。
大量的库都使用Ray作为并行执行的组件
Ray的基本原理Ray CoreTask（任务）：异步执行的Ray函数称作“任务”，也成为Ray远程函数。当一个新的Task被实例化时，会创建一个新的进程(worker)进行对其的调度。Ray使任务能够根据CPU，加速器等资源来指定其资源需求。
使用方式：
12345@ray.remote # 通过该装饰器将函数改装为Ray远程函数，默认分配一个CPUdef fun(a): return aobj_ref = fun.remote(a) # 通过使用remot ...
『软件工程』EPP小组软工感想
『软件工程』EPP小组软工感想_Copyfrom zjy_
hyx
经过这次软工项目的磨砺，我的专业能力、沟通技巧和团队合作意识得到了前所未有的提升，使我受益匪浅。在这个综合性的软件开发过程中，我身兼前端工程师、后端工程师和服务器运维工程师三重职责，全面锻炼了我的各项技能。
在前端开发的环节中，我逐渐摒弃了仅仅套用模板的陋习，开始深入理解前端开发的规范和技巧。特别是针对CSS样式的表现力，我获得了更加深刻的认知，能够灵活运用各种样式属性来打造出更加美观、符合用户体验的界面。在后端开发方面，我进一步加深了对Django框架的理解。通过对模型、视图、模板和ORM映射等关键概念的掌握，我能够更加熟练地运用Django进行业务逻辑的实现和数据库操作。此外，我还通过实践掌握了前后端部署的技巧，对SSL证书和Nginx的配置也有了更加清晰的认识。更值得一提的是，我自主设计并实现了一套Django项目本地、GitHub和服务器三端流水线部署的框架，极大地提高了项目的开发效率和可维护性。
在这个过程中，我深刻感受到了团队合作的重要性。尽管我们团队中每个人都面临着繁重的课外任务，但大家都能够积极投入，尽 ...
『计算机网络』计算机网络实验——常用指令
『计算机网络』计算机网络实验——常用指令配置NAT（关键）123456789101112131415161718[R1]acl basic 2001 // 在V7设备中（线下设备），使用acl basic命令；在V5设备中（线上设备），使用acl number命令[R1-acl-2001]rule permit source 10.0.0.0 0.0.0.255 // 根据局域网的网段配置[R1-acl-2001]rule deny sourse any // 允许IP源地址为10.0.0.0/24的外出数据包[R1]nat address-group 1 // 进入地址池1[R1-address-group-1]address 192.168.5.105 192.168.5.109 // 定义一个包含5个公网地址的地址池，地址池名为1[R1]interface e 1/0/1[R1-Ethernet 1/0/1]nat outbound 2001 address-group 1 // 在出接口e 1/0/1启动地址转换，指定number和group[R1]ip route-stati ...
『学期总结』大三下学期总结
有感而发，并无恶意
『学期总结』大二下学期总结
『学期总结』大二下学期总结最近北京的云彩总是那么迷人，漫步在夕阳下的北航校园，因为OO，OS等产生的不安焦躁情绪总是会一扫而空，抬起手来拍一朵云，望蔚蓝的天空，忘掉种种烦恼，感受生活的一切美好(然而转身又要投入ooos的怀抱)。
本学期的课业压力较重，要同时上操作系统和面向对象这两门大课，每周两次的上机令人欲仙欲死，课下的代码量超乎想象，要学习的新知识指数级增长，可想而知这四个月来我是怎么度过的。当然，本学期的关键词少不了“冯如杯”三字，从准备阶段每周二组员固定碰头又纷纷没有思绪，再到最后阶段论文的不断改进再改进，答辩的一遍遍排练打磨，成就了最辛劳也是最难忘的一段时光，结果是拿了个三等奖，还算比较满意叭~
繁忙的课业之余自然需要怡怡情，学期中听了京剧的表演令人感叹国粹的绝妙，没有抢到五月天的票导致在鸟巢外模糊的听了半场，以及去了雍和宫迷信一波保佑自己一切顺顺利利……
刚刚结束OS挑战性任务的答辩，在洋洋洒洒写了20页实验报告后，繁忙的大二下终将要告一段落，回首往昔，“成长”与“自我反省”这两词用来描述我这个学期再合适不过，在经历两次面试失败，各种答辩表现都不尽如人意后，痛定思痛反思自 ...
『学期总结』大三上学期总结
『学期总结』大三上学期总结今天是12月24日，第十六周周末，上午刚把数据库的各项报告写完并整理打包，不得不说报告总共写了80多页真的是有够能肝，下午又忙着准备周二的模式识别答辩，以及火烧眉毛的编译上机期末考试，决定此时动笔写学期总结并非我的一厢情愿，而是想到还有一笔没动的算法第四次作业和万恶的英文论文就头疼，到了期末总是会一如既往的泄劲，于是打算先把文字工作都处理妥当。
已经有多久没回家看看了呢，自从十一回天津后，近两个月再也没有踏上归家的列车，甚至几乎是很少离开过学校方圆一公里，在我的印象里只有数学建模庆功宴吃海底捞时出过一趟远门(指20分钟路程)，说的好像很惨，的确是那么惨，回想上学期疫情解封后，思乡心切的我几乎每周末都要回去睡哥们的大床，可如今安稳入眠已是奢侈，这就是大三上学期，大家开始真正为前程奋斗的第一站。有同学说经常看到我在主楼的沙发上，雷打不动，一呆就是一整天，甚至有的哥们已经摸清了我的行动轨迹，经常和我制造偶遇。诚然，自从老主楼开门后，我就抛弃了新主楼而将老主楼沙发(一楼南侧北侧和二楼北侧，实在没地就去主南302，我们一般称那个教室为碰碰车)作为在北航的第二个家，要问为 ...
『学期总结』大二上学期总结
『学期总结』大二上学期总结 不知不觉间，时光匆匆溜走，大二上的学习生活随着疫情时代的告终而迎来了尾声。与计算机学院携手共度的半载，说短不短，说长不长，在这里我见识到了知识储备雄厚为我们提供各种帮助的巨佬学长，痴迷于高老板讲的一堂又一堂生动有趣的计组课程，也亲身经历了经久不衰，“恶贯满盈”的招牌课程计组实验，我发觉了在计院生活和大一入学时的差别，也真切感受到自己在这一年中的微妙变化(如日渐稀疏的头发)。这一学期我用两个词来总结，坎坷，成就。
首先是坎坷，这一学期受到疫情的影响，从一开学便住进了培训中心五天，再到每天的核酸，后期学校内爆发的大规模疫情，给无论是我，还是师生学校，都造成了极大的影响，在这里也很感谢在疫情爆发初期大家众志成城做出的努力。好在我及时回家，避过了后面的阳性大潮。坎坷不仅于此，在学业上同样称得上是坎坷，从前半个学期每周一次的讲着CPP却用JAVA写的大作业，再到中间一段时间JAVA和计组实验冲突导致强度压力激增，再到P4后计组实验难度的骤升，我一周大概需要投入四天至五天完成实验课代码的编写调试，经常一坐就是一整个下午加晚上，好在我面对de不完的bug时早已养成了平稳的 ...
