序的序
2021年5月,ASC20-21结束后补。
序
去年今日,2019年4月25日,ASC19 世界大学生超级计算机竞赛 在大连理工大学落下帷幕[1] [2] [3] ,我校中山大学代表队荣获e Prize计算挑战奖、团队对抗赛冠军、总决赛一等奖,总分世界第三的好成绩,这是我校自2012年参加ASC竞赛以来取得的最好成绩[4]。
按常理这篇参赛心得应该在去年这个时候就写好并发出来,但去年5、6月却是真的忙得不可开交。决赛时间正好卡在毕业论文第二次查重截至前一周,直接导致我在赛后的毕业行途中还在赶论文,飞机上、绿皮车上、高铁上、甚至有几晚都放弃修图,急着码论文。屋漏偏逢连夜雨,回到学校之后屁股还没坐稳,电脑SSD(垃圾惠普ex900)突然暴毙,虽然重要数据都有备份,但是等换新重做系统以及重配环境还是挺耗时的。这也导致顺路行的图没选没修,游记也一拖再拖,唯一的好消息是在路途中赶完的论文查重轻松过了,换句话说就是毕业前都没什么麻烦事儿了。当然,缺少了各种未知和变数是不可能的,赛后不久得到浪潮确认,我们可以参加并由浪潮提供赞助去ISC-SCC(ISC峰会期间举办的学生集群竞赛students cluster competition,跟SC ASC并称世界三大超算赛事)。所以原本计划又双叒叕变了,原本计划的环中国毕业访友泡汤,ISC19时间在6月16-20号,而这个时间段又是往年毕业照和毕业典礼的时间,直道6月初学院才确认12号毕业照,26号毕业典礼,正好错开,也是极限操作。而后从0开始准备ISC,除去外部护照过期重新申领,准备签证材料,递交申根签证,包括确认机器信息,再次尝试借卡,就差把我们自己的机器运出国了,赛题准备也不像asc清楚套路轻车熟路,日常因资料匮乏陷入电脑前坐了一晚直道天亮,第二天还是如此的循环。这篇参赛心得和游记自然也是被一天天拖延下去,直道毕业。。。毕业后上班更是忙,996下班后完全没心思写,一拖再拖,甚至2019过完,2020又赶上新冠疫情,更是没有什么好机会写。
又是一年春末时,疾风骤雨如期至。近日变天再加qq空间推送的那年今日,让我想起了去年这个时候珠三角航班大面积延误,以及黑云压城城欲摧的暴雨,既然有感,那就尽量去补齐前面的拖欠吧
一、初赛
岭园烟落径徘徊,
惊蛰风潇赴旧斋。
似此夜阑非常见,
暗香知自故人来。
2019年3月3日(己亥年正月廿七)
与以往不同,今年多了一个教练的身份,想起去年7月期末考刚刚结束,就开始准备招新事宜,新学期开始后随即复试面试确定新队员。而后这一学期里开展了多次内培,算是在初赛开始前把他们也领进了高性能计算的大门。
这次初赛前搞了4台联想的SR650当训练用服务器,还算是非常不错的,好像是Gold 6150的cpu,配上100G ib网,比赛会给的还要更猛些。
ASC19的初赛赛题跟ASC18结构差不多,常规系统搭建、一个超算应用、一个深度学习AI应用。AI题是做图像的超分辨率,我认时的周边也没什么玩超分辨率的,所以这次又注定是机器瞎学了。超算应用是CESM,地球气候模拟,一个非常庞大的气象模拟软件,被联合国钦定为气候变化预测指定模型之一。确实,他的功能非常多,不仅限于大气,还有陆地海洋冰层各种模块,光是安装运行就试了几天,研究官方文档更是花费了数周。这次初赛直接让本届主力队员上阵了,不像之前初赛靠老队员一手单带。
总的来说CESM给我们当头一棒,过于庞大的应用反而找不到什么优化方法,热点过于分散且各算例特征不同,再考虑一下优化成本,嗯,就算优化了,用现在流行语说就是:感知不强。最终靠链MKL和并行度写,快了一点点。赛会说一天能跑完10年,而我们最多尝试了10机也达不到这个速度,按照3000W预估也就一天两三年。感觉这次是凉了,不知道赛会说的是什么黑科技。
超分辨率这块也没有什么亮点可言,用SOTA代码跑了,在赛会给的数据集上效果也不怎么样,各种训练trick说实话,去年跑NLP的MRC就感觉到了,这种工程性的东西在论文中基本不提,然而这却是训练调参过程中能否达到所谓那样效果的关键。很不幸,因为没有这方面经验,应该也是凉了,效果肯定很一般。
于是乎,就这样,春节回来,一转眼就到了初赛DDL的前一天,按照惯例,大家又在超算肝了个通宵,早上交了报告一起去吃M记,然后回去补交。
二、决赛将至
初赛之后自然是暂告一段落折腾毕业论文的事情了,期间去了南沙几趟找导师签字,还难得进城去了一趟索庙梭哈了一颗24105G镜头回来,24105G可以说是我用过的最好用的镜头了(说的用过好多个一样)。决赛前一周还回了一趟老家,这里不是重点就不说了。简言之,这次决赛前的准备中,我并没有像之前一样亲自操刀改代码了,反而主要是进度督促和“指指点点”以及跑了一堆不知所以然也不知道最终有没有用的测试。
如此一个半月后,决赛如期而至,期间主要对新的题目——wtdbg2,一个基因测序软件进行优化,主要优化方向是上多机mpi,因为有些基因组测序结果真的很大,几百GB的数据感觉特别适合这种并行(至于方向翻车则是后话了)。CESM则属于很难有大成效的感觉,因为这个玩意儿太大了,只能找找好下手的地方改改mpi上上omp啥的,就没有以往直接整个百倍加速那么简单粗暴了。AI决赛虽然换成人脸了但还是在ESRGAN上魔改,效果就如预料那样一般般。
不过今年比赛很不幸,除了思腾合力赞助的4张V100卡之外,还真就借不到卡了。悲。这次是输在起跑线了。从最终结果来看也确实输在起跑线,过程中虽然翻车但是并没有输。。。事已至此,也没啥好抱怨的,决赛出发前的总结会依然充满了“公费旅游”的欢声笑语。
三、出发
由于经费原因,这次去大连理工大学参加决赛的9人分成两波出发,一波是我跟ry半自费去,另一波则是丰老师带队名正言顺公费出游啊不公费比赛。说是半自费是因为比赛完了我跟ry直接开启毕业行(大连-济南-泰山-北京),就不一起回学校了。
同样也是半自费的原因,所以机票能省则省,选了从深圳飞大连的几百块打骨折的机票
0 条评论