第八章:一吻定情(2)

    伙夜以继日忙好几天终于完成采集部分又花两天把收集到进行简单清洗滤掉脏正式进入统计与分析阶段

    方式般两种种基于内存流式另种基于硬盘存储也就俗称批前者特点速度快但成本高;者速度虽及前者但容错性较高因为学校配置高伙商议决定使用批

    然而事并家想象简单使用批第二天就出现问题

    林夏着屏幕里动动独自捣鼓半天却毫无收获最得向张求救:张师兄

    张自抬起头怎么?

    程序好像出点问题你能帮我吗?

    好

    张放下手中工作经沈盛座位前走到林夏身边者把概况跟他描述遍他点点头握住桌面上鼠标

    沈盛抬头两人眼低头继续工作

    半个小时沈盛完成手上工作习惯性朝林夏座位眼发现张还离开他知何时搬张椅子坐在林夏旁边两人眼睛紧紧盯着屏幕脸色都太好

    直觉告诉沈盛况点对劲他站起来走到两人旁边关心问:发生什么事?

    张抬头他目转睛盯着显示屏双手飞快在键盘上敲击神严肃:量硬盘无法支撑卡住

    六室并他话清晰传到每个人耳里伙愣愣纷纷站起来去察况

    着丝毫反应屏幕沈盛眉头微微皱起:问题严重吗?

    点麻烦批主要以Hadoop作为框架Hadoop核心又MapReduce而MapReduce计算程又十分依赖持久存储对磁盘空间占用自然非常用某知名IT技术社区里位老师话来说如果将比作水流式就好像道水闸经闸门会进行筛选滤价值内容留下用就丢弃;批就像个水池流进来都储存起来再筛选分析从中寻找价值内容这些会直留在池里虽然以可以继续使用但十分占方新源源断进入旧却直堆积日积月累就会把水池填满甚至溢出我以前在咨询公司兼职时候次遇到类似况最公司通升级硬盘方法把问题解决

    刘宇森忍住开口:可这些都学校校方可能允许我们去动硬盘退步说即使学校允许我们升级硬盘我们也这么多经费啊!

    周思琦想想提议道:要我们把脚本修改下况能能改善?

    试试吧!反正现在也别办法

    然而问题远比家想象严重伙连饭都顾上吃把脚本、、代码……能改东西都改能试办法都试况却丝毫起色该卡时候还卡住

    窗外太阳从东边爬到西边落在教室里阳光也由淡金色慢慢变成橘红色问题却依旧解决

    环顾遍眼里或多或少都透着疲惫众人林夏终于忍住站起来说:这样下去行我们去请教吕老师吧?她肯定办法!