Skip to content
gqlxj1987's Blog
Go back

2013Qcon散记

Edit page

作为第一次去参加这种级别的会议,心里还是有些期待,不过由于时间点不好,只是听最后一天的演讲,回来之后也就是大抵如此的感觉,一半扯淡一半干货吧。

首先是雪球网的node.js的相关的分享。对于node.js,自己基本不熟悉,但这场演讲居然也能听的进去,果然是入门级的(对于另一些的node.js来说是不是过于入门级。。)。node.js出现的背景在于前端工程师对于仅仅学习html/js一套,对于去写jsp页面的不满,去配合后端java写业务的不满,于是前端工程师也可以用写js的方式来写后端。这里面,谈到的一个很关键一点是,node可以兼容之前的做法,即:一、用ajax的方式去获取后端数据,二、用js去拼接json数据。个人觉得这两个关键点是促成node.js发展的一个很关键的因素。而后,分享举了一些实际的工作编程中以及迁移中遇到的问题。如,node也有相关的模板语言,如何选择好的模板语言,这里提到了**[mustache][1]**,它是一种支持多种语言的轻量级的模板语言,所谓轻量级,应该是指其支持json数据尤其出色;js中也有异常处理,针对这部分的异常,如何去抓住,这里提到了 uncaughException;针对异常的抛出,node采用的是一层抛一层的方式(是不是跟java中的抛出异常不一样?),也就是上层对下层抛出的异常是透明,这样必然会带来多种嵌套的问题;最关键的是node的实际生产环境必然会有大量的并发请求的问题,这样一种并发执行会带来什么样的问题,如何去避免这样的问题?最后是相关的一个总结,

技术上的分享大抵如此,不过在演讲过程中,一个很有意思的思路是将雪球网将某些人的言论跟金融趋势图去联系在一起,从而来验证实际的发展跟当时的言论是否匹对,将足彩的那一套沿用到金融里,而且更进一步用图标增长的方式,比足彩更形象。

然后是听了一下有道云笔记的云端架构。其实对于云端架构这个东西,其架构图基本沿用GFS那套,还是依旧的三方的架构。只不过,这里提到的笔记的需求是,1、随时编辑,2、历史版本查阅,3、协同,分享。于是,原来针对数据部分的频繁修改操作扩展到meta数据上,通过meta的数据的修改,以及对应到不同的meta数据来实现相关的笔记的需求。这种思路,类似于linux的软链接的方式。这里,说一下觉得很有意思的几个点:

第三场的演讲则是jboss云方面,这场基本在扯淡,首先扯了一大堆的构建企业混合云的必要性和背景,然后是介绍其所在jboss团队推出的as7。这里有意思的一点是,云针对多租户应用架构的变化。这里提到了针对这种情况,会出现两种对象,一是有状态的对象,这种通过调用者和应用名称可以锁定,另一种就是无状态的对象,需通过传递两个以上的信息来锁定。这里的思路,可以用在icafe的流程引擎中,针对action方面,也存在有状态的action和无状态的action,所以这块的多租户应用架构,可以去考虑实现在icafe的流程引擎中。

最后一场的演讲则是ebay的下一代数据集成平台的介绍,其核心在于介绍ETL,即这种用在数据仓库中,去萃取和提取相关的信息,而ebay方面则用在日志的抽取和转置上。这个跟上周oracle的那个bi系统很类似,一样也是利用ETL来转置数据。这里讲几点:

ETL ID specific State files
```,这个是实现所谓的metadata driven everything的基础。这里的ETL metadata是指,ETL过程中的workload, data lineage, ETL Job State, Resource tracking and metrics等。通过这些信息,我们可以了解这次ETL的所有信息。
*	定期的对metadata进行collection操作,分析其中的信息,例如,可以统计每张表的使用频度,方便我们进行数据的合理化处理。

可能ETL方面更加不为人所知,最后一场涉及到的名词也是所有听到的演讲中所涉及到的专有名词也是最多的。像什么VDM,TDWI等。不过,其ETL的过程很类似icafe的流程引擎部分,只不过有一点很重要的是,icafe关于数据的层次的划分很不明显,虽然有很多的表,但表之间的关系,并没有层次关系,没有很强的metadata的特征,这块可以在后面进行加强和改造。

基本上,四场演讲听下来,人也有些疲倦,然后是坑爹的吃中饭环节,会议的自助,尤其针对屌丝程序员这种,基本不够看的。。哎,于是,直接出了会议,跟着另一个路盲的同事,幸亏有百度地图,找到麦当劳,凑合一顿。于是第一次的Qcon之旅over。




[1]: http://mustache.github.io/ "mustache"

Edit page
Share this post on:

Previous Post
Hello Jekyll
Next Post
黑白