Avro是Hadoop项目之一。主要用来支持数据密集型应用，它定义了一种数据格式并在多种编程语言中支持这种格式。我们最主要是用来操作Cassandra，其次是以RPC的方式，实现语言之间的相互调用。
架构中有很多轻量的python脚本，比如，PHP接收到一个URL，需要调用Python脚本，去取这个URL的标题，然后返回。之前是用cli从命令行直接调用，效果不是很好，经常会卡死，有时还会占用PHP的端口导致php-fpm无法启动。这种场景又不能用RabbitMQ之类的异步处理。所以用Avro实现了一个简单的调用，跑了一个多月，目前一切正常，现在分享相关代码。…
Cassandra是一套分布式数据库，设计思想比较接近Big Table和Amazon Dynamo。从08年开源到现在，经历了Digg的悲剧，Twitter的调教，最新版本1.1版，已经开始进入平稳发展期了。我们现在有很多结构简单但读写频繁的数据，基于性能(跑分王)扩展性(多Cluster)等方面的考虑，用Cassandra搭了一个ring，目前为止运作正常。本文介绍在Ubuntu中安装Cassandra，用两台服务器做为两个节点搭建出一个ring，最后用pycassa把MySQL中的数据导入Cassandra。…
在Web应用中，API（Application Programming Interface 应用程序接口）的使用频率非常高，Google、推特、脸书，每天都会处理几十亿次的API调用请求。API接口一旦公布很难修改，所以设计要慎之又慎。本文主要归纳几种流行的Web应用API接口，总结它们的特点，供需要设计API的开发者作为参考。如果只需要RESTful的API模版建议参考Swagger。顺带介绍编写Python…
之前是用mysql数据库来保存用户的访问日志，现在已经超过2亿了，速度非常慢，还分了三张表，要换一种记录日志的方式。现在暂时没有时间做数据挖掘，要做的只是把日志先存起来，所以直接用linux自带的rsyslog来做。用户访问时，以UDP的方式，将访问信息封装成JSON发到rsyslog的端口，rsyslog会以文本的方式直接记录下来。以后就可以用syslog-ng之类的工具写到mongo或其他数据库。…
没想到毕业之后还会折腾这破玩意。大学时用RGSS语言完成过一个类似的功能（虽然最近才知道它和Ruby语言有关），但没用Python写过。其实代码完全没难度，但这套系统很讨厌，它用.NET语言写成，出现最多的是页面是“当前访问人数过多，请稍后访问”，系统开发者最擅长的是制作登录界面，一口气做了5个（这得多闲啊……）。其中的default3.aspx不需要验证码。登录时必须带一个叫__VIEWSTATE参数，推测是系统自动生成，每隔一段时间会更换。…
Django1.4上个月发布了，有些模块换了名字，加密方式也变了，最明显的变动是目录的组织方式，manager.py和其他配置文件分开存放。这些改动导致之前的目录组织方案将不再适用。所以整理一下1.3之前在Github上的实践，今后开发的新项目再转到1.4。
把Django项目托管到Github上，README是给不熟悉项目的人看的，未必得能给自己省多少力气。但写requirements.txt绝对是双赢。Django项目肯定会用到一些模块(至少得装Django…)，用一个txt文件列出所有会用到的模块，以换行分割：…
国内很多论坛使用的都是Discuz，Discuz为了满足各种需求，已经变得非常臃肿，很多新技术如果要在Discuz上应用成本很高。于是用Django重写了一个，只保留基本的发帖功能。
老论坛中有近10w的用户数据，有些是注册机注册的，也有一些已经不活跃的用户，因此不考虑直接导入用户数据。大致的思路是：当某个用户登录时，查询旧的Discuz数据库，如果用户名和密码都正确，则把这个用户写入新系统Django的用户表中。这部分逻辑我是写在forms里，登录仍然用Django自带的auth_view来处理。…
分享一下在Django中使用uploadify——一个jQuery批量上传插件——的方法。github上的django-uploadify使用的是2.1.4版本，上传button只能使用图片，不能很方便的修改样式。本文针对的是uploadify 3.0.0版本。
uploadify可以结合Django自身的ImageField，或是配合easy_thumbnails等第三方app来使用。比较稳定，我在几个项目中处理批量上传都是用它，没有出现什么问题。但因为是用flash上传，在开发工具中监控不到network的动作，只能通过函数返回的错误信息来调试，所以比较麻烦，但调通一次就一劳永逸了。…
上次振宇介绍duoshuo的开发，前台用的是backbone和LESS，backbone很久之前mentor就提到过，当时没弄懂，等下周休息的时候抽空学学，LESS倒是没什么学习成本。
LESS一种动态样式语言，简单来说就是对CSS语言的扩展，可以类比于coffeescript对javascript提炼。我因为javascript写习惯了，转到coffeescript效率不升反降。但用LESS重写了几个CSS文件，绝对是快了很多。因为LESS没有改变CSS的写法（唯一变化的是注释可以用//了），所以没有转换障碍。LESS拥有语言的特征，例如变量、函数、命名空间等，和只是样式表的CSS比起来灵活了许多。…
最近的Django项目中有复制记录的需求。数据库里有一张名为Party的表，记录用户创建的party，现在要让用户能够复制一个新的party。本身非常简单的一个功能，但运行的时候出错了。我以为是复制过程出错，所以测试了一下Django中复制记录可能遇到的情况(后来发现是其他代码的逻辑出了问题），结果整理如下。
在Django中复制一条记录最简单的方法应该是先取出这条记录，将它的主键设置为None，然后再保存一次。…