很常见的分析需求：日志中记录有访客IP（国内），现在要根据IP地址得出访客的地理位置，精确到市县一级，数据量平均是每天15G，需要统计日、周、月的结果。
最后的实现方式是，先找到IP地理位置数据库，包含每个ip段对应的地址：1.1.0.0,1.1.0.255,福建省然后把它转成具体每个IP对应的地址，即：1.1.0.1,福建省。这样在Pig中用JOIN的方式，就可以获得这个IP实际对应的地址了。
标签： Hadoop
Avro用php请求python服务的例子
Avro是Hadoop项目之一。主要用来支持数据密集型应用，它定义了一种数据格式并在多种编程语言中支持这种格式。我们最主要是用来操作Cassandra，其次是以RPC的方式，实现语言之间的相互调用。
架构中有很多轻量的python脚本，比如，PHP接收到一个URL，需要调用Python脚本，去取这个URL的标题，然后返回。之前是用cli从命令行直接调用，效果不是很好，经常会卡死，有时还会占用PHP的端口导致php-fpm无法启动。这种场景又不能用RabbitMQ之类的异步处理。所以用Avro实现了一个简单的调用，跑了一个多月，目前一切正常，现在分享相关代码。…