[AWK] 用awk处理较为复杂的数据

一个awk（my.awk）脚本，使用方式： awk -f my.awk data.txt
function strip(s){gsub(/^ *| *$/, "" , s);return s}
function stripColon(s){a=length("：")+index(s ,"：");return strip(substr(s, a))}
BEGIN {
    OFS=","
    process=0
    print "名称", "人均消费", "电话", "地址", "菜系" , "特色菜"
}
{
    if(process == 1){
        #print myarray["name"]
        if($1 ~ "查看全部网友评论")
        {
            print myarray["name"], myarray["avg"] , myarray["tel"], myarray["add"], myarray[ "ser"], myarray["spe"]
            delete myarray
        }
        else if($1 ~ "查看餐馆详细信息" || $1 ~ "向朋友推荐" || $1 ~ "挑错或补充信息" || $1 ~ "网友打分" || $1 ~ /口味/) { }
        else if($1 ~ "满分为10分")
        {
            myarray["avg"] = stripColon($2)
        }
        else if($0 ~ /菜[ ]+系/)
        {
            myarray["ser"] = stripColon($0)
        }
        else if($1~/特色菜/)
        {
            myarray["spe"] = stripColon($0)
        }
        else if($0~/电[ ]+话/)
        {
            myarray["tel"] = stripColon($0)
        }
        else if($0~/地[ ]+址/)
        {
            myarray["add"] = stripColon($0)
        }
        else if($1 ~ /共搜索到/)
        {
            process = 0
        }
        else if(length($1)>1)
        {
            myarray["name"] = strip($0)
        }
    }
    else if( $1 ~ /共搜索到/)
    {
        process = 1
    }
}

要处理的数据文件(data.txt):
--------------------------
餐厅搜索_XX生活_XX网            
>&gt 进入饮食频道  

      
  
    

  
搜索全国65356家餐馆  
城市：  选择城市 上海 北京 广州 深圳 成都 重庆 天津 杭州 南京 苏州 宁波 扬州 无锡 福州 厦门 武汉 西安 沈阳 大连 青岛 济南 海南 其它城市    

区域：      

菜系：      
餐厅 地址  


    
  
    

条件：   全部 菜系 口味 材料 做法  

类别：  全部  

    
    
  

  
    
        
  现在位置： 新浪生活 > 全国万家餐馆搜索    
共搜索到 26 家餐馆  共 5 页  页码： 1 | 2 | 3 | 4 | 5 |  上一页 | 下一页      
    
美炉村北四环店    
  
网友打分 　　
                          
                          口味： 环境： 服务：
(满分为10分) 　平均分： 人均消费：  
      
菜  系： 江西    
特色菜： 煨南瓜 铁板蒜香鱼 农家豆腐
电  话： 88457838
地  址： 昆明湖南路四海桥空军指挥学院北门
  挑错或补充信息
向朋友推荐
查看餐馆详细信息
查看全部网友评论
    
美炉村苏州街店    
  
网友打分 　　
                          
                          口味： 环境： 服务：
(满分为10分) 　平均分： 人均消费：  
      
菜  系： 江西    
特色菜： 煨南瓜 铁板蒜香鱼 农家豆腐
电  话： 62538883
地  址： 苏州街11号
  挑错或补充信息
向朋友推荐
查看餐馆详细信息
查看全部网友评论
    
赣江源甲鱼村    
  
网友打分 　　
                          
                          口味： 环境： 服务：
(满分为10分) 　平均分： 人均消费：  
      
菜  系： 江西 湖南    
特色菜： 红煨甲鱼,啤酒鸭.
电  话： 82473115
地  址： 西北旺永丰路1号
  挑错或补充信息
向朋友推荐
查看餐馆详细信息
查看全部网友评论
    
民间瓦罐煨汤馆亚运村店    
  
网友打分 　　
                          
                          口味： 环境： 服务：
(满分为10分) 　平均分： 人均消费：  
      
菜  系： 江西    
特色菜： 排骨莲藕汤 笋干肥肠
电  话： 64868811
地  址： 亚运村慧忠北里411楼1层(大屯路北辰东路交叉路口)
  挑错或补充信息
向朋友推荐
查看餐馆详细信息
查看全部网友评论
    
汉方阁    
  
网友打分 　　
                          
                          口味： 环境： 服务：
(满分为10分) 　平均分： 人均消费：  
      
菜  系： 江西    
特色菜： 瓦罐煨汤 井冈山腌笋 红烧肉
电  话： 66131808
地  址： 西什库大街31号
  挑错或补充信息
向朋友推荐
查看餐馆详细信息
查看全部网友评论
    
赣江龙    
  
网友打分 　　
                          
                          口味： 环境： 服务：
(满分为10分) 　平均分： 人均消费：  
      
菜  系： 江西    
特色菜： 赣南小鱼、江西佬佬笋、乡村炖活鱼、赣味回锅肉
电  话： 88389389
地  址： 西直门外大街141号
  挑错或补充信息
向朋友推荐
查看餐馆详细信息
查看全部网友评论
        
共搜索到 26 家餐馆  共 5 页  页码： 1 | 2 | 3 | 4 | 5 |  上一页 | 下一页          

--------------------------

处理后的结果:
--------------------------
名称,人均消费,电话,地址,菜系,特色菜
美炉村北四环店,,88457838,昆明湖南路四海桥空军指挥学院北门,江西,煨南瓜 铁板蒜香鱼 农家豆腐
美炉村苏州街店,,62538883,苏州街11号,江西,煨南瓜 铁板蒜香鱼 农家豆腐
赣江源甲鱼村,,82473115,西北旺永丰路1号,江西 湖南,红煨甲鱼,啤酒鸭. 
民间瓦罐煨汤馆亚运村店,,64868811,亚运村慧忠北里411楼1层(大屯路北辰东路交叉路口),江西,排骨莲藕汤 笋干肥肠
汉方阁,,66131808,西什库大街31号,江西,瓦罐煨汤 井冈山腌笋 红烧肉
赣江龙,,88389389,西直门外大街141号,江西,赣南小鱼、江西佬佬笋、乡村炖活鱼、赣味回锅肉
--------------------------

评论

发表评论

此博客中的热门博文

激活华为光猫的小宇宙-openwrt

前言：     手头有一个华为的光猫 HS8145V，在补全Shell 的路上跌跌撞撞，终于在chinadsl论坛翻楼找到了适合的方法。在此感谢各路神仙的探索和无私的分享。在摸索的过程中，发现光猫本身的系统没有提供自启动应用的入口，如果想在光猫上玩些花样也无能为力。但发现光猫除了本身的系统外，为了实现运营商的需 求，还隐藏了一个openwrt 系统，我们倒是可以在这个系统里面，自由的做我们想做的事情。 使用前提： 要有运营商定制文件的华为光猫，比如说天翼智能网关（其它家没有试过）。 要有telnet，需要补全shell。 原理：     为了满足运营商的需求，除了光猫自己的管理界面外，华为的光猫还有一个系统，配合运营商的管理需求。而这个系统，是运行在容器中的 openwrt 系统，在我手头的 HS8145v 光猫里面，就在 mtd17、mtd18、mtd19 分区上，分别挂载在 /opt/upt/framework 和 /opt/upt/apps 下面。其中 framework 分区为只读，映射为 openwrt 的 rootfs分区， apps 分区为可读写，映射为openwrt 的overlayer，可用容量为90多M。在启动过程中，华为的 saf-huawei 程序会在容器内完整的启动这个 openwrt 系统。     所以，只要我们把需要的文件放入这个内嵌的openwrt 系统，就可以像操普通的 openwrt 系统一样了，比如说启动 dropbear，asterisk 等等。     在我的光猫里面，内嵌的openwrt 是 CC，所以我找的软件源是 openwrt cc for omap，源： http://archive.openwrt.org/chaos_calmer/15.05.1/omap/generic/ 操作过程： 要操openwrt 系统，当然首先是准备好 dropbear  1.1 首先禁用光猫自带的 dropbear，并开启防火墙的22端口，这一步编辑的文件是 /mnt/jffs2/hw_ctree.xml 文件，因为文件有加密，所以需要解密编辑之后，再加密放回去，注意先备份 hw_ctr...
阅读全文

[Debian] grub 菜单配置文件的说明

什么是grub grub是一个操作系统引导器，具备引导多个操作系统的能力 为什么是grub grub的行为可以由配置文件控制，同时又具有一个类似于bash的控制台环境，这使得它具有非常强大和灵活的控制能力。很多Linux发行版都选择将它作为默认的引导器。 Debian and grub 自动更新的机制 /sbin/update-grub /sbin/update-grub 是 Debian 系统中的一个脚本，它读取 /boot/grub/menu.lst文件的配置，根据一些参数自动重新生成grub启动菜单。 /etc/kernel-img.conf 这个配置文件也是 Debian 所特有的，它是在安装或删除内核时，供内核软件包所带的脚本读取，来完成安装内核所需要的一些步骤。 示例： do_initrd = yes postinst_hook = /sbin/update-grub postrm_hook   = /sbin/update-grub 说明： 1，安装(/删除)内核后，自动产生(/删除)相应的 initrd.img 文件 2，内核安装完成后，调用 /sbin/update-grub 以更新启动菜单 3，内核卸载完成后，调用 /sbin/update-grub 以更新启动菜单 Debian中grub配置菜单的说明 # menu.lst - See: grub(8), info grub, update-grub(8) # grub-install(8), grub-floppy(8), # grub-md5-crypt, /usr/share/doc/grub # and /usr/share/doc/grub-doc/. ## default num # 将第num条设置为默认启动。条目计数从0开始，如果没有设置的话，默认就是第0条。 # # 你可以用 'saved' 来代替数字。在这种情况下，默认项就是由命令 'savedefault' # 保存的项 default saved ## timeout sec # 设置默认项（一般是最开始的那一条）自动启动之前等待的时间，单位是秒。 timeout 5 # Pretty co...
阅读全文

[shell]把多个图片(如png)转换成单一PDF文件

需要用到的软件: imagemagick, pdftk 1, 把PNG转成单页面的 PDF: for i in *.png; do convert -compress JPEG -quality 4 $i $(basename $i).pdf; done 2, 把多个独立的单页面PDF合并成多页面的单一PDF: pdftk *.pdf cat output /tmp/dest.pdf imagemagick 使用起来太灵活，可以调整的参数太多，看着就头晕，可以参考页面: http://www.imagemagick.org/script/command-line-options.php pdftk 相对来说，看man 就能用了。
阅读全文