<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    Dev@Free

    zJun's Tech Weblog

    Find duplicate records in text file

    Example:
    abc 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    abc 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    tas 3420 3562 2123 1343 2176 7654 3252 8765 5643 3452
    aer 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    tas 3420 3562 2123 1343 2176 7654 3252 8765 5643 3452

    UNIX:

    display the no of occurance and the record
    > sort f1.txt|uniq -c
       2 abc 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
       1 aer 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
       2 tas 3420 3562 2123 1343 2176 7654 3252 8765 5643 3452

    display only the duplicate records
    > sort f1.txt|uniq -d
    abc 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    tas 3420 3562 2123 1343 2176 7654 3252 8765 5643 3452

    display distinct records
    > sort f1.txt|uniq
    abc 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    aer 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    tas 3420 3562 2123 1343 2176 7654 3252 8765 5643 3452

    Reference:
    Shell: How To Remove Duplicate Text Lines

    Windows:

    Notepad++ can sort by line, and remove the duplicate lines at the same time.
    1. Open the menu under: TextFX-->TextFX Tools
    2. Make sure "sort outputs only unique..." is checked
    3. select a block of text (ctrl-a to select the entire document).
    4. click "sort lines case sensitive" or "sort lines case insensitive"

    posted on 2012-04-11 12:10 zJun's帛羅閣 閱讀(482) 評論(0)  編輯  收藏 所屬分類: 開發環境

    導航

    <2012年4月>
    25262728293031
    1234567
    891011121314
    15161718192021
    22232425262728
    293012345

    統計

    常用鏈接

    留言簿(15)

    隨筆分類

    隨筆檔案

    相冊

    收藏夾

    博客

    文檔

    站點

    論壇

    搜索

    積分與排名

    最新評論

    閱讀排行榜

    評論排行榜

    主站蜘蛛池模板: 最近中文字幕电影大全免费版| 久久笫一福利免费导航| 久久精品电影免费动漫| 波多野结衣免费在线| 亚洲人成无码网WWW| 国产亚洲国产bv网站在线| 成人久久久观看免费毛片| 免费黄色网址网站| 国产日产亚洲系列| 人人狠狠综合久久亚洲| 在线观看免费视频资源| 亚洲日韩精品一区二区三区无码 | 日本无吗免费一二区| 亚洲国产人成网站在线电影动漫| 亚洲国产成人无码AV在线影院| 91精品啪在线观看国产线免费| 亚洲第一成年人网站| 久久国产精品免费观看| 亚洲色成人网一二三区| 久久久精品免费视频| 日本不卡视频免费| 国产特黄一级一片免费| 亚洲国产aⅴ综合网| 亚洲AV无码专区国产乱码不卡| 免费日韩在线视频| 朝桐光亚洲专区在线中文字幕| 免费精品国产日韩热久久| 亚洲AV一区二区三区四区| 亚洲国产精品自在拍在线播放| 中文字幕在线成人免费看| 亚洲精品和日本精品| 福利片免费一区二区三区| 成年人性生活免费视频| 亚洲国产区男人本色在线观看| 亚洲一区二区三区免费观看| 亚洲色精品VR一区区三区| 亚洲男人的天堂在线va拉文| 中文字幕亚洲免费无线观看日本| 人人狠狠综合久久亚洲 | 亚洲国产成人综合| 永久在线免费观看|