<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    Dev@Free

    zJun's Tech Weblog

    Find duplicate records in text file

    Example:
    abc 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    abc 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    tas 3420 3562 2123 1343 2176 7654 3252 8765 5643 3452
    aer 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    tas 3420 3562 2123 1343 2176 7654 3252 8765 5643 3452

    UNIX:

    display the no of occurance and the record
    > sort f1.txt|uniq -c
       2 abc 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
       1 aer 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
       2 tas 3420 3562 2123 1343 2176 7654 3252 8765 5643 3452

    display only the duplicate records
    > sort f1.txt|uniq -d
    abc 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    tas 3420 3562 2123 1343 2176 7654 3252 8765 5643 3452

    display distinct records
    > sort f1.txt|uniq
    abc 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    aer 1000 3452 2463 2343 2176 7654 3452 8765 5643 3452
    tas 3420 3562 2123 1343 2176 7654 3252 8765 5643 3452

    Reference:
    Shell: How To Remove Duplicate Text Lines

    Windows:

    Notepad++ can sort by line, and remove the duplicate lines at the same time.
    1. Open the menu under: TextFX-->TextFX Tools
    2. Make sure "sort outputs only unique..." is checked
    3. select a block of text (ctrl-a to select the entire document).
    4. click "sort lines case sensitive" or "sort lines case insensitive"

    posted on 2012-04-11 12:10 zJun's帛羅閣 閱讀(482) 評論(0)  編輯  收藏 所屬分類: 開發環境

    導航

    <2012年4月>
    25262728293031
    1234567
    891011121314
    15161718192021
    22232425262728
    293012345

    統計

    常用鏈接

    留言簿(15)

    隨筆分類

    隨筆檔案

    相冊

    收藏夾

    博客

    文檔

    站點

    論壇

    搜索

    積分與排名

    最新評論

    閱讀排行榜

    評論排行榜

    主站蜘蛛池模板: 免费人成年激情视频在线观看| 毛片免费观看的视频在线| 国产亚洲av片在线观看18女人| 久久精品国产亚洲av天美18| 夜夜嘿视频免费看| 亚洲日韩AV一区二区三区中文| 日韩精品福利片午夜免费观着| 亚洲综合中文字幕无线码| 国产一精品一AV一免费孕妇| 亚洲va成无码人在线观看| 国产免费看JIZZ视频| 色天使亚洲综合在线观看| 成人激情免费视频| 日日摸日日碰夜夜爽亚洲| 免费在线观看一级毛片| 成人自慰女黄网站免费大全| 亚洲av中文无码乱人伦在线咪咕| 久久精品免费观看| 亚洲妇女水蜜桃av网网站| 青娱乐免费在线视频| 国产精品亚洲一区二区无码 | 亚洲第一黄片大全| 国产精品无码免费专区午夜 | 日本在线高清免费爱做网站| 亚洲日韩国产欧美一区二区三区| 免费国产成人午夜私人影视| 成人福利在线观看免费视频| 亚洲a在线视频视频| 亚洲人成网站免费播放| 一级特黄录像免费播放中文版| 亚洲国产成人片在线观看| 久久国内免费视频| 在线播放国产不卡免费视频| 在线电影你懂的亚洲| 免费看的一级毛片| 三年在线观看免费观看完整版中文| 亚洲综合久久综合激情久久| 在线免费观看韩国a视频| 丝瓜app免费下载网址进入ios| 亚洲无圣光一区二区| 亚洲国产婷婷香蕉久久久久久 |