原文鏈接：http://www.cnblogs.com/juandx/p/4962089.html python中對(duì)文件、文件夾（文件操作函數(shù)）的操作需要涉及到os模塊和shutil模塊。 得到當(dāng)前工作目錄，即當(dāng)前Python腳本工作的目錄路徑: os.getcwd() 返回指定目錄下的所有文件和目錄名:os.listdir() 函數(shù)用來(lái)刪除一個(gè)文件:os.remove() 刪除多個(gè)目錄：os.removedirs（r“c：\python”） 檢驗(yàn)給出的路徑是否是一個(gè)文件：os.path.isfile() 檢驗(yàn)給出的路徑是否是一個(gè)目錄：os.path.isdir() 判斷是否是絕對(duì)路徑：os.path.isabs() 檢驗(yàn)給出的路徑是否真地存:os.path.exists() 返回一個(gè)路徑的目錄名和文件名:os.path.split() eg os.path.split(‘/home/swaroop/byte/code/poem.txt’) 結(jié)果：(‘/home/swaroop/byte/code’, ‘poem.txt’) 分離擴(kuò)展名：os.path.splitext() 獲取路徑名：os.path.dirname() 獲取文件名：os.path.basename() 運(yùn)行shell命令: os.system() 讀取和設(shè)置環(huán)境變量:os.getenv() 與os.putenv() 給出當(dāng)前平臺(tái)使用的行終止符:os.linesep Windows使用’\r\n’，Linux使用’\n’而Mac使用’\r’ 指示你正在使用的平臺(tái)：os.name 對(duì)于Windows，它是’nt’，而對(duì)于Linux/Unix用戶(hù)，它是’posix’ 重命名：os.rename（old， new） 創(chuàng)建多級(jí)目錄：os.makedirs（r“c：\python\test”） 創(chuàng)建單個(gè)目錄：os.mkdir（“test”） 獲取文件屬性：os.stat（file） 修改文件權(quán)限與時(shí)間戳：os.chmod（file） 終止當(dāng)前進(jìn)程：os.exit（） 獲取文件大小：os.path.getsize（filename） 文件操作： os.mknod(“test.txt”) 創(chuàng)建空文件 fp = open(“test.txt”,w) 直接打開(kāi)一個(gè)文件，如果文件不存在則創(chuàng)建文件 關(guān)于open 模式： w 以寫(xiě)方式打開(kāi)， a 以追加模式打開(kāi) (從 EOF 開(kāi)始, 必要時(shí)創(chuàng)建新文件) r+ 以讀寫(xiě)模式打開(kāi) w+ 以讀寫(xiě)模式打開(kāi) (參見(jiàn) w ) a+ 以讀寫(xiě)模式打開(kāi) (參見(jiàn) a ) rb 以二進(jìn)制讀模式打開(kāi) wb 以二進(jìn)制寫(xiě)模式打開(kāi) (參見(jiàn) w ) ab 以二進(jìn)制追加模式打開(kāi) (參見(jiàn) a ) rb+ 以二進(jìn)制讀寫(xiě)模式打開(kāi) (參見(jiàn) r+ ) wb+ 以二進(jìn)制讀寫(xiě)模式打開(kāi) (參見(jiàn) w+ ) ab+ 以二進(jìn)制讀寫(xiě)模式打開(kāi) (參見(jiàn) a+ ) fp.read([size]) #size為讀取的長(zhǎng)度，以byte為單位 fp.readline([size]) #讀一行，如果定義了size，有可能返回的只是一行的一部分 fp.readlines([size]) #把文件每一行作為一個(gè)list的一個(gè)成員，并返回這個(gè)list。其實(shí)它的內(nèi)部是通過(guò)循環(huán)調(diào)用readline()來(lái)實(shí)現(xiàn)的。如果提供size參數(shù)，size是表示讀取內(nèi)容的總長(zhǎng)，也就是說(shuō)可能只讀到文件的一部分。 fp.write(str) #把str寫(xiě)到文件中，write()并不會(huì)在str后加上一個(gè)換行符 fp.writelines(seq) #把seq的內(nèi)容全部寫(xiě)到文件中(多行一次性寫(xiě)入)。這個(gè)函數(shù)也只是忠實(shí)地寫(xiě)入，不會(huì)在每行后面加上任何東西。 fp.close() #關(guān)閉文件。python會(huì)在一個(gè)文件不用后自動(dòng)關(guān)閉文件，不過(guò)這一功能沒(méi)有保證，最好還是養(yǎng)成自己關(guān)閉的習(xí)慣。 如果一個(gè)文件在關(guān)閉后還對(duì)其進(jìn)行操作會(huì)產(chǎn)生ValueError fp.flush() #把緩沖區(qū)的內(nèi)容寫(xiě)入硬盤(pán) fp.fileno() #返回一個(gè)長(zhǎng)整型的”文件標(biāo)簽“ fp.isatty() #文件是否是一個(gè)終端設(shè)備文件（unix系統(tǒng)中的） fp.tell() #返回文件操作標(biāo)記的當(dāng)前位置，以文件的開(kāi)頭為原點(diǎn) fp.next() #返回下一行，并將文件操作標(biāo)記位移到下一行。把一個(gè)file用于for … in file這樣的語(yǔ)句時(shí)，就是調(diào)用next()函數(shù)來(lái)實(shí)現(xiàn)遍歷的。 fp.seek(offset[,whence]) #將文件打操作標(biāo)記移到offset的位置。這個(gè)offset一般是相對(duì)于文件的開(kāi)頭來(lái)計(jì)算的，一般為正數(shù)。但如果提供了whence參數(shù)就不一定了，whence可以為0表示從頭開(kāi)始計(jì)算，1表示以當(dāng)前位置為原點(diǎn)計(jì)算。2表示以文件末尾為原點(diǎn)進(jìn)行計(jì)算。需要注意，如果文件以a或a+的模式打開(kāi)，每次進(jìn)行寫(xiě)操作時(shí)，文件操作標(biāo)記會(huì)自動(dòng)返回到文件末尾。 fp.truncate([size]) #把文件裁成規(guī)定的大小，默認(rèn)的是裁到當(dāng)前文件操作標(biāo)記的位置。如果size比文件的大小還要大，依據(jù)系統(tǒng)的不同可能是不改變文件，也可能是用0把文件補(bǔ)到相應(yīng)的大小，也可能是以一些隨機(jī)的內(nèi)容加上去。 目錄操作： os.mkdir(“file”) 創(chuàng)建目錄 復(fù)制文件： shutil.copyfile(“oldfile”,”newfile”) oldfile和newfile都只能是文件 shutil.copy(“oldfile”,”newfile”) oldfile只能是文件夾，newfile可以是文件，也可以是目標(biāo)目錄 復(fù)制文件夾： shutil.copytree(“olddir”,”newdir”) olddir和newdir都只能是目錄，且newdir必須不存在 重命名文件（目錄） os.rename(“oldname”,”newname”) 文件或目錄都是使用這條命令 移動(dòng)文件（目錄） shutil.move(“oldpos”,”newpos”) 刪除文件 os.remove(“file”) 刪除目錄 os.rmdir(“dir”)只能刪除空目錄 shutil.rmtree(“dir”) 空目錄、有內(nèi)容的目錄都可以刪 轉(zhuǎn)換目錄 os.chdir(“path”) 換路徑 Python讀寫(xiě)文件 1.open 使用open打開(kāi)文件后一定要記得調(diào)用文件對(duì)象的close()方法。比如可以用try/finally語(yǔ)句來(lái)確保最后能關(guān)閉文件。 file_object = open(‘thefile.txt’) try: all_the_text = file_object.read( ) finally: file_object.close( ) 注：不能把open語(yǔ)句放在try塊里，因?yàn)楫?dāng)打開(kāi)文件出現(xiàn)異常時(shí)，文件對(duì)象file_object無(wú)法執(zhí)行close()方法。 2.讀文件 讀文本文件 input = open('data', 'r') #第二個(gè)參數(shù)默認(rèn)為r input = open('data') 1 2 3 讀二進(jìn)制文件 input = open('data', 'rb') 1 讀取所有內(nèi)容 file_object = open('thefile.txt') try: all_the_text = file_object.read( ) finally: file_object.close( ) 1 2 3 4 5 讀固定字節(jié) file_object = open('abinfile', 'rb') try: while True: chunk = file_object.read(100) if not chunk: break do_something_with(chunk) finally: file_object.close( ) 1 2 3 4 5 6 7 8 9 讀每行 list_of_all_the_lines = file_object.readlines( ) 1 如果文件是文本文件，還可以直接遍歷文件對(duì)象獲取每行： for line in file_object: process line 1 2 3.寫(xiě)文件 寫(xiě)文本文件 output = open('data', 'w') 1 寫(xiě)二進(jìn)制文件 output = open('data', 'wb') 1 追加寫(xiě)文件 output = open('data', 'w+') 1 寫(xiě)數(shù)據(jù) file_object = open('thefile.txt', 'w') file_object.write(all_the_text) file_object.close( ) 1 2 3 寫(xiě)入多行 file_object.writelines(list_of_text_strings) 1 注意，調(diào)用writelines寫(xiě)入多行在性能上會(huì)比使用write一次性寫(xiě)入要高。 在處理日志文件的時(shí)候，常常會(huì)遇到這樣的情況：日志文件巨大，不可能一次性把整個(gè)文件讀入到內(nèi)存中進(jìn)行處理，例如需要在一臺(tái)物理內(nèi)存為 2GB 的機(jī)器上處理一個(gè) 2GB 的日志文件，我們可能希望每次只處理其中 200MB 的內(nèi)容。 在 Python 中，內(nèi)置的 File 對(duì)象直接提供了一個(gè) readlines(sizehint) 函數(shù)來(lái)完成這樣的事情。以下面的代碼為例： file = open('test.log', 'r')sizehint = 209715200 # 200Mposition = 0lines = file.readlines(sizehint)while not file.tell() - position < 0: position = file.tell() lines = file.readlines(sizehint) 1 每次調(diào)用 readlines(sizehint) 函數(shù)，會(huì)返回大約 200MB 的數(shù)據(jù)，而且所返回的必然都是完整的行數(shù)據(jù)，大多數(shù)情況下，返回的數(shù)據(jù)的字節(jié)數(shù)會(huì)稍微比 sizehint 指定的值大一點(diǎn)（除最后一次調(diào)用 readlines(sizehint) 函數(shù)的時(shí)候）。通常情況下，Python 會(huì)自動(dòng)將用戶(hù)指定的 sizehint 的值調(diào)整成內(nèi)部緩存大小的整數(shù)倍。 file在python是一個(gè)特殊的類(lèi)型，它用于在python程序中對(duì)外部的文件進(jìn)行操作。在python中一切都是對(duì)象，file也不例外，file有file的方法和屬性。下面先來(lái)看如何創(chuàng)建一個(gè)file對(duì)象： file(name[, mode[, buffering]]) 1 file()函數(shù)用于創(chuàng)建一個(gè)file對(duì)象，它有一個(gè)別名叫open()，可能更形象一些，它們是內(nèi)置函數(shù)。來(lái)看看它的參數(shù)。它參數(shù)都是以字符串的形式傳遞的。name是文件的名字。 mode是打開(kāi)的模式，可選的值為r w a U，分別代表讀（默認(rèn)） 寫(xiě) 添加支持各種換行符的模式。用w或a模式打開(kāi)文件的話(huà)，如果文件不存在，那么就自動(dòng)創(chuàng)建。此外，用w模式打開(kāi)一個(gè)已經(jīng)存在的文件時(shí)，原有文件的內(nèi)容會(huì)被清空，因?yàn)橐婚_(kāi)始文件的操作的標(biāo)記是在文件的開(kāi)頭的，這時(shí)候進(jìn)行寫(xiě)操作，無(wú)疑會(huì)把原有的內(nèi)容給抹掉。由于歷史的原因，換行符在不同的系統(tǒng)中有不同模式，比如在 unix中是一個(gè)\n，而在windows中是‘\r\n’，用U模式打開(kāi)文件，就是支持所有的換行模式，也就說(shuō)‘\r’ ‘\n’ ‘\r\n’都可表示換行，會(huì)有一個(gè)tuple用來(lái)存貯這個(gè)文件中用到過(guò)的換行符。不過(guò)，雖說(shuō)換行有多種模式，讀到python中統(tǒng)一用\n代替。在模式字符的后面，還可以加上+ b t這兩種標(biāo)識(shí)，分別表示可以對(duì)文件同時(shí)進(jìn)行讀寫(xiě)操作和用二進(jìn)制模式、文本模式（默認(rèn)）打開(kāi)文件。 buffering如果為0表示不進(jìn)行緩沖;如果為1表示進(jìn)行“行緩沖“;如果是一個(gè)大于1的數(shù)表示緩沖區(qū)的大小，應(yīng)該是以字節(jié)為單位的。 file對(duì)象有自己的屬性和方法。先來(lái)看看file的屬性。 closed #標(biāo)記文件是否已經(jīng)關(guān)閉，由close()改寫(xiě) encoding #文件編碼 mode #打開(kāi)模式 name #文件名 newlines #文件中用到的換行模式，是一個(gè)tuple softspace #boolean型，一般為0，據(jù)說(shuō)用于print 1 2 3 4 5 6 file的讀寫(xiě)方法： F.read([size]) #size為讀取的長(zhǎng)度，以byte為單位 F.readline([size]) #讀一行，如果定義了size，有可能返回的只是一行的一部分 F.readlines([size]) #把文件每一行作為一個(gè)list的一個(gè)成員，并返回這個(gè)list。其實(shí)它的內(nèi)部是通過(guò)循環(huán)調(diào)用readline()來(lái)實(shí)現(xiàn)的。如果提供size參數(shù)，size是表示讀取內(nèi)容的總長(zhǎng)，也就是說(shuō)可能只讀到文件的一部分。 F.write(str) #把str寫(xiě)到文件中，write()并不會(huì)在str后加上一個(gè)換行符 F.writelines(seq) #把seq的內(nèi)容全部寫(xiě)到文件中。這個(gè)函數(shù)也只是忠實(shí)地寫(xiě)入，不會(huì)在每行后面加上任何東西。 file的其他方法： F.close() #關(guān)閉文件。python會(huì)在一個(gè)文件不用后自動(dòng)關(guān)閉文件，不過(guò)這一功能沒(méi)有保證，最好還是養(yǎng)成自己關(guān)閉的習(xí)慣。如果一個(gè)文件在關(guān)閉后還對(duì)其進(jìn)行操作會(huì)產(chǎn)生ValueError F.flush() #把緩沖區(qū)的內(nèi)容寫(xiě)入硬盤(pán) F.fileno() #返回一個(gè)長(zhǎng)整型的”文件標(biāo)簽“ F.isatty() #文件是否是一個(gè)終端設(shè)備文件（unix系統(tǒng)中的） F.tell() #返回文件操作標(biāo)記的當(dāng)前位置，以文件的開(kāi)頭為原點(diǎn) F.next() #返回下一行，并將文件操作標(biāo)記位移到下一行。把一個(gè)file用于for ... in file這樣的語(yǔ)句時(shí)，就是調(diào)用next()函數(shù)來(lái)實(shí)現(xiàn)遍歷的。 F.seek(offset[,whence]) #將文件打操作標(biāo)記移到offset的位置。這個(gè)offset一般是相對(duì)于文件的開(kāi)頭來(lái)計(jì)算的，一般為正數(shù)。但如果提供了whence參數(shù)就不一定了，whence可以為0表示從頭開(kāi)始計(jì)算，1表示以當(dāng)前位置為原點(diǎn)計(jì)算。2表示以文件末尾為原點(diǎn)進(jìn)行計(jì)算。需要注意，如果文件以a或a+的模式打開(kāi)，每次進(jìn)行寫(xiě)操作時(shí)，文件操作標(biāo)記會(huì)自動(dòng)返回到文件末尾。 F.truncate([size]) #把文件裁成規(guī)定的大小，默認(rèn)的是裁到當(dāng)前文件操作標(biāo)記的位置。如果size比文件的大小還要大，依據(jù)系統(tǒng)的不同可能是不改變文件，也可能是用0把文件補(bǔ)到相應(yīng)的大小，也可能是以一些隨機(jī)的內(nèi)容加上去。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 http://www.cnblogs.com/allenblogs/archive/2010/09/13/1824842.html http://www.cnblogs.com/rollenholt/archive/2012/04/23/2466179.html 首先 dfs.replication這個(gè)參數(shù)是個(gè)client參數(shù)，即node level參數(shù)。需要在每臺(tái)datanode上設(shè)置。 其實(shí)默認(rèn)為3個(gè)副本已經(jīng)夠用了，設(shè)置太多也沒(méi)什么用。 一個(gè)文件，上傳到hdfs上時(shí)指定的是幾個(gè)副本就是幾個(gè)。以后你修改了副本數(shù)，對(duì)已經(jīng)上傳了的文件也不會(huì)起作用。可以再上傳文件的同時(shí)指定創(chuàng)建的副本數(shù) Hadoop dfs -D dfs.replication=1 -put 70M logs/2 可以通過(guò)命令來(lái)更改已經(jīng)上傳的文件的副本數(shù)： hadoop fs -setrep -R 3 / 查看當(dāng)前hdfs的副本數(shù) hadoop fsck -locations FSCK started by hadoop from /172.18.6.112 for path / at Thu Oct 27 13:24:25 CST 2011 ....................Status: HEALTHY Total size: 4834251860 B Total dirs: 21 Total files: 20 Total blocks (validated): 82 (avg. block size 58954290 B) Minimally replicated blocks: 82 (100.0 %) Over-replicated blocks: 0 (0.0 %) Under-replicated blocks: 0 (0.0 %) Mis-replicated blocks: 0 (0.0 %) Default replication factor: 3 Average block replication: 3.0 Corrupt blocks: 0 Missing replicas: 0 (0.0 %) Number of data-nodes: 3 Number of racks: 1 FSCK ended at Thu Oct 27 13:24:25 CST 2011 in 10 milliseconds The filesystem under path '/' is HEALTHY 某個(gè)文件的副本數(shù)，可以通過(guò)ls中的文件描述符看到 hadoop dfs -ls -rw-r--r-- 3 hadoop supergroup 153748148 2011-10-27 16:11 /user/hadoop/logs/201108/impression_witspixel2011080100.thin.log.gz 如果你只有3個(gè)datanode，但是你卻指定副本數(shù)為4，是不會(huì)生效的，因?yàn)槊總€(gè)datanode上只能存放一個(gè)副本。 參考：http://blog.csdn.net/lskyne/article/details/8898666 轉(zhuǎn)自：https://www.cnblogs.com/shabbylee/p/6792555.html 由于歷史原因，Python有兩個(gè)大的版本分支，Python2和Python3，又由于一些庫(kù)只支持某個(gè)版本分支，所以需要在電腦上同時(shí)安裝Python2和Python3，因此如何讓兩個(gè)版本的Python兼容，如何讓腳本在對(duì)應(yīng)的Python版本上運(yùn)行，這個(gè)是值得總結(jié)的。 對(duì)于Ubuntu 16.04 LTS版本來(lái)說(shuō)，Python2（2.7.12）和Python3（3.5.2）默認(rèn)同時(shí)安裝，默認(rèn)的python版本是2.7.12。 當(dāng)然你也可以用python2來(lái)調(diào)用。 如果想調(diào)用python3，就用python3. 對(duì)于Windows，就有點(diǎn)復(fù)雜了。因?yàn)椴徽損ython2還是python3，python可執(zhí)行文件都叫python.exe，在cmd下輸入python得到的版本號(hào)取決于環(huán)境變量里哪個(gè)版本的python路徑更靠前，畢竟windows是按照順序查找的。比如環(huán)境變量里的順序是這樣的： 那么cmd下的python版本就是2.7.12。 反之，則是python3的版本號(hào)。 這就帶來(lái)一個(gè)問(wèn)題了，如果你想用python2運(yùn)行一個(gè)腳本，一會(huì)你又想用python3運(yùn)行另一個(gè)腳本，你怎么做？來(lái)回改環(huán)境變量顯然很麻煩。 網(wǎng)上很多辦法比較簡(jiǎn)單粗暴，把兩個(gè)python.exe改名啊，一個(gè)改成python2.exe，一個(gè)改成python3.exe。這樣做固然可以，但修改可執(zhí)行文件的方式，畢竟不是很好的方法。 我仔細(xì)查找了一些python技術(shù)文檔，發(fā)現(xiàn)另外一個(gè)我覺(jué)得比較好的解決辦法。 借用py的一個(gè)參數(shù)來(lái)調(diào)用不同版本的Python。py -2調(diào)用python2，py -3調(diào)用的是python3. 當(dāng)python腳本需要python2運(yùn)行時(shí)，只需在腳本前加上，然后運(yùn)行py xxx.py即可。 #! python2 當(dāng)python腳本需要python3運(yùn)行時(shí)，只需在腳本前加上，，然后運(yùn)行py xxx.py即可。 #! python3 就這么簡(jiǎn)單。 同時(shí)，這也完美解決了在pip在python2和python3共存的環(huán)境下報(bào)錯(cuò)，提示Fatal error in launcher: Unable to create process using '"'的問(wèn)題。 當(dāng)需要python2的pip時(shí)，只需 py -2 -m pip install xxx 當(dāng)需要python3的pip時(shí)，只需 py -3 -m pip install xxx python2和python3的pip package就這樣可以完美分開(kāi)了。