使用Python脚本在Linux下实现部分Bash Shell的教程

$ cat names.log | sort | uniq | wc -l

#!/usr/bin/env python
import sys
 
if __name__ == "__main__":
  # 初始化一个names的字典，内容为空
  # 字典中为name和出现数量的键值对
  names = {}
  # sys.stdin是一个文件对象。 所有引用于file对象的方法，
  # 都可以应用于sys.stdin.
  for name in sys.stdin.readlines():
      # 每一行都有一个newline字符做结尾
      # 我们需要删除它
      name = name.strip()
      if name in names:
          names[name] += 1
      else:
          names[name] = 1
 
  # 迭代字典,
  # 输出名字，空格，接着是该名字出现的数量
  for name, count in names.iteritems():
      sys.stdout.write("%d\t%s\n" % (count, name))

$ cat names.log | python namescount.py

$ cat names.log | python namescount.py | sort -rn

$ cat names.log | python namescount.py | sort -rn | head -n 5

"email@example.com", "This service is great."

#!/usr/bin/env python
# CSV module that comes with the Python standard library
import csv
import sys
 
 
if __name__ == "__main__":
  # CSV模块使用一个reader对象作为输入
  # 在这个例子中，就是 sys.stdin.
  csvfile = csv.reader(sys.stdin)
 
  # 这个脚本必须接收一个参数，指定列的序号
  # 使用sys.argv获取参数.
  column_number = 0
  if len(sys.argv) > 1:
      column_number = int(sys.argv[1])
 
  # CSV文件的每一行都是用逗号作为字段的分隔符
  for row in csvfile:
      print row[column_number]

#!/usr/bin/env python
import smtplib
import sys
 
 
GMAIL_SMTP_SERVER = "smtp.gmail.com"
GMAIL_SMTP_PORT = 587
 
GMAIL_EMAIL = "Your Gmail Email Goes Here"
GMAIL_PASSWORD = "Your Gmail Password Goes Here"
 
 
def initialize_smtp_server():
  '''
  This function initializes and greets the smtp server.
  It logs in using the provided credentials and returns
  the smtp server object as a result.
  '''
  smtpserver = smtplib.SMTP(GMAIL_SMTP_SERVER, GMAIL_SMTP_PORT)
  smtpserver.ehlo()
  smtpserver.starttls()
  smtpserver.ehlo()
  smtpserver.login(GMAIL_EMAIL, GMAIL_PASSWORD)
  return smtpserver
 
 
def send_thank_you_mail(email):
  to_email = email
  from_email = GMAIL_EMAIL
  subj = "Thanks for being an active commenter"
  # The header consists of the To and From and Subject lines
  # separated using a newline character
  header = "To:%s\nFrom:%s\nSubject:%s \n" % (to_email,
      from_email, subj)
  # Hard-coded templates are not best practice.
  msg_body = """
  Hi %s,
 
  Thank you very much for your repeated comments on our service.
  The interaction is much appreciated.
 
  Thank You.""" % email
  content = header + "\n" + msg_body
  smtpserver = initialize_smtp_server()
  smtpserver.sendmail(from_email, to_email, content)
  smtpserver.close()
 
 
if __name__ == "__main__":
  # for every line of input.
  for email in sys.stdin.readlines():
      send_thank_you_mail(email)

$ cat emailcomments.csv | python csvcolumn.py |
 "htmlcode">

#!/usr/bin/env python
import sys
 
if __name__ == "__main__":
  # The first argument of sys.argv is always the filename,
  # meaning that the length of system arguments will be
  # more than one, when command-line arguments exist.
  if len(sys.argv) > 2:
      num1 = long(sys.argv[1])
      num2 = long(sys.argv[2])
  else:
      print "This command takes two arguments and adds them"
      print "Less than two arguments given."
      sys.exit(1)
  print "%s" % str(num1 + num2)




庆幸的是，Python有很多处理有关命令行参数的模块。我个人比较喜欢OptionParser。OptionParser是标准库提供的optparse模块的一部分。OptionParser允许你对命令行参数做一系列非常有用的操作。

  
    如果没有提供具体的参数，可以指定默认的参数
  
    它支持参数标志(显示或不显示）和参数值（-n 10000)。
  
    它支持传递参数的不同格式——例如，有差别的-n=100000和-n 100000。

我们来用OptionParser来改进sending-mail脚本。原来的脚本有很多的变量硬编码的地方，比如SMTP细节和用户的登录凭据。在下面提供的代码，在这些变量是用来传递命令行参数：

 




#!/usr/bin/env python
import smtplib
import sys
 
from optparse import OptionParser
 
def initialize_smtp_server(smtpserver, smtpport, email, pwd):
  '''
  This function initializes and greets the SMTP server.
  It logs in using the provided credentials and returns the
  SMTP server object as a result.
  '''
  smtpserver = smtplib.SMTP(smtpserver, smtpport)
  smtpserver.ehlo()
  smtpserver.starttls()
  smtpserver.ehlo()
  smtpserver.login(email, pwd)
  return smtpserver
 
 
def send_thank_you_mail(email, smtpserver):
  to_email = email
  from_email = GMAIL_EMAIL
  subj = "Thanks for being an active commenter"
  # The header consists of the To and From and Subject lines
  # separated using a newline character.
  header = "To:%s\nFrom:%s\nSubject:%s \n" % (to_email,
      from_email, subj)
  # Hard-coded templates are not best practice.
  msg_body = """
  Hi %s,
 
  Thank you very much for your repeated comments on our service.
  The interaction is much appreciated.
 
  Thank You.""" % email
  content = header + "\n" + msg_body
  smtpserver.sendmail(from_email, to_email, content)
 
 
if __name__ == "__main__":
  usage = "usage: %prog [options]"
  parser = OptionParser(usage=usage)
  parser.add_option("--email", dest="email",
      help="email to login to smtp server")
  parser.add_option("--pwd", dest="pwd",
      help="password to login to smtp server")
  parser.add_option("--smtp-server", dest="smtpserver",
      help="smtp server url", default="smtp.gmail.com")
  parser.add_option("--smtp-port", dest="smtpserverport",
      help="smtp server port", default=587)
  options, args = parser.parse_args()
 
  if not (options.email or options.pwd):
      parser.error("Must provide both an email and a password")
 
  smtpserver = initialize_smtp_server(options.stmpserver,
      options.smtpserverport, options.email, options.pwd)
 
  # for every line of input.
  for email in sys.stdin.readlines():
      send_thank_you_mail(email, smtpserver)
  smtpserver.close()



这个脚本显示OptionParser 的作用。它提供了一个简单、易于使用的接口给命令行参数， 允许你为每个命令行选项定义某些属性。它还允许你指定默认值。如果没有给出某些参数，它可以给你报出特定错误。


现在你学到了多少？并不是使用一个python脚本替代所有的bash命令，我们更推荐让python完成其中某些困难的任务。这需要更多的模块化和重用的脚本，还要好好利用python的强大功能。
使用stdin作为文件对象，这可以允许python读取输入，这个输入是由管道传输其他命令的输出给它的，而把输出输出到stout，可以允许python把信息传递到管道系统的下一环节。结合这些功能，可以实现强大的程序。在这里提到的例子，就是要实现一个处理服务的日志文件。
在实际应用中，我最近在处理一个GB级别的CSV文件，我需要使用python脚本转换一个包含插入数据的SQL命令。了解我需要处理的文件，并在一个表中处理这些数据，脚本需要23个小时来执行并生成20GB的SQL文件。使用文章提到的python编程风格的优势在于，我们不需要把这个文件读取到内存中。这意味着整个20GB+的文件可以一行一行的处理。而且我们更清晰的分解每一个步骤（读取，排序，维护和输出）为一些逻辑步骤。还有我们得到这些命令的保障，其中这些命令都是UNIX类型的环境的核心工具，它们十分高效和稳定，可以帮助我们构建稳定安全的程序。


另外一个优点在于，我们不需要硬编码文件名。这样可以使得程序更灵活，只需传递一个参数。例如，如果脚本在某个文件在20000中断了，我们不需要重新运行脚本，我们可以使用tail来指定失败的行数，来让脚本在这个位置继续运行。
python在shell中的应用范围很广，不局限于本文所述，例如os模块和subprocess模块。os模块是一个标准库，可以执行很多操作系统级别的操作，例如列出目录的结构，文件的统计信息，还有一个优秀的os.path子模块，可以处理规范目录路径。subprocess模块允许python程序运行系统命令和其他高级命令，例如，上文提到的使用python代码和spawned进程之间的管道处理。如果你需要编写python的shell脚本，这些库都值得去研究的。