Python编程使用NLTK进行自然语言处理详解

> import nltk 
> nltk.download() 

> sent_tokenizer = nltk.data.load('tokenizers/punkt/english.pickle') 
> paragraph = "The first time I heard that song was in Hawaii on radio.  
... I was just a kid, and loved it very much! What a fantastic song!" 
> sentences = sent_tokenizer.tokenize(paragraph) 
> sentences 
['The first time I heard that song was in Hawaii on radio.',  
 'I was just a kid, and loved it very much!',  
 'What a fantastic song!'] 

> from nltk.tokenize import WordPunctTokenizer 
> sentence = "Are you old enough to remember Michael Jackson attending  
... the Grammys with Brooke Shields and Webster sat on his lap during the show" 
> words = WordPunctTokenizer().tokenize(sentence) 
> words 
['Are', 'you', 'old', 'enough', 'to', 'remember', 'Michael', 'Jackson', 'attending', 
 'the', 'Grammys', 'with', 'Brooke', 'Shields', 'and', 'Webster', 'sat', 'on', 'his', 
 'lap', 'during', 'the', 'show', '"htmlcode">

> text = 'That U.S.A. poster-print costs $12.40...' 


目前市面上可以参考的在Python下进行自然语言处理的书籍是由Steven Bird、Ewan Klein、Edward Loper编写的《Python 自然语言处理》。但是该书的编写时间距今已有近十年的时间，由于软件包更新等语言，在新环境下进行开发时，书中的某些代码并不能很正常的运行。最后，我们举一个书中代码out of date的例子（对上面这就话进行分词），并给出相应的解决办法。首先来看书中的一段节录


> text = 'That U.S.A. poster-print costs $12.40...' 
> pattern = r'''''("'"htmlcode">

['That', 'U.S.A.', 'poster-print', 'costs', '$12.40', '...'] 


但是我们实际得到的输出却是这样的（注意我们所使用的NLTK版本）


[('', '', ''), 
 ('A.', '', ''), 
 ('', '-print', ''), 
 ('', '', ''), 
 ('', '', '.40'), 
 ('', '', '')] 


会出现这样的问题是由于nltk.internals.compile_regexp_to_noncapturing()在V3.1版本的NLTK中已经被抛弃（尽管在更早的版本中它仍然可以运行），为此我们把之前定义的pattern稍作修改


pattern = r"""("'""" 


再次执行前面的语句，便会得到


> nltk.regexp_tokenize(text, pattern) 
['That', 'U.S.A.', 'poster-print', 'costs', '12.40', '...'] 


以上便是我们对NLTK这个自然语言处理工具包的初步探索，日后主页君将结合机器学习中的方法再来探讨一些更为深入的应用。最后，我想说《Python 自然语言处理》仍然是当前非常值得推荐的一本讲述利用NLTK和Python进行自然语言处理技术的非常值得推荐的书籍。
总结
以上就是本文关于Python编程使用NLTK进行自然语言处理详解的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站：
python中requests库session对象的妙用详解
13个最常用的Python深度学习库介绍
python爬虫系列Selenium定向爬取虎扑篮球图片详解
如有不足之处，欢迎留言指出。