joyungki님의 노트

python_util

Mon, 09 Jul 2007 01:50:46 +0900

파이썬 소스에 한글 문자열이 있으면 다음과 같은 "SyntaxError: Non-ASCII character..."라는 에러가 납니다:

File "D:\Z\0.py", line 4
SyntaxError: Non-ASCII character '\x8c' in file D:\Z\0.py on line 4, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

파이썬은 영문 인코딩이 기본이기에, 한글을 표현하기 위해서는 한글 인코딩을 지정해 주어야 합니다.

# -*- coding: 949 -*-

위와 같은 행을, 파이썬 소스의 반드시 "1번째 줄" 또는 "2번째 줄"에 위치시켜야 합니다. 3번째 줄부터는 안됩니다.

또한
coding:
이곳의 콜론(:)기호를

coding :
이렇게 띄어쓰면 안됩니다.

파이썬 소스 한글 인코딩 지정 예제

파일명: 0.py

#!/usr/bin/python
# -*- coding: 949 -*-

print "Hello World! 똠방각하"

# 이 줄은 주석문(코멘트; Comment)입니다.

# -*- coding: cp949 -*-
또는
# -*- coding: ms949 -*-
라고 해도 됩니다.

그러나
# -*- coding: euc-kr -*-
이라고 하면, "똠방각하"의 "똠"자 등이 표현되지 않습니다.

"똠"자를 처리하지 못하고 이런 에러가 납니다: SyntaxError: 'euc_kr' codec can't decode bytes in position 20-21: illegal multibyte sequence

즉 확장완성형이 아닌 그냥 완성형으로 지정됩니다.

디렉토리의 파일목록 얻기

glob모듈의 glob함수 사용: 와일드카드문자 ?(임의의문자 1개와 매칭),* 를 지원한다.

import glob
glob.glob('./[0-9].*')

파일의 추가정보 알아내기

isfile(path)- path가 일반 파일이면 True 리턴
isdir(path)- path가 디렉토리이면 True 리턴
islink(path), ismount(path), exist(path)

파일크기, 접근시간

경로명 다루기

import os
p = os.path.abspath('LogMergeServer.py') #상대경로를 절대경로로
p
'/hanmail/wap_log/LogMergeServer.py'
os.path.split(p) #(디렉토리와 파일을 분리)
('/hanmail/wap_log', 'LogMergeServer.py')

URL다루기

urlparse함수는 아래와 같이 분리하여 튜플을 리턴
(addressing, scheme, network location, path, parameter, query, fragment, identifier)
ex)

import urlparse
a='http://3355.daum.net/daum/search/top/TotalList?q=스파이더맨3&skey='
x=urlparse.urlparse(a)
x
('http', '3355.daum.net', '/daum/search/top/TotalList', '', 'q=\xbd\xba\xc6\xc4\xc0\xcc\xb4\xf5\xb8\xc73&skey=', '')
urlparse.urlunparse(x)
'http://3355.daum.net/daum/search/top/TotalList?q=\xbd\xba\xc6\xc4\xc0\xcc\xb4\xf5\xb8\xc73&skey='
urlparse.urljoin(a, 'SearchTop')
'http://3355.daum.net/'

Python regex

text = '''128.134.98.74 - - [03/Jul/2007:17:03:01 +0900] "GET /daum/search/top/TotalList?q=\xc4\xab\xb5\xe5\xb2\xa4&access=KTF_SEARCH HTTP/1.1" 200 10949 "-" "Mozilla/1.22 (compatible;KUN/2.1.1; EV-K100; CellPhone)" "-" "8201096336669" "-"'''

    text = urllib.unquote(text)
    url = text.split("\"")[1].split(" ")[1]
    url = url.decode()

    pattern = r'^/\w+/\w+/(\w+)/\w.*q=([^&\xA1-\xFE]+).+?'
    p = re.compile(pattern)
    #p = re.compile(r'^/\w+/\w+/(\w+)/\w.*q=([^(\xa1-\xfe0-9a-zA-Z]+).+?')
    m = p.match(url)
    print url
    print '------------------------------------------------------'

    print m.group(0)
    print m.group(1)
    q = m.group(2)
    print q

# -*- coding: euc-kr -*-
import urllib
import re
import time

class parseLog:
    def __init__(self):
        self.today = time.strftime('%y%m%d')
        self.infile = open(self.today + '.search_log', 'r')
        self.outfile = open(self.today + '.search_map', 'a')

    def extractUrl(self):
        self.urls=[]
        for line in self.infile:
            line = urllib.unquote(line)
            self.urls.append(line.split("\"")[1].split(" ")[1].decode())
    def parseUrl(self):
        self.collMap = []
        for url in self.urls:
            #print url
            p = re.compile(r'^/\w+/\w+/(\w+)/\w.*q=([^&\xA1-\xFE]+).+?')
            m = p.match(url)

            collection = m.group(1)
            keyword = m.group(2)
            #print collection, keyword
            self.collMap.append((collection, keyword))





if __name__== "__main__":
    p = parseLog()
    p.extractUrl()
    p.parseUrl()
    print p.collMap

# # -*- coding: euc-kr -*-
import urllib
import re
import time
from array import *
class CollectionInfo:
    cafe = 0
    know = 0
    blog = 0
    news = 0
    image = 0
    web = 0
    keyword = ''
    def setKeyword(self, keyword):
        self.keyword = keyword
    def addCafe(self):
        self.cafe = self.cafe+1
    def addKnow(self):
        self.know = self.know+1
    def addBlog(self):
        self.blog = self.blog+1
    def addNews(self):
        self.news = self.news+1
    def addImage(self):
        self.image = self.image + 1
    def addWeb(self):
        self.web = self.web + 1
    def printColl(self):
        print 'cafe:',self.cafe,'/','blog:',self.blog,'/','know:',self.know,'/', 'news:',self.news,'/', 'image:',self.image,'/', 'web:',self.web


class ParseLog:
    def __init__(self):
        self.today = time.strftime('%y%m%d')
        self.infile = open(self.today + '.search_log', 'r')
        self.outfile = open(self.today + '.search_map', 'a')
        self.coldic = {}

    def extractUrl(self):
        self.urls=[]
        for line in self.infile:
            line.decode()
            line = urllib.unquote(line)

            self.urls.append(line.split("\"")[1].split(" ")[1])
    '''/daum/search/blog/BlogList?q=%C7%CF%B5%CE%B8%AE%B3%E0&skey='''
    def extractKeyword(self, url):
        if url.find('?q=') > 0:
            index = url.find('?q=')
        if url.find('&q=') > 0:
            index = url.find('&q=')

        q = url[index+3:]

        if q.find('&') > -1:
            q = q[:q.find('&')]
        return q
    def setCollectionInfo(self, collection, keyword):
        col=CollectionInfo()
        if 'cafe' == collection:
            col.addCafe()
        elif 'blog' == collection:
            col.addBlog()
        elif 'know' == collection:
            col.addKnow()
        elif 'news' == collection:
            col.addNews()
        elif 'image' == collection:
            col.addImage()
        elif 'web' == collection:
            col.addWeb()

        return col

    def setKeywordStat(self, collection, keyword, isFirst = False):
        if(isFirst):
            self.coldic[keyword] = self.setCollectionInfo(collection,keyword)
        else:
            if keyword in self.coldic:
                if 'cafe' == collection:
                    self.coldic[keyword].addCafe()
                elif 'blog' == collection:
                    self.coldic[keyword].addBlog()
                elif 'know' == collection:
                    self.coldic[keyword].addKnow()
                elif 'news' == collection:
                    self.coldic[keyword].addNews()
                elif 'image' == collection:
                    self.coldic[keyword].addImage()
                elif 'web' == collection:
                    self.coldic[keyword].addWeb()
            else:
                self.coldic[keyword] = self.setCollectionInfo(collection,keyword)
    def parseUrl(self):
        self.collMap = []
        colPattern = re.compile(r'^/.*(cafe|know|blog|image|dr|news)/.*')
        i=0
        for url in self.urls:
            colMat = colPattern.search(url)
            collection = colMat.group(1)
            keyword = self.extractKeyword(url)
            if keyword is not '':
                keyword = keyword.replace('+','')#공백제거
                print url
                print keyword
                if i == 0:
                    self.setKeywordStat(collection, keyword, True)
                else:
                    self.setKeywordStat(collection, keyword)
                i=i+1
                #setKeywordStat(collection,keyword,i)
                self.collMap.append((collection, keyword))

if __name__== "__main__":
    p = ParseLog()
    p.extractUrl()
    p.parseUrl()
    print '======================================'
    for keyword in p.coldic.keys():
        print keyword, p.coldic[keyword].printColl()

python_socket

Wed, 20 Jun 2007 17:14:02 +0900

python socket

socket(domain,[TCP|UDP]) - 소켓객체 생성

domain=AF_INET, AF_UNIX

TCP=SOCK_STREAM, UDP=SOCK_DGRAM

bind(host, port) - 특정 호스트와 포트로 바인드

listen(n) - server method n-클라이언트 대기큐(1~5)

accept() - return conn, addr

recv(bufsize) - bufsize만큼의 데이터를 수신한다.

send(buf) - 소켓을 통해 데이터를 전송한다.(전체가 한번에 전송되지 않을수도 있음, 전송된 문자수가 리턴됨)

sendall(buf) - 소켓을 통해 데이터를 전송한다. (전체메시지를 모두전송함, 모두 전송후에야 리턴됨)

setsockopt(SOL_SOCKET, SO_REUSADDR,1) - 소켓을 종료하자마자 주소재사용을 허용함

accept() - 클라이언트의 연결을 받아들인다.

블로킹 모드일 때는 클라이언트가 연결을 시도할때 까지 기다린다. (conn, addr을 리턴)

close() - 소캣을 닫는다.

setblocking(True|False) - 블로킹설정

gettimeout(), settimeout(sec) - time out설정

예제 TCP 소켓 동장예제

#Server
from socket import *
HOST = '192.168.36.17'
PORT = '50001'
s = socket(AF_INET, SOCK_STREAM)
s.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
s.bind((HOST,PORT))
s.listen(1)
conn, addr = s.accept() #conn객체와 address(HOST, PORT)정보를 리턴, client 요청시까지 대기
while 1:
1. data = conn.recv(1024)
2. if not data: break
3. conn.send(data)
conn.close()

#client
from socket import *
HOST='localhost'
PORT='50001'
s = socket(AF_INET, SOCK_STREAM)
s.connect((HOST, PORT))

python_file

Sun, 17 Jun 2007 16:58:03 +0900

python file

file.close(), file.read([size]) , file.readline()

file.readlines(): 전체라인을 readline()을 이용하여 읽어들인 라인을 리스트에 넣어서 리턴한다.

file.write(str): 문자열 str을 파일에 쓴다.

file.writeline(str): 문자열 리스트를 파일에 쓴다. 줄바꾸기가 자동으로 삽입되지는 않는다.

file.seek(offset,[whence]): whence의 기본 값은 0이다. 0이면 시작 기준, 1이면 현재 위치 기준, 2이민 끝 기준에서 offset만큼 떨어진 위치에 파일 포인터를 위치시킨다.

file.tell(): 파일의 현재위치를 리턴한다.

file.flush(): 버퍼가 다 채워지지 않았어도 내부 버퍼의 내용을 파일에 보낸다.

file.fileno(): file 객체의 파일 기술자(File Descriptor)(정수)를 리턴한다.

file.truncate([size])파일 크기를 지정된 크기로 잘라버림. 인수를 주지 않으면 현재 위치에서 자른다.

file.mode: 파일이 오픈된 모드, file.closed: 1 or 0을 리턴, file.name: open()할 때 사용된 파일 이름

python_oracle

Fri, 15 Jun 2007 14:31:27 +0900

Oracle module 소개

Oracle에 접속하기 위해서는 Oracle접속 모듈이 필요한데 이는 파이썬 소스코드를 통해 쉽게 Oracle 서버에 접근할 수 있도록 해주며 SQL명령어를 실행함으로써 얻은 결과를 파이썬코드에서 유용한 형태로 사용할 수 있도록 해준다. 파이썬을 통해 Oracle에 접근하기 위해서 본 테크노트에서는 cx_Oracle 모듈을 사용했다. cx_Oracle모듈은 다음 싸이트에서 최신버전을 다운받을 수 있다. http://sourceforge.net/projects/cx-oracle/ 설치되어 있는 파이썬 버전과 사용하고있는 오라클 버전에 맞는 모듈을 다운받아 설치하면 된다. 그밖에 다른 모듈을 사용할 경우 다음 페이지를 참조하여 적절한 모듈은 사용하면 된다. http://www.python.org/topics/database/modules.html

설치방법

리눅스

$ tar -xzvf cx_Oracle-4.3.1.tar.gz

$ cd cx_Oracle-4.3.1

$ python setup.py build

$ python setup.py install

윈도우

다운받은 실행파일을 실행하면 python설치 디렉토리를 찾아 자동으로 설치된다. cx_Oracle-4.3.1-win32-10g-py25.exe

Oracle 접속방법

1.먼저 설치된 cx_Oracle모듈을 import한다.

>>> import cx_Oracle

2.Database에 접속한다.
connect( [user, password, dsn, mode, handle, pool, threaded, twophase])
일반적인 접속을 위해서는 id와 passwd 그리고 dsn(data source name:TNSNAMES.ora파일 참고)이 필요하다.
추가적인 파라미터는 필요에 따라 접속시 지정할 수 있으며 일반적인 접속을 위해서 아래와 같이 접속하였다.

>>>orcl = cx_Oracle.connect('id/passwd@dsn')

예제코드

>>> import cx_Oracle
>>> orcl = cx_Oracle.connect('id/passwd@dsn')
>>> curs = orcl.cursor()
>>> curs.execute('select * from blogmore where btype=\'BEST\'')
>>> row = curs.fetchone() #상위 1개의 row만 가져온다.
>>>print row  #해당 row가 turple형태로 출력된다.
(155, 'BEST', 'antiright', '\xb4\xeb\xb8\xb6\xbf\xd5', '\xb4\xeb\xb8\xb6\xbf\xd5 \xb9\xe6\xb6\xfb\xb1\xe2', None, None, 'http://cfs7.blog.daum.net/upload_control/download.blog?fhandle=MDNPcmlAZnM3LmJsb2cuZGF1bS5uZXQ6L1BST0ZJTEUvMC8wLmpwZy50aHVtYg==&filename=0.jpg-', datetime.datetime(2006, 12, 4, 19, 45, 33))
>>> print row[0], row[1]
155 BEST
>>> rows = curs.fetchall() #모든 row를 가져온다.
>>> print rows #검색된 모든row가 list형태로 출력된다.

>>> print rows[0]
첫번째 row 출력
>>> print rows[0][1]
첫번째 row의 첫번째 필드 출력

참고문헌

http://www.oracle.com/technology/pub/articles/devlin-python-oracle.html

http://www.python.net/crew/atuining/cx_Oracle/html/front.html

python

Fri, 15 Jun 2007 03:02:04 +0900

about python

python_string

Tue, 29 May 2007 00:25:42 +0900

String method

#1 문자열 찾기

upper(), lower() 대소문자 변환

find(s),rfind(s), index(s) 문자열을 찾으면 시작 인덱스 반환, 없으면 -1, index는 없으면 Value error를 발생시킴

find는 왼쪽을 시작위치로, rfind는 오른쪽을 시작위치로 (검색시작위치 지정가능)

#2 편집및 치환

rstrip(), lstrip(), strip() 공백제거

replace(a,b) 문자열 치환

split(str) 문자열을 분할 =>s.split('\n')라인단위로 분리

join(str) 문자열 병합 '\n'.join(list)

center(len), rjust(len). ljust(len) =>주어진 길이의 문자에서 가운데 오른쪽 왼쪽 정렬

#3문자열 질의

isalnum(), isalpha(), istitle(),isdigit(),islower, isupper(),isspace(),

true or false 리턴

#string 모듈

모듈상수

digits, octdigits, hexdigits, letters, lowercase, uppercase, punctuation, printable, whitespace

모듈함수

capwords(s) - 각 단어의 첫문자를 대문자로 , zfill(s, n) - 왼쪽의 빈자리를 0으로 채운다.

#문서 문자열

모듈이나