Python 모듈 정리

[Nurungyi]

os모듈

os.getcwd(): 현재 default로 설정되어있는 폴더의 위치를 알 수 있음.

print("%s")에서 "%s"를 사용하는 이유는 s값을 다른 값에서 불러오기 위해서이다. %s를 이용하는것과 이용하지 않는것과의 차이는 %s는 변수를 입력 받을 수 있음. 따라서, 이 변수가 변동이있는 변수라면 print의 값은 그때 그때마다 달라질 수 있음.

os.listdir은 어떤 파일이 폴더 안에 있는지 확인하는 명령어이다.

예시) import glob, os

path = "C:\image\data\train"
path_list = os.listdir(path)
print(path_list)

디렉토리를 입력할때 왜 \를 두개씩 입력해줬냐면, 파이썬이 하나를 못읽을 떄가 있어 그래서 두개를 입력하는것이 편함. 한개 입력시 이런 오류가 발생 할 수 있음 (EOL while scanning string literal).

os.chdir은 directory를 변경해주는 module이다. 이것을 입력하면 glob모듈로 파일을 불러올때 따로 디렉토리를 지정해주지 안아도된다.# os.chdir은 directory를 변경해주는 module이다. 이것을 입력하면 glob모듈로 파일을 불러올때 따로 디렉토리를 지정해주지 안아도된다.

예시)

os.chdir(path)
gl = glob.glob('*.jpg')
print(gl)

os.environ
환경 변수의 값을 보여줌.

예시)
아직 환경 변수가 무엇을 할 수 있는지 모르겠음.

split함수는
값을 나누는 함수이다.
split함수의 괄호한에 공백만 있으면, 공백을 기준으로 나눈다.
예시) a = "Life; i;s; to;o ;s;h;ort"
a.split(';')

['Life', ' i', 's', ' to', 'o ', 's', 'h', 'ort']

tf.train.slice_input_producer(a, b)함수는
a는 input이고, b는 label을 의미한다.

tf.train.slice_input_producer([image, label])
는

[Nurungyi]

MNIST나 CIFAR-10 데이터셋이 아닌 커스텀 데이터셋을 불러오는 방법

이미지 데이터에 모델을 적용하기 위해 이미지 데이터를 리스트에 넣어야하고, 이것을 label해야 한다.
예제로 고양이 이미지를 0, 개 이미지를 1로 준다고 생각해보자. 그리고 전체 데이터셋의 60%을 train data 20%을 validation data 나머지 20%를 test data로 정의해보자.

이미지 데이터를 불러왔으면, 이 이미지 데이터들의 데이터 타입(이 예시에서는 float32)을 변경해줘야한다. 이 데이터를 TFRecord파일로 바꿀 것이다. 이 함수를 정의해보자.

데이터를 TFRecord에 저장하기전에, 우리는 프로토콜 버퍼를 처리해야한다. 그런다음 우리는 이 프로토콜 버퍼를 일렬화하고, 그것을 TFRecord. 예시의 프로토콜 버퍼는 Feature를 포함한다. Feature는 data를 설명하는 프로토콜이고, 세 종류의 데이터 타입을 가진다(bytes, fload, and int64). 요약하면, 데이터의 저장을 위해 다음의 단계를 거쳐야함.

1. tf.python_io.TFRecordWriter를 이용해 TRRecrods파일을 연다.
2. tf.train.Int64List, tf.train.BytesList, tf.train.FloatList를 이용해 데이터의 타입을 변경한다.
3. tf.train.Feature를 이용해 feature를 생성한다음, 변형된 데이터를 통과시킨다.
4. tf.train.Example를 이용해 Example 프로토콜 버퍼를 생성하고, feature를 통과시킨다.
5. example.SerializerTostring()을 이용해 예시를 일렬로 스트링화 시킨다.
6. writer.write를 이용해 예시를 작성한다.