[Cookbook] Bash에서 text(string) 다루기, 이럴 때 이렇게 한다.

기초

여러 파일을 separator를 추가하여 합쳐보자.

# append a newline after each file
sed -s '$G' *.txt > all.txt
# append a line of 8 dashes and a newline after each file
sed -s '$a--------' *.txt

# Insert a line of dashes before each file:
sed -s '1i--------' *.txt
# Do the same, but without a newline after the dashes:
sed -s '1s/^/--------/' *.txt
# Put a line of dashes on the end of the last line of each file:
sed -s '$s/$/--------/' *.txt
# Surround each file with curly braces:
sed -s -e '1i{' -e '$a}' *.txt

REF

파일에서 어떤 부분을 지워보자

빈줄을 지워보자.

sed '/^$/d' text.txt

특정 패턴을 지워보자

# 정규식으로 "((OR))"로 시작하는 줄만 지워보자
sed -r '/^\(\((OR)\)\)/d' org.txt > rst.txt

특정 패턴만 남기고 지워보자

# 정규식으로 "((OR))"로 시작하는 줄만 남기고 지워보자
sed -r '/^\(\((OR)\)\)/!d' org.txt > rst.txt

폴더 속에 있는 텍스트 파일의 글자 길이를 알아보자.

ls | xargs wc -c

REF

파일 속에서 불필요한 내용을 빼고 토큰을 공백으로 구분해보자.

아래와 같이 clean_and_tokenize.sh 배치 파일을 만들어 실행한다.

#!/bin/bash
# clean_and_tokenize.sh inputfile.txt outputfile.txt
tr '[:upper:]' '[:lower:]' < $1 |	# 입력파일($1)을 받아 대문자를 소문자로 바꾼다.
  tr '[:punct:]' ' ' |			# 구두기호를 스페이스 한 칸으로 바꾼다.
  tr '[:space:]' ' ' |			# 공백을 스페이스 한 칸으로 바꾼다.
  tr -cd '[:alnum:] ' |			# 모든 숫자와 알파벳을 제외한('-c') 글자를 삭제('-d')한다.
  tr -s ' ' > $2 				# 연속된('-s') 공백을 스페이스 한 칸으로 바꾼다. # 결과 파일($2)에 넣어 준다.

REF

파일 속에 있는 단어 당 출현 빈도를 목록으로 만들어 보자.

아래와 같이 word_freq.sh 배치 파일을 만들어 실행한다.

단어는 공백을 기준으로 구분한다.

#!/bin/bash
# word_freq.sh inputfile.txt outputfile.txt
tr ' ' '\n' < $1 |		# 입력파일($1)을 받아 공백을 모두 개행으로 찾아 바꾼다.
  sort -S 10G |			# 소팅한다
  uniq -c |				# 등장 단어와 횟수를('-c') 출력한다
  awk '{print $2" "$1}'	> $2  # 원하는 부분만 빼서 # 결과 파일($2)에 넣어 준다.

REF

... ... ... ...
Back