실시간 음성 감지 및 자동 번역 크롬 확장 프로그램 개발기 (2편)

2019/01/31 - [개발] - 실시간 음성 감지 및 자동 번역 크롬 확장 프로그램 개발기 (1편)

실시간 음성 감지 및 자동 번역 크롬 확장 프로그램 개발기 (1편)

2편은 이 프로그램을 배포한 이후에 운영하면서 생긴 일과 그 사이에 생긴 통계를 정리하는 글이다.

첫 작성일은 2019년 4월이었고, 2019년 5월 29일, 2019년 9월 17일에 내용을 추가하였다.

 

---

 

1. 한달에 4000분 정도의 양이 STT된다. 근데 그 중 대다수의 결과가 공백 (노이즈가 많거나 아무 소리가 없는 경우). 이게 전체 지출의 85%(약 $100). AWS 호스팅+인스턴스가 10%($15).

2. 번역은 약 20만자/1개월인데 $4가 채 나오지 않는다. 그 중 $3는 SMT(통계모델, 그 중에서도 Phrase-Based Model), $1는 NMT 번역이다.

3. 스토리지는 보관 기간을 30일로 설정해봤는데 약 0.57GB밖에 사용을 안 한다. 가격은 $0.01

4. 스토리지 요청은 A, B 클래스 합쳐서 약 5만회로 $0.17 나왔다. (이건 1번역에 1회 요청해서 가져오니까 당연한 결과)

5. GCP의 무료 평가판이 종료되어도 크레딧의 유효 기간은 별도로 동작한다. 이 프로젝트의 경우에는 speech API가 60분/월 무료, 번역이 5000자/월 무료였는데 크게 티는 안 났을 수준. 오히려 $300의 크레딧이 혜자 중의 혜자

6. 번역 요청과 결과를 DB에 저장한다면 의미있는 데이터를 추출할 수 있지 않을까 생각된다. 얼추 파악하기에는 한-영, 한-일 번역이 가장 많은 것 같다. 

7. 통계를 내보려고 로그를 확인했더니 배포때문에 도커 앱을 껐다켜서 40일치 로그가 날아갔다. 로그 저장에도 신경써야하는 이유를 알았다. 참고로 도커는 /var/lib/docker/containers/ 아래에 로그가 저장된다. (별도로 설정 안한다면)

8. 다행히 GCP에서 API 사용량을 확인할 수 있었다. (물론 API 단위라 데이터 통계는 정확히 못 냄) 평균 응답 지연 시간이 2.025초였고 99%가 6.956초 이내에 응답을 받았다. 번역은 평균 지연 시간이 0.074초밖에 안될 정도로 빨랐다. (가장 느린 경우에도 0.882초)

9. GCP STT API에 데이터 로깅이라는 기능이 있었다. 특별 가격과 약관이 있으므로 알아본 후 활성화하는 게 맞아보인다. 

10. 서버는 AWS EC2에서 t2.micro의 스펙으로 돌아가고 있다. 운영중에 CPU 사용률은 10%를 잘 넘지 않는다. 

11. 볼륨은 16기가 중 10기가 정도만 사용중. (어차피 GCP Storage로 보내버려서 디스크는 거의 쓰지 않는다)

12. nginx 로그를 보면 크롤러들의 접속이 정말 많다. 그래서 robots.txt를 추가했다.

13. 2019년 5월 29일까지 14,500분 분량의 음성을 인식하였고, 487,069자(약 10만 5천 단어)를 번역하였고 $350의 비용이 요구되었다.

14. 2019/03/07 ~ 2019/05/28 사이에 있었던 트래픽 그래프는 아래와 같다. 파란색은 스토리지 API, 회색은 Speech API, 노란색은 번역 API에 대한 트래픽이다.

15. 2019/03/07 ~ 2019/05/28 사이에 있었던 결제 보고서는 아래와 같다. 파란색 바(Speech-To-Text)가 압도적으로 높아서 나머지는 잘 보이지 않는다. (자세히 보면 아래에 주황색, 노란색이 있는데 A, B 클래스 스토리지의 금액이다)

---

16. 2019/04/25 ~ 2019/07/21 사이에 구글 클라우드 플랫폼(GCP)에서만 사용된 비용이다. 5월까지 한 달에 평균 $100 정도가 나왔길래 크레딧 충전을 8월 말로 계획하고 있었다. 하지만 6월 중순에 갑자기 사용량이 증가해서 6월 인보이스가 $155가 나왔고 프로젝트를 일찍 중단하기로 계획을 변경했다.
전체 $300 중에서 $287이 음성 인식에 사용된 점을 생각하면, 비용면에서 로컬의 음성 인식 모델이 얼만큼 중요한 지 알 수 있다.

$300