실수로포스팅해버렸다.

[핸즈온 머신러닝 2판] 테스트 세트 만들기

Foo — Sun, 6 Sep 2020 05:15:03 +0900

본 포스팅의 내용은 핸즈온 머신러닝 2판의 p.85~p.90의 2.3.4 테스트 세트 만들기의 보충 설명을 포함하고 있습니다.

p.86을 보면 다음과 같이 train_set, test_set을 split한다.

이렇게 split한 test_set는 문제가 있다.

프로그램을 실행할 때마다 다른 test_set가 생성된다는 것이다.

첫번째 실행된 test_set

두번째 실행된 test_set

책에서는 2가지 해결책을 제시하고 있다.

1. test_set를 최초 1회 실행할 때 저장하고, 이후 실행시에는 이를 불러온다.(파일 형태이거나 DB에 넣거나)

2. np.random.permutation()을 호출하기 전에 seed를 지정하는 방법(ex. np.random.seed(42) )

하지만 저자는 이 두 가지 방법 모두 문제가 있다고 함.

어떤 케이스에서 문제가 발생하냐면, 데이터 이 업데이트가 되는 경우 문제가 발생한다.

사실 이 부분 설명하려고 포스팅을 했다.

다음과 같이 예시를 들어보겠다.

최초 10,000개의 데이터를 8:2로 나누어 2,000개를 test_set로 삼았다.

나는 이를 이용해 열심히 학습을 해서 모델을 만들어 내었다.

그런데 다음날 데이터가 추가되어 총 데이터가 20,000개가 되었다. 이를 위의 코드로 다시 나누게되면

8:2로 나누어, 이번에는 4,000개가 test_set이 된다.

여기서 문제가 발생한다.

1. 데이터의 양 자체가 달라져서 shuffle을 할 경우 기존에 train_set과 test_set이 뒤죽박죽이 된다.

2. 1에서 파생되는 문제일 수 있는데, 설령 기존 test_set에 있던 데이터가 모두 다시 test_set으로 들어왔다고 가정해도, 기존에 train_set에 있던 데이터가 test_set으로 들어오게 된다. 이는 test_set을 절대 들여다 보지 않아야하는 원칙에 위배되고, 이는 overfitting을 유발한다.

이를 피하기 위해 책에서는 unique하게 구분될 수 있는 id 값을 이용하여 해결하는 방법을 제시한다.

제주 환상 자전거길 완주 후기 - 2일차

Foo — Mon, 22 Jun 2020 22:59:40 +0900

이전글 - 1편 제주 환상 자전거길 완주 후기 - 1일차 (팁 요약 포함) : https://iwantadmin.tistory.com/323

제주 환상 자전거길 완주 후기 - 1일차 (팁 요약 포함)

읽기 귀찮으실 분들을 위한 자전거 여행 팁 요약 1. 썬크림은 꼭 바르세요. 위는 제 손목입니다. 썬 스틱을 발랐는데 저 부분이 잘 안발려서 첫날 자전거를 타다보니 붉게 변하고, 저렇게 타버렸�

iwantadmin.tistory.com

지난글 이후로 좀 늦어졌네요 ㅎㅎ.. 다시 마저 작성해봅니다.

우선 모슬포항에서 숙소를 떠나 다시 송악산, 산방산 쪽으로 출발해보았습니다.

산방산

송악산은 사진이 없는데.. 귀찮아서 안찍었더니 없네요 ㅎㅎㅎㅎ 죄송합니다.

송악산 예쁘니까 여유되시면 꼭 자전거 인증센터에 주차해두시고, 한번 송악산 한바뀌 돌아보시는걸 추천드립니다.

제주 환상자전거길에서 가장 힘든 구간이 아닐까 생각되는데

http://sanguru.me/jeju-intro/

이런 코스를 지나야 합니다.

가장 경사가 심한 코스라서 계속 오르막길을 가다가 중문 관광단지 근처에서 부터 계속 내리막으로 갈 수 있습니다.

특히! 중문관광단지 내에서 자전거 도로를 놓치기 쉬운 구간이 있는데 다음 장소를 보면 꼭 속도를 줄이시고 자전거길을 따라가 보세요.

지도상으로는 이런 길이구요.

제주 환상자전거길 자전거도로 놓치기 쉬운 곳

ㄹ

자전거 도로가 위와 같이 되어있습니다.

여기가 내리막 길이라 속도가 빨라서 자전거길을 놓치기 쉬우니까 꼭 주의하세요.

여기에 저기 앞쪽에 있는 횡단보도에 파란 선이 그려져 있는데 놓치기 딱 좋게 되어있습니다.

이유는 보시는 것처럼 횡단보도 표시는 하얀색인데, 파란색 자전거도로를 따라가다보면 그대로 직진을 하게 됩니다.

여기서 계속 내려가시면 신라호텔 구경 가능하니까 신라호텔 구경 안할거면 참고하세요.

유튜브 보면 다른분들도 여기서 꼭 헤메시는 것 같은데 표지판이라도 하나 만들어주면 좋을 것 같습니다..

표지판도 하나 없이 빠른 속도로 내려가다보면 당신도 이미 놓쳐있을 겁니다.

계속 페달을 밟다보면 법환포구에 도착합니다.

법환포구

여기에는 인증센터가 있어요.

여기서 인증센터 바로 앞에 있는 중국집에서 차돌짬뽕을 점심으로 먹었는데, 별로였다..

다음에 오게될 것 같지는 않았다.

여기까지해서 반정도 돈 것 같았다. (대략 낮 12시 정도 되었음.)

다시 출발~

쇠소깍 인증센터

거의 10개월정도 제주에 살았는데, 쇠소깍 같이 유원지처럼 되어있는 곳은 처음봤다.

간단히 편의점에서 음료수만 사서 다시 출발했다.

쇠소깍은 관광객들도 많고 차도 많아서 조심해야되는데, 이 앞 도로는 특이하게 자전거 우선 도로이다. 차량보다 자전거가 우선이다.

다시 출발을 했다.. 여기서 표선까지 가는 길에 그 일이 벌어져 버렸다.

자전거에 펑크가 나버렸다.

펑크가 났지만, 나는 수리 킷이 없었다.

어쩔 수 없이 자전거 수리점이 어디인지 확인해보려고 했고, 충격적이게도 자전거 수리점은 주변에 없었다....

그래도 혹시나 하는 마음에 삼천리자전거로 들어가서 표선에 있는 자전거 가게가 없는지 확인해봤더니, 왠걸 표선에 삼천리자전거 대리점이 있는 거였다. (카카오 맵에는 없었는데, 네이버 지도에는 나오네 ㅎ..)

https://map.naver.com/v5/search/%EC%9E%90%EC%A0%84%EA%B1%B0/place/17085311?c=14118739.6279975,3938162.8932447,16,0,0,0,dh&p=lqhZvJdOFTPElUmjUTJxZA,95.38,6.27,37,Float

네이버 지도

삼천리자전거표선점

map.naver.com

064-787-3918로 전화를 걸어서 언제까지 영업하시는지 여쭤봤다.

현재 시간은 16시였고, 18시까지는 영업을 하신다고 했다..

나는 우선 버스에 자전거를 싣고 갈 수 있지 않을까 하여 버스 정류장에서 기사님들께 여쭤보니 오는 버스마다 좌석이 4열로 되어있는 차량이어서 불가능하다고 하셨다..

그래서 결국 저 거리를 자전거를 끌고 가기 시작했다.

그렇게 6.4km의 길을 자전거를 끌고 갔다.

그렇게 도착했더니 대략 17시 30분 정도가 되었다.

튜브를 교체해주셨고(교체 비용 15000원), 그 후 자전거를 타고 다시 출발했다.

표선해비치해변 인증센터

자전거가게에서 금방 표선 인증센터에 닿을 수 있었다.

자전거를 끌고와서 너무 몸이 지치고 힘들었지만, 다음날 비 예보가 있어서 성산까지 가보기로 했다.

성산으로 자전거를 타고 가면서 보게된 풍경이다.

저 멀리 성산일출봉이 보이는 것 같다.

이때부턴 거의 무아지경으로 자전거를 탄 것 같다.

워낙 자전거를 탄지 오래되었고, 운동을 안하니 체력도 약해서 ㅎㅎ..

제일 힘들었던건 보호경 같은걸 안껴서 바람에 눈이 너무 아팠다.

성산 인증센터 전에 숙소를 잡았다.

플레이스 캠프 제주라는 곳을 잡았는데, 그런대로 괜찮은 곳이었다.

방이 좁다는 것만 빼면.

투숙객들에게 저렴하게 파는 치킨이 있어서 이 치킨에 맥주 한잔을 곁들여 저녁을 해결했다.

치킨은 제법 맛있었다.

땀에 절어버려 날개처럼 소금이 생겨버린 모자.

둘째날은 여기까지 하고 피곤해서 이만 자리에 눕고 잠을 청했다.

3일차는 금방 끝나겠지만 이것도 나눠서 작성해보겠습니다.

제주 탑동에서 본 부분일식(2020.06.21)

Foo — Sun, 21 Jun 2020 17:22:05 +0900

일식관측안경을 통해 본 일식

카카오페이지 웹툰 다운로더

Foo — Fri, 12 Jun 2020 20:28:02 +0900

설명 영상

카카오페이지 웹툰 다운로더 다운로드하기 - https://github.com/lleellee0/kakaopage-webtoon-downloader/releases/tag/v1.0.0

학부생이 개발자로 취업하기 위해 준비해야할 12가지

Foo — Tue, 9 Jun 2020 07:06:07 +0900

- 영상 요약

01. 발표 많이 해보기 / 내가 알고 있는 내용 옆 사람에게 설명해주기
02. 학점 3.5 이상 유지하기
03. 주력언어와 보조언어 가지기
04. 블로그 운영하기(포트폴리오, 공부한 내용 정리)
05. Github에 코드 업로드하기
06. CS 전반에 대한 공부하기(운영체제, 네트워크 등)
07. 알고리즘 문제 풀기
08. 포트폴리오로 사용할 토이 프로젝트 만들어보기
09. 교육 프로그램 있으면 참석 해보기
10. 스터디 활동 해보기
11. 3학년 2학기 부터는 이력서 한번 써보기
12. 정보처리기사 따기

제주 환상 자전거길 완주 후기 - 1일차 (팁 요약 포함)

Foo — Thu, 14 May 2020 08:00:08 +0900

읽기 귀찮으실 분들을 위한 자전거 여행 팁 요약

1. 썬크림은 꼭 바르세요.

위는 제 손목입니다. 썬 스틱을 발랐는데 저 부분이 잘 안발려서 첫날 자전거를 타다보니 붉게 변하고, 저렇게 타버렸습니다.

2. 선글라스나 보호경을 끼는게 좋습니다. 제주는 항상 바람이 많이 불어서 하루 종일 자전거를 타면 저녁에는 눈이 매우 충혈됩니다.

3. 로드 자전거 보다는 MTB를 추천합니다. 포장이 잘 되어있는 도로도 많지만, 포장이 안되어 있는 도로도 종종 있고, 무엇보다 도로에 얉은 턱이 있어도 빠른 속도를 내고있는 상태에서 로드 자전거는 펑크가 날까봐 노심초사 했습니다. (턱 때문은 아니었지만 제 로드 자전거는 펑크가 났습니다. 2일차에 나옵니다.)

4. 시간적인 여유가 있다면 바람의 방향을 확인하고 타시는 것도 좋습니다.

제가 탈 당시는 1일차에 매우 강한 역풍을 맞으면서 탔는데, 체력적으로도 힘들고 속도도 안나서 재미가 없습니다.

5. 코스는 시계 반대 방향으로 돌아야 합니다.

6. 자전거 종주 수첩을 사용할 수도 있지만, 자전거 행복나눔? 이라는 앱을 사용해서 인증하는 것도 됩니다.

https://play.google.com/store/apps/details?id=com.jbt.android.bicyclehappysharing&hl=ko

근데 저는 수첩으로 하시는 것을 추천하고 싶습니다. 인식 안되는 경우도 있고, 인증센터에서 QR코드 찾으려고 애먹거나, 인증 되었던게 다 날아갔다고 하시는 분도 보았습니다.

7. 숙소는 점심 시간 이후에 예약하셔도 대부분의 경우에 충분히 잡을 수 있었습니다. 미리 숙소를 잡고 출발하다가 거기까지 도달하지 못할 수도 있고, 무리하지 않으려면 이렇게 하는게 좋습니다.

8. 2박 3일 일정은 생각보다 빡빡할 수 있습니다.(제 기준) 느긋하게 중간 중간 사진도 찍고 하려면 최소 3박 4일 일정을 생각하세요.

9. 편의점은 중간중간 정말 충분히 있습니다. 무리해서 마실걸 잔뜩 사실 필요 없습니다.

10. 마지막으로 저는 지금 제주도에 9개월째 거주하고 있는 사람이라 자전거를 육지에서 가져와서 조립하여 탄다거나, 대여하여 타는 방법은 모릅니다. ㅎㅎ 그건 다른 블로그 글 참고해보세요.

팁은 생각나는대로 적어봤는데 여기까지 인 것 같고, 여기부터 여행기 입니다.

때는 2020년 4월말 ~ 5월초 황금 연휴 기간이었다. 4월 30일 석가탄신일을 시작으로, 5월 5일 어린이날 까지 5월 4일만 휴가내면 6일이나 쉴 수 있는 기회였기에 나는 놓치지 않고 나의 제주 라이프의 버킷리스트 중 하나였던 '제주 환상 자전거길' 완주를 하고자 하였다.

5월 3일부터는 비가 예정되어 있어서, 나는 2박 3일로 완주를 목표로 연휴가 시작되는 4월 30일 자전거 여행을 출발했다.

오전 9시 30분정도 집을 나섰다. 우리 집은 제주시내 안쪽에 있는 이도동에 위치해 있어서 다음과 같은 루트로 해안가 까지 가야했다.

내륙쪽에서 해안가로 내려가시려는 분들이라면 이 루트가 괜찮을 것 같다.

중앙로를 따라 내려가는 것도 해보았는데, 길이 영 좋지 않고 교차로도 너무 많아서 불편하다.

여행 전 꼭 핸드폰에 저장하고 출발하면 좋은 사진.

코스별 해발 고도

http://sanguru.me/jeju-intro/

(위의 코스별 해발 고도 보시고, 송악산부터 '나는 죽었다' 라고 복창하시면 됩니다.)

해안가에 도착하여, 가볍게 용두암까지 도착했다.

촬영 시간을 기준으로 4월 30일 10시 33분이었다.

여기까지는 이미 3번정도 타고 와봤다.

현재 위치

용두암에서 도장을 찍고 열심히 달려보았다.

도두봉을 지나기 전까지는 예쁜 카페들도 있고, 바다 풍경도 참 예뻐서 타러 오길 잘했다는 생각이 많이 들었다.

이제 시작이라 아직 힘도 얼마 쓰지 않았기 때문이다.

용두암 ~ 다락쉼터 21km

금방 다락쉼터에 도달할 수 있었다.

자전거 여행 아니면 와보지도 않았을 길 인 것 같다. 다락 쉼터까지는 평소 자전거도 안타고 운동도 쉬고 있는 나에게도 그리 어려운 일은 아니었다. (12시 30분 정도 도착)

현재 위치

여기서부터는 해거름마을공원까지는 거리도 제법 되었고, 점심시간도 되어서 한림쪽에 이미 알고 있는 식당을 가고자 계속 페달을 밟았다.

여기서부터 굉장한 맞바람을 맞으면서 자전거를 타야했는데, 바람 수준이 이정도이다.

약 10m/s 이상의 바람이 남에서 북으로 불어왔다.

짧은 거리를 가는것도 힘들어서 굉장히 힘든 코스였고, 어찌어찌 점심식사를 하기로 마음먹었던 '바당길'이라는 식당까지 왔다.

https://place.map.kakao.com/500457527

여기인데, 이 식당에서 받은건 없지만 이 주변을 들른다면 꼭 들러서 먹어보기를 권한다.

제일 맛있는건 보말 칼국수인데, 이날은 내가 좀 늦게 도착해서 재료가 다 떨어졌다고 하여 그냥 전복 물회를 먹었다. 전복 물회도 제법 맛있었다.

여기서 식사를 하고, 떠나서 페달을 밟는데 식사를 하면서 오래 쉬어서 그런지 다리에 쥐가 났다.

평소 운동도 안하고, 스트레칭도 제대로 안해줘서 생긴 일이었던 것 같다.. 자전거를 잠시 세우고 근처 버스정류장에서 쥐난 다리를 계속 풀어줬다. (여기서 직장 동료에서 help를 칠뻔 했다.)

그래도 다리를 계속 풀어주니까 금세 자전거를 탈 수 있을 정도로 회복되었다. 이후로 수시로 스트레칭을 해주었다.

얼마뒤 해거름마을공원에 도착했다.

다른 자전거 타는 사람들도 많이 앉아서 쉬고 있었다. 수상 풍력발전기들이 줄 지어있고, 넓게 트여있는 전망이 좋다. 전망대 카페도 운영하는 것 같은데, 이용해보진 않았다. 화장실도 있으니 용무를 해결하자.

도장도 찍었고, 잠시 쉬면서 경치도 구경했으니 다시 출발해본다.

근데 여기서 송악산 인증센터까지는 35km이다.

송악산까지 가면 숙소가 없어서 송악산 이전 모슬포 근처에 숙소를 잡고 출발했다.

여기 코스가 제일 힘들었다.

힘든점 1. 첫날인데 자전거를 제법 많이 탔다.

힘든점 2. 위에서 본 역풍을 계속 맞으면서 탔다.

힘든점 3. 35km이라고 써있고, 중간에 동기부여를 할만한 중간 단계 라는게 없다. 한강 같은 곳은 중간중간 다음 다리까지 몇 km이라고 써있는 것을 보면서 하나하나 나아가는 맛이 있지만, 해거름~송악산 35km은 그런거 없다.

중간에 볼 수 있는 차귀도의 모습은 그래도 제법 아름다웠다.

적당한 숙소를 잡고 들어갔다.

호텔52 라는 숙소였는데, 연휴인데 가격도 싸고 그럭저럭 나쁘지 않았다.

특히 자전거 도로에 매우 근접해있는 숙소라서 좋았다.

숙소에서 보이는 풍경들

1일차까지 찍은 도장

근처에 있는 명품 순두부 라는 체인점에서 식사를 했다. 제주도 시내에도 있는 체인점이라 특별할 건 없었다.

시간도 남아서 모슬포항을 잠시 걸어서 둘러보았다.

아래는 숙소에서 모슬포항으로 가는 길에서 찍은 사진이다.

이건 제주 모슬포항에 있는 카페에서 찍은 당근 케이크와 플랫 화이트이다.

당근 케이크에 갈려진 생 당근이 올라가 있는게 인상적이었다.

여기까지가 제주 환상 자전거길 1일차이다.

금방 쓸 줄 알았는데, 생각보다 글 쓰는데 시간이 걸렸던 것 같다.

2일차 예고

2일차 게시글 작성하게 되면 후기 2일차 링크 남겨놓겠습니다.

제주도(도서지역) 거주 & 쿠캣 마켓 이용자는 안보면 손해!

Foo — Wed, 13 May 2020 22:27:14 +0900

제주도와 같은 산간/도서 지방에서 쿠캣마켓 배송이 되는 상품을 손쉽게 볼 수 있게 해주는 웹 페이지 입니다.

자세한 내용은 영상 참고하시고, 아래 링크로 들어가시면 리스트를 확인하실 수 있습니다.

링크 : http://www.stocktility.com/lifetility-cookat-delivery.html

다른 귀찮은 일들에 대한 제보를 기다립니다.

예비 개발자를 위한 개발 영상 - 프로젝트 개요

Foo — Tue, 12 May 2020 23:05:58 +0900

이전 게시글 : https://iwantadmin.tistory.com/320?category=397843

Node.js, Spring Boot(Java), Python을 이용해 다음 뉴스를 크롤링하여 어떤 카테고리에 속하는지 M/L(Machine Learning)로 학습/분류 하는 프로젝트 입니다.

예비 개발자를 위한 개발 영상을 업로드 합니다.

Foo — Mon, 4 May 2020 03:44:59 +0900

1년간 접어두었던 유튜브 영상 업로드를 다시 시작하려고 합니다.

크롤링에 관심이 있거나, 예비 개발자, 학부생들에게 도움이 될만한 영상을 만들어 보려고 합니다.

많은 시청 바랍니다. 감사합니다.

늦은 2020년의 목표

Foo — Wed, 29 Apr 2020 04:14:55 +0900

1. adfit 광고 수익 1일 3000원 넘기기 (월 10만원)

현 상태 (4월 29일) - 대략 평균 100원정도

기존 트래픽 대비 30배 정도는 되어야 목표 달성을 할 수 있게 되는 건데 이를 위해 다음 2가지가 병행되어야 할 것 같다.

1) stocktility로의 유입은 양질의 주식 관련 데이터를 제작, 관리하고 홍보를 해야할 것 같다. 홍보 수단은 블로그 or youtube

2) 블로그에는 단발성으로 티스토리 홈페이지를 통해 유입되는 것 보다는 지속적으로 사용자들의 검색으로 유입될 수 있는 방법을 생각해보는게 좋을 것 같다. ex. 코딩 초심자를 위한 쉬운 프로그래밍 강의 연재 or 각종 인프라 관련된 초기 설치/사용 방법에 대한 정리 or 주식/자산배분과 관련된 양질의 데이터

2. youtube 채널 구독자 수 1000명 넘기기

작년 5월 14일(2019년)을 마지막으로 영상을 더 이상 올리지 않고 있는데도 구독자는 꾸준히 늘고 있다. (고마운 분들) 유튜브에도 내가 올릴 수 있는 영상들을 올려보는게 좋을 것 같다. 컨텐츠는 다음 정도로 생각해 보았음.

1) 크롤링과 관련된 각종 영상. 금융 관련 데이터를 이용한 영상도 괜찮을 것 같고, 기존 크롤링 영상처럼 여러 사이트들의 컨텐츠를 크롤링 하는 것도 좋을 것 같다.

2) 특정 전략을 백테스팅할 수 있는 방법에 대한 영상 (ex. 터틀 트레이딩)
3) 텔레그램 봇을 사용하여 1, 2번에 대해 알람을 받을 수 있는 영상

4) 프로그래밍에 대한 영상 (ex. rabbit mq, kafka, jpa, 테스트 등)