이번 포스팅에서는 마지막으로 Custom Search Command를 좀 더 효율적으로 사용할 수 있는 방법을 공유드릴 수 있도록 하겠습니다.

1. _time 필드 활용하기
2. time range 입력받기
3. searchbnf 로 명령어 도움말 추가하기
4. 기타..

이번 포스팅에서는 Splunk Custom Search Command 를 이용하여 실제 Kaggle 에서 Dataset 을 Splunk 로 가져오는 앱을 만들어 보겠습니다.

미리 완성될 Kaggle SPL의 옵션값들을 떠올려 보는것이 만들어 나갈 코드를 어떤식으로 개발할지 방향성을 잡기에 쉽습니다.

아마 Kaggle 앱은 아래와 같이 동작하면 좋을것 같습니다.
| kaggle competition="titanic" data="train.csv"

또한 불러올 데이터셋이 time series 데이터일 경우를 대비하여,
time_field="create_time" time_format="%Y/%m/%d %H:%M:%S"
라는 필드도 옵션으로 넣어줄 수 있게 만들어 주면 좋을 것 같네요.

Splunk 를 사용하면서 큰 장점 중 하나로 생각했던, Custom Search Command 에 대해 포스팅하고자 합니다.

해당 기능을 통해서는 아래와 같은 스플렁크 앱 개발은 물론 다양한 아이디어 적용이 가능합니다.

1. ElasticSearch API를 이용하여 ES의 Data를 Splunk로 Integration
   (가져온 Data는 Splunk search-head 메모리에 올라왔기 때문에 stats 등 SPL은 물론 경보 및 레포트등 스플렁크 기능 활용 가능)
2. Splunk 에 인덱싱된 Data를 내가만든 명령어 SPL으로 Streaming하여 원하는곳으로 전송
3. 등등.. Python 코드로 작성가능한 모든것 (Splunk 로 가져오거나, 내보내거나.)

이번 포스팅은 아래와 같이 3개의 주제로 나눠서 게시될 예정입니다.

1. Custom Search Command 란? - 이번 게시물
2. Kaggle dataset download 앱 개발해보기
3. Event별 _time 관리 / time range 입력받기 / 명령어 도움말 관리

Elastic 공식 Docs의 How to write a Java filter plugin 에 잘 나와있지만,
내용대로 진행시 몇가지 에러가 발생했다.

• FAILURE: Build failed with an exception
• error: package co.elastic.logstash.api does not exist

으로 검색하여 들어오신 분에게 도움이 되었으면 합니다!

데이터분석 공부를 위해 셋팅해둔 docker 이미지(jupyter)를 오랜만에 다시 build 하니 tensorflow 패키지 다운로드가 너무 오래 걸려서 build가 timeout이 되었다.
Pypi(pip)의 mirror 설정으로 변경 후 다시 실행하니 바로 해결!

예전부터 미뤄왔던 블로그를 이제서야 시작해본다.
첫글은 hexo icarus 테마 중 내가 몇가지 수정한 것을 포스팅

• 한글 font 변경
• profile 변경
• article 가독성을 위해 변경
• 그 외에도 몇가지 (방문자수 등)