이번 포스팅에서는 마지막으로 Custom Search Command를 좀 더 효율적으로 사용할 수 있는 방법을 공유드릴 수 있도록 하겠습니다.

1. _time 필드 활용하기
2. time range 입력받기
3. searchbnf 로 명령어 도움말 추가하기
4. 기타..

이번 포스팅에서는 Splunk Custom Search Command 를 이용하여 실제 Kaggle 에서 Dataset 을 Splunk 로 가져오는 앱을 만들어 보겠습니다.

미리 완성될 Kaggle SPL의 옵션값들을 떠올려 보는것이 만들어 나갈 코드를 어떤식으로 개발할지 방향성을 잡기에 쉽습니다.

아마 Kaggle 앱은 아래와 같이 동작하면 좋을것 같습니다.
| kaggle competition="titanic" data="train.csv"

또한 불러올 데이터셋이 time series 데이터일 경우를 대비하여,
time_field="create_time" time_format="%Y/%m/%d %H:%M:%S"
라는 필드도 옵션으로 넣어줄 수 있게 만들어 주면 좋을 것 같네요.

Splunk 를 사용하면서 큰 장점 중 하나로 생각했던, Custom Search Command 에 대해 포스팅하고자 합니다.

해당 기능을 통해서는 아래와 같은 스플렁크 앱 개발은 물론 다양한 아이디어 적용이 가능합니다.

1. ElasticSearch API를 이용하여 ES의 Data를 Splunk로 Integration
   (가져온 Data는 Splunk search-head 메모리에 올라왔기 때문에 stats 등 SPL은 물론 경보 및 레포트등 스플렁크 기능 활용 가능)
2. Splunk 에 인덱싱된 Data를 내가만든 명령어 SPL으로 Streaming하여 원하는곳으로 전송
3. 등등.. Python 코드로 작성가능한 모든것 (Splunk 로 가져오거나, 내보내거나.)

이번 포스팅은 아래와 같이 3개의 주제로 나눠서 게시될 예정입니다.

1. Custom Search Command 란? - 이번 게시물
2. Kaggle dataset download 앱 개발해보기
3. Event별 _time 관리 / time range 입력받기 / 명령어 도움말 관리

Elastic 공식 Docs의 How to write a Java filter plugin 에 잘 나와있지만,
내용대로 진행시 몇가지 에러가 발생했다.

• FAILURE: Build failed with an exception
• error: package co.elastic.logstash.api does not exist

으로 검색하여 들어오신 분에게 도움이 되었으면 합니다!