Merge pull request #723 from Yamato-Security/update-readme-2022/10/02

update readme

README-Japanese.md

@@ -36,12 +36,12 @@ Hayabusaは、日本の[Yamato Security](https://yamatosecurity.connpass.com/)
   - [ターミナル出力画面](#ターミナル出力画面)
   - [イベント頻度タイムライン出力画面 (`-V`オプション)](#イベント頻度タイムライン出力画面--vオプション)
   - [結果サマリ画面](#結果サマリ画面)
+  - [HTMLの結果サマリ (`-H`オプション)](#htmlの結果サマリ--hオプション)
   - [Excelでの解析](#excelでの解析)
   - [Timeline Explorerでの解析](#timeline-explorerでの解析)
   - [Criticalアラートのフィルタリングとコンピュータごとのグルーピング](#criticalアラートのフィルタリングとコンピュータごとのグルーピング)
   - [Elastic Stackダッシュボードでの解析](#elastic-stackダッシュボードでの解析)
   - [Timesketchでの解析](#timesketchでの解析)
-  - [HTMLの結果サマリ](#htmlの結果サマリ)
 - [タイムラインのサンプル結果](#タイムラインのサンプル結果)
 - [特徴＆機能](#特徴機能)
 - [ダウンロード](#ダウンロード)
@@ -85,8 +85,6 @@ Hayabusaは、日本の[Yamato Security](https://yamatosecurity.connpass.com/)
   - [標準出力へのカラー設定](#標準出力へのカラー設定)
   - [結果のサマリ](#結果のサマリ)
     - [イベント頻度タイムライン](#イベント頻度タイムライン)
-    - [最多検知日の出力](#最多検知日の出力)
-    - [最多検知端末名の出力](#最多検知端末名の出力)
 - [Hayabusaルール](#hayabusaルール)
   - [Hayabusa v.s. 変換されたSigmaルール](#hayabusa-vs-変換されたsigmaルール)
   - [検知ルールのチューニング](#検知ルールのチューニング)
@@ -137,6 +135,14 @@ Hayabusaは従来のWindowsイベントログ分析解析と比較して、分
 
 ![Hayabusa 結果サマリ画面](screenshots/HayabusaResultsSummary.png)
 
+## HTMLの結果サマリ (`-H`オプション)
+
+![Hayabusa results summary](screenshots/HTML-ResultsSummary-1.png)
+
+![Hayabusa results summary](screenshots/HTML-ResultsSummary-2.png)
+
+![Hayabusa results summary](screenshots/HTML-ResultsSummary-3.png)
+
 ## Excelでの解析
 
 ![Hayabusa Excelでの解析](screenshots/ExcelScreenshot.png)
@@ -160,10 +166,6 @@ Hayabusaは従来のWindowsイベントログ分析解析と比較して、分
 
 ![Timesketch](screenshots/TimesketchAnalysis.png)
 
-## HTMLの結果サマリ
-
-![HTMLResultsSummary](screenshots/HTML-ResultsSummary.png)
-
 # タイムラインのサンプル結果
 
 CSVのタイムライン結果のサンプルは[こちら](https://github.com/Yamato-Security/hayabusa/tree/main/sample-results)で確認できます。
@@ -191,7 +193,8 @@ CSVのタイムラインをTimesketchにインポートする方法は[こちら
 * 詳細な調査のために全フィールド情報の出力。
 * 成功と失敗したユーザログオンの要約。
 * [Velociraptor](https://docs.velociraptor.app/)と組み合わせた企業向けの広範囲なすべてのエンドポイントに対するスレットハンティングとDFIR。
-* CSV、JSON、JSONLの出力。
+* CSV、JSON、JSONL形式とHTML結果サマリの出力。
+* 毎日のSigmaルール更新。
 
 # ダウンロード
 
@@ -298,7 +301,7 @@ cargo build --release --target=x86_64-unknown-linux-musl
 ```
 
 MUSLバイナリは`./target/x86_64-unknown-linux-musl/release/`ディレクトリ配下に作成されます。
-MUSLバイナリはGNUバイナリより約15％遅いです。
+MUSLバイナリはGNUバイナリより約15％遅いですが、より多くのLinuxバージョンとディストロで実行できます。
 
 ## Linuxでのコンパイルの注意点
 
@@ -793,19 +796,13 @@ Hayabusaの結果は`level`毎に文字色が変わります。
 
 ## 結果のサマリ
 
+元々のイベント数、検知したイベント数、データ削減の統計、検知数情報、最多検知日、最多検知端末名、最多アラート等の情報がスキャン後に出力されます。
+
 ### イベント頻度タイムライン
 
 `-V`または`--visualize-timeline`オプションを使うことで、検知したイベントの数が5以上の時、頻度のタイムライン(スパークライン)を画面に出力します。
 マーカーの数は最大10個です。デフォルトのCommand PromptとPowerShell Promptでは文字化けがでるので、Windows TerminalやiTerm2等のターミナルをご利用ください。
 
-### 最多検知日の出力
-
-各レベルで最も検知された日付を画面に出力します。
-
-### 最多検知端末名の出力
-
-各レベルで多く検知されたユニークなイベントが多い端末名上位5つを画面に出力します。
-
 # Hayabusaルール
 
 Hayabusa検知ルールはSigmaのようなYML形式で記述されています。`rules`ディレクトリに入っていますが、将来的には[https://github.com/Yamato-Security/hayabusa-rules](https://github.com/Yamato-Security/hayabusa-rules)のレポジトリで管理する予定なので、ルールのissueとpull requestはhayabusaのレポジトリではなく、ルールレポジトリへお願いします。
@@ -847,7 +844,7 @@ Hayabusaルールは、Windowsのイベントログ解析専用に設計され
 
 1. [Rust正規表現クレート](https://docs.rs/regex/1.5.4/regex/)では機能しない正規表現を使用するルール。
 2. [Sigmaルール仕様](https://github.com/SigmaHQ/Sigma/wiki/Specification)の`count`以外の集計式。
-3. `|near`を使用するルール。
+3. `|near`または`|base64offset|contains`を使用するルール。
 
 ## 検知ルールのチューニング
 

README.md

@@ -35,12 +35,12 @@ Hayabusa is a **Windows event log fast forensics timeline generator** and **thre
   - [Terminal Output](#terminal-output)
   - [Event Fequency Timeline (`-V` option)](#event-fequency-timeline--v-option)
   - [Results Summary](#results-summary)
+  - [HTML Results Summary (`-H` option)](#html-results-summary--h-option)
   - [Analysis in Excel](#analysis-in-excel)
   - [Analysis in Timeline Explorer](#analysis-in-timeline-explorer)
   - [Critical Alert Filtering and Computer Grouping in Timeline Explorer](#critical-alert-filtering-and-computer-grouping-in-timeline-explorer)
   - [Analysis with the Elastic Stack Dashboard](#analysis-with-the-elastic-stack-dashboard)
   - [Analysis in Timesketch](#analysis-in-timesketch)
-  - [HTML Results Summary](#html-results-summary)
 - [Analyzing Sample Timeline Results](#analyzing-sample-timeline-results)
 - [Features](#features)
 - [Downloads](#downloads)
@@ -83,8 +83,6 @@ Hayabusa is a **Windows event log fast forensics timeline generator** and **thre
   - [Color Output](#color-output)
   - [Results Summary](#results-summary-1)
     - [Event Fequency Timeline](#event-fequency-timeline)
-    - [Dates with most total detections](#dates-with-most-total-detections)
-    - [Top 5 computers with most unique detections](#top-5-computers-with-most-unique-detections)
 - [Hayabusa Rules](#hayabusa-rules)
   - [Hayabusa v.s. Converted Sigma Rules](#hayabusa-vs-converted-sigma-rules)
   - [Detection Rule Tuning](#detection-rule-tuning)
@@ -130,6 +128,14 @@ Hayabusa hopes to let analysts get 80% of their work done in 20% of the time whe
 
 ![Hayabusa results summary](screenshots/HayabusaResultsSummary.png)
 
+## HTML Results Summary (`-H` option)
+
+![Hayabusa results summary](screenshots/HTML-ResultsSummary-1.png)
+
+![Hayabusa results summary](screenshots/HTML-ResultsSummary-2.png)
+
+![Hayabusa results summary](screenshots/HTML-ResultsSummary-3.png)
+
 ## Analysis in Excel
 
 ![Hayabusa analysis in Excel](screenshots/ExcelScreenshot.png)
@@ -152,10 +158,6 @@ Hayabusa hopes to let analysts get 80% of their work done in 20% of the time whe
 
 ![Timesketch](screenshots/TimesketchAnalysis.png)
 
-## HTML Results Summary
-
-![HTMLResultsSummary](screenshots/HTML-ResultsSummary.png)
-
 # Analyzing Sample Timeline Results
 
 You can check out a sample CSV timeline [here](https://github.com/Yamato-Security/hayabusa/tree/main/sample-results).
@@ -183,7 +185,8 @@ You can learn how to import CSV files into Timesketch [here](doc/TimesketchImpor
 * Output all fields for more thorough investigations.
 * Successful and failed logon summary.
 * Enterprise-wide threat hunting and DFIR on all endpoints with [Velociraptor](https://docs.velociraptor.app/).
-* Output to CSV, JSON or JSONL.
+* Output to CSV, JSON or JSONL and HTML Summary Reports.
+* Daily Sigma rule updates.
 
 # Downloads
 
@@ -293,7 +296,7 @@ cargo build --release --target=x86_64-unknown-linux-musl
 ```
 
 The MUSL binary will be created in the `./target/x86_64-unknown-linux-musl/release/` directory.
-MUSL binaries are are about 15% slower than the GNU binaries.
+MUSL binaries are are about 15% slower than the GNU binaries, however, they are more portable accross different versions and distributions of linux.
 
 # Running Hayabusa
 
@@ -784,19 +787,13 @@ If you want to disable color output, you can use `--no-color` option.
 
 ## Results Summary
 
+Total events, the number of events with hits, data reduction metrics, total and unique detections, dates with the most detections, top computers with detections and top alerts are displayed after every scan.
+
 ### Event Fequency Timeline
 
 If you add `-V` or `--visualize-timeline` option, the Event Frequency Timeline feature displays a sparkline frequency timeline of detected events.
 Note: There needs to be more than 5 events. Also, the characters will not render correctly on the default Command Prompt or PowerShell Prompt, so please use a terminal like Windows Terminal, iTerm2, etc...
 
-### Dates with most total detections
-
-A summary of the dates with the most total detections categorized by level (`critical`, `high`, etc...).
-
-### Top 5 computers with most unique detections
-
-The top 5 computers with the most unique detections categorized by level (`critical`, `high`, etc...).
-
 # Hayabusa Rules
 
 Hayabusa detection rules are written in a sigma-like YML format and are located in the `rules` folder. In the future, we plan to host the rules at [https://github.com/Yamato-Security/hayabusa-rules](https://github.com/Yamato-Security/hayabusa-rules) so please send any issues and pull requests for rules there instead of the main hayabusa repository.
@@ -837,7 +834,7 @@ Hayabusa rules are designed solely for Windows event log analysis and have the f
 
 1. Rules that use regular expressions that do not work with the [Rust regex crate](https://docs.rs/regex/1.5.4/regex/)
 2. Aggregation expressions besides `count` in the [sigma rule specification](https://github.com/SigmaHQ/sigma/wiki/Specification).
-3. Rules that use `|near`.
+3. Rules that use `|near` or `|base64offset|contains`.
 
 ## Detection Rule Tuning