lesson 16 source code

Author: Sergey

mini-redis/README.md

@@ -0,0 +1,33 @@
+### Запуск сервера
+
+```shell
+lein repl
+```
+
+```clojure
+(-main)
+```
+
+Сервер запустится на 6379 порту
+
+redis-cli устанавливается вместе с самим redis https://redis.io/docs/getting-started/installation/ 
+
+Запуск клиента 
+
+```shell
+redis-cli
+```
+
+Поддерживаемые команды
+
+```shell
+echo hello
+
+ping
+
+set my-key some-value
+
+set my-key some-value px 1200
+
+get my-key
+```

mini-redis/project.clj

@@ -0,0 +1,7 @@
+(defproject mini-redis "0.1.0-SNAPSHOT"
+  :description "Redis (ligth version of it) implemented in Clojure"
+
+  :dependencies [[org.clojure/clojure "1.11.1"]
+                 [org.clojure/core.async "1.6.673"]]
+
+  :repl-options {:init-ns mini-redis.core})

mini-redis/src/mini_redis/core.clj

@@ -0,0 +1,181 @@
+(ns mini-redis.core
+  (:require
+   [clojure.java.io :as io]
+   [clojure.string :as str])
+  (:import
+   [java.io BufferedReader Writer]
+   [java.net ServerSocket])
+  (:gen-class))
+
+
+;; используем атом в качестве in-memory хранилища
+(def database
+  (atom {}))
+
+
+
+;; обрабатываем команды от клиентов
+(defmulti handle-command
+  (fn [[command & _]]
+    (keyword (str/lower-case command))))
+
+
+(defmethod handle-command :ping
+  [_]
+  "PONG")
+
+
+(defmethod handle-command :echo
+  [[_ [arg-len arg]]]
+  arg)
+
+
+(defmethod handle-command :set
+  [[_ [key-len key val-len val opt-len opt optarg-len optarg]]]
+  ;; сохраняем значение
+  (swap! database assoc key val)
+
+  (when (and opt (= (.toUpperCase opt) "PX"))
+    (let [timeout (Integer/parseInt optarg)]
+      (future
+       (Thread/sleep timeout)
+       (swap! database dissoc key))))
+  ;; ответ клиенту
+  "OK")
+
+
+(defmethod handle-command :get
+  [[_ [key-len key]]]
+  (if-some [entry (find @database key)]
+    (val entry)
+    "(nil)"))
+
+
+;; needed for redis-cli
+(defmethod handle-command :command
+  [_]
+  "O hai")
+
+
+
+;; обрабатываем сообщения от клиента
+(defn error? [data]
+  (-> (class data)
+      (supers)
+      (contains? Throwable)))
+
+
+(defn reply [data]
+  (let [data-type (cond
+                    (string? data) "+"
+                    (integer? data) ":"
+                    (error? data) "-")]
+    (str/join [data-type data "\r\n"])))
+
+
+(defn handle-message
+  "Pass parsed message to the dispatch function and format result for client"
+  [message]
+  (let [[number-of-arguments command-string-len command & args] message]
+    (-> (handle-command [command args])
+        (reply))))
+
+
+
+(comment
+ (handle-command ["ECHO" [5 "HELLO"]])
+ (handle-message [nil nil "ECHO" 5 "HELLO"]))
+
+
+
+(defn read-message
+  "Read all lines of textual data from the given socket"
+  [^BufferedReader socket-reader]
+  (loop [line (.readLine socket-reader)
+         res  []]
+    (cond
+      ;; сокет закрылся
+      (nil? line) res
+      ;; клиент ничего не ввёл, но соединение еще открыто
+      (not (.ready socket-reader)) (conj res line)
+      ;; читаем следующую строку
+      :otherwise (recur (.readLine socket-reader)
+                        (conj res line)))))
+
+
+
+(comment
+ (read-message (io/reader (char-array "*2\r\n$4\r\necho\r\n$5\r\nhello")))
+ (read-message (io/reader (char-array "*5\r\n$3\r\nset\r\n$4\r\nname\r\n$6\r\nSergey\r\n$2\r\nRX\r\n$5\r\n10000"))))
+
+
+
+(defn send-message
+  "Send the given string message out over the given socket"
+  [^Writer socket-writer ^String msg]
+  (.write socket-writer msg)
+  (.flush socket-writer))
+
+
+
+(defn handle-client
+  "Create a separate thread for each client to execute commands"
+  [socket handler]
+  ;; запускаем отдельный поток для каждого клиента
+  (future
+   (with-open [reader (io/reader socket)
+               writer (io/writer socket)]
+     ;; обрабатываем команды от клиента
+     (doseq [msg-in (repeatedly #(read-message reader))
+             :while (not (empty? msg-in))
+             :let [msg-out (handler msg-in)]]
+       (println "msg-in" msg-in "msg-out" msg-out "\n")
+       ;; отправляем ответ
+       (send-message writer msg-out)))))
+
+
+
+(defn run-server
+  "Run socket server on the specified port"
+  [port handler]
+  ;; создаём сокет сервер
+  (let [server-sock (ServerSocket. port)]
+    (.setReuseAddress server-sock true)
+
+    ;; обрабатываем подключения в отдельном потоке
+    (future
+     (while true
+       (let [socket (.accept server-sock)]
+         (handle-client socket handler))))
+
+    ;; возвращаем объект сервера
+    server-sock))
+
+
+
+;; graceful shutdown
+(defn shutdown-hook [server]
+  (.addShutdownHook (Runtime/getRuntime)
+                    (Thread. ^Runnable
+                             (fn []
+                               (.close server)
+                               (shutdown-agents)))))
+
+
+;; точка входа
+(defn -main
+  [& args]
+  (let [server (run-server 6379 handle-message)]
+    (shutdown-hook server)
+    server))
+
+
+
+(comment
+ (def server
+   (-main))
+
+ @database
+
+ (.close server)
+ nil)

mini-redis/test/mini_redis/core_test.clj

@@ -0,0 +1,7 @@
+(ns mini-redis.core-test
+  (:require [clojure.test :refer :all]
+            [mini-redis.core :refer :all]))
+
+(deftest a-test
+  (testing "FIXME, I fail."
+    (is (= 0 1))))

otus-16/README.md

@@ -0,0 +1,11 @@
+## Clojure Developer. Урок 16
+
+Домашнее задание
+
+- распаковать архив [logs.7z](logs.7z)
+- написать функцию для чтения логов из файлов архива
+- написать функцию для парсинга логов согласно стандарту https://httpd.apache.org/docs/2.4/logs.html#combined
+- реализовать функционал для агрегации метрик из записей логов в многопоточном стиле
+  - подсчитать общее количество байт
+  - количество байт, суммарно отданных по заданному URL (или по всем URLам)
+  - количество URL, запрошенных с заданным полем Referer

otus-16/project.clj

@@ -0,0 +1,12 @@
+(defproject otus-16 "0.1.0-SNAPSHOT"
+  :description "OTUS Clojure Developer | lesson #16"
+
+  :dependencies [[org.clojure/clojure "1.11.1"]
+                 [compojure "1.6.3"]
+                 [ring/ring-defaults "0.4.0"]
+                 [ring/ring-jetty-adapter "1.9.6"]
+                 [clj-http "3.12.3"]
+                 [schejulure "1.0.1"]
+                 [org.flatland/useful "0.11.6"]]
+
+  :repl-options {:init-ns otus-16.core})