js-apache2-log-csv-mysql-tweet
最初はjs-apache2がうまくいっていなかった
次はapache2-log
今回はlog-csvがうまくいっていなかった
ツイートできた
リンク集直ってなかった
2018年4月21日
とあるリンク集サイトを作るプロジェクト
2018年4月21日
js-apache2-log-csv-mysql-tweet
最初はjs-apache2がうまくいっていなかった
次はapache2-log
今回はlog-csvがうまくいっていなかった
ツイートできた
2018年4月21日
昨日一つ変更したのと同じ理由で止まっていた
/cb/aを/cb/articleにしたのをlogToCSV.jsとapache2のrotatelogで適切に処理するように
おそらくこれで解決
2018年2月19日
データベース上でfrozenにしてもcookieが残ってたらログインしたまま?
phpのセッションが切れれば大丈夫か
importanturlに#アンカーが入るのが無駄
https を含まなかったら無視
wordに無駄なものが入ってるから入れないように
特に記号
入れないようにが難しいなら、入ってもいいからtagとして使わないようなcolumnを作ってtrueにする
tagrelationを活用する
人気記事はログ解析の後phpをcronで実行してファイルを作る
その時tweetContentファイルも同時に作る
エスケープ
2018年2月14日
descriptionはページごと別に
お気に入り機能実装
2018年2月12日
urlを抜かないとタグに入ってしまう
2018年2月12日
特徴語を含む文章が見れたらわかりやすい
2018年2月8日
cookieがないユーザにidを付与
期限は12時間
ログ解析で、タグからタグの推移をtag_transitionに入れるためのクエリをまとめたファイルに変換 またtag_nxに入れるためのクエリファイルも別に用意
cronでログ解析を1時間ごとに行う
cronでクエリファイルを実行し、データベースをアップデート(transactionで最初から最後まで囲うことで、truncateされた瞬間にアクセスされてデータがないということが起きないように)
リンククリックされたら、ajaxかxmlhttprequestで集計エンドポイントへアクセス
cookieのユーザidとリンクを送信 idとリファラを確認し、botではないことを確認してからファイルに保存する そういうプログラムにパイプで渡せばリアルタイムでデータベースにユーザがいるか確認できる
これもcronで解析し、article_nxをアップデートするためのファイルを作成
tagもarticleも同じIP同じユーザで同じリンクにアクセスしているものは後で解析の時に弾く
2018年2月7日
ログを1時間ごとに分ける
解析してDBにinsertするものを作る
それをもとに人気記事やおすすめサイトなどを作る
おすすめを表示する公開するエンドポイントを作る
スマホサイトデザインを作る
2018年2月7日
クリックされた数が多い方が表示されやすく
1時間ごとログを解析してクリック数をDBに
2018年2月6日
スマホ用css
規約
アクセスログ解析と人気記事・おすすめ・ランキング
タグ一覧 タグランキング
お気に入り
単語辞書に追加
外部サイトで利用してもらうリンクJSONを返すエンドポイント 人気のタグ 人気の記事
サイトを10個くらい追加
記事の日時を取得してarticleテーブルに
14日までに