カテゴリー: リンク集作成

とあるリンク集サイトを作るプロジェクト

リンク集直ってなかった

js-apache2-log-csv-mysql-tweet
最初はjs-apache2がうまくいっていなかった
次はapache2-log
今回はlog-csvがうまくいっていなかった
ツイートできた

リンク集tweet停止問題

昨日一つ変更したのと同じ理由で止まっていた
/cb/aを/cb/articleにしたのをlogToCSV.jsとapache2のrotatelogで適切に処理するように
おそらくこれで解決

改変

データベース上でfrozenにしてもcookieが残ってたらログインしたまま?
phpのセッションが切れれば大丈夫か
importanturlに#アンカーが入るのが無駄
https を含まなかったら無視
wordに無駄なものが入ってるから入れないように
特に記号
入れないようにが難しいなら、入ってもいいからtagとして使わないようなcolumnを作ってtrueにする
tagrelationを活用する
人気記事はログ解析の後phpをcronで実行してファイルを作る
その時tweetContentファイルも同時に作る
エスケープ

改変

descriptionはページごと別に
お気に入り機能実装

タグ付けの前に

urlを抜かないとタグに入ってしまう

改良

特徴語を含む文章が見れたらわかりやすい

これからやること

cookieがないユーザにidを付与
期限は12時間
ログ解析で、タグからタグの推移をtag_transitionに入れるためのクエリをまとめたファイルに変換 またtag_nxに入れるためのクエリファイルも別に用意
cronでログ解析を1時間ごとに行う
cronでクエリファイルを実行し、データベースをアップデート(transactionで最初から最後まで囲うことで、truncateされた瞬間にアクセスされてデータがないということが起きないように)
リンククリックされたら、ajaxかxmlhttprequestで集計エンドポイントへアクセス
cookieのユーザidとリンクを送信 idとリファラを確認し、botではないことを確認してからファイルに保存する そういうプログラムにパイプで渡せばリアルタイムでデータベースにユーザがいるか確認できる
これもcronで解析し、article_nxをアップデートするためのファイルを作成
tagもarticleも同じIP同じユーザで同じリンクにアクセスしているものは後で解析の時に弾く

今日やること

ログを1時間ごとに分ける
解析してDBにinsertするものを作る
それをもとに人気記事やおすすめサイトなどを作る
おすすめを表示する公開するエンドポイントを作る
スマホサイトデザインを作る

表示

クリックされた数が多い方が表示されやすく
1時間ごとログを解析してクリック数をDBに

リンク集やること一覧

スマホ用css
規約
アクセスログ解析と人気記事・おすすめ・ランキング
タグ一覧 タグランキング
お気に入り
単語辞書に追加
外部サイトで利用してもらうリンクJSONを返すエンドポイント 人気のタグ 人気の記事
サイトを10個くらい追加
記事の日時を取得してarticleテーブルに
14日までに