RSS

Posts Tagged “HBase”

HBase Cross Row、Cross Tableトランザクション処理機能を実装してみました

by LINE Engineer on 2016.12.13

こんにちは、LINEでGame Platformを開発している 趙 です。 この記事はLINE Advent Calendar 2016の9日目の記事です。 LINE Game Platformでは分散型でスケーラブルな高速データベースであるHBaseをメインストレージの一つとして使っています。HBase運用における問題のひとつは、cross row, cross tableトランザクション処理機能がない事です。Client Faultなどが起こった時の対応が難しいです。(例えば、HBaseにテーブルAとBがあり、ABの順番にデータを処理する場合、もしAの挿入の後にBの挿入に失敗した場合、データ不整合が起きます) HBaseは幾つかの単行atomic apiを提供します。(HBase versionによって違うところがあります) 複数cellに対してgetまたmutation操作 CAS(コンペア・アンド・スワップ) API checkAndMutate incrementColumnValue トランザクション処理機能はもともとHBaseでは強く求められませんが、運用中はできるだけデータベースの種類を減らしたい気持ちがありますから、HBaseでcross-row、cross-tableトランザクション処理機能をサポートする必要性がありました。すでにHBaseにおけるトランザクション処理のOSSが幾つか存在していますが、トランザクション処理要件、対応HBaseバージョン、導入の難易さ、社内ツールとの連携性などを検討して内製することになりました。設計中は主にPercolatorとhaeinsaを参考にしました。

急増するLINEインフラの課題と対応

by LINE Engineer on 2014.5.8

急増するLINEインフラの課題と対応 こんにちは。今回はITサービスセンターより、インフラ運営の観点から急増するLINEインフラの課題と対応について記させていただきます。 はじめに 先日開催したLINE Developer Conference(インフラ編)には大勢の方にいらしていただきました。カンファレンスでは、LINEサービスが始まってから約2年の間に我々はどういった方法でインフラ運営を行い、またどんなことに悩んできたのかを、システム、データベース、ネットワークの観点からそれぞれ発表させていただきました。

Hadoop Conference Japan 2013 Winterで話してきました!

by sunsuk7tp on 2013.1.24

こんにちは.サービス開発2チームの中村です. 先日1/23に行われた日本最大級のHadoopユーザー会イベント,「Hadoop Conference Japan 2013 Winter at 東京ビッグサイト」にて,私,中村と同チームの大平が講演させていただきました.

「MongoDB Tokyo 2012」で話しました

by LINE on 2012.1.30

度々の登場で恐縮です。大平です。 先日、ご縁がありまして掲題のイベントで発表をさせていただきました。 http://www.10gen.com/events/mongo-tokyo-2012 http://blog.10gen.com/post/16370064130/recap-mongodb-tokyo-2012 この記事では、発表させていただいた資料の公開と、参加しての簡単な感想を書かせていただきます。

「第6回 MongoDB 勉強会 in Tokyo」で話しました

by LINE on 2011.9.30

どうもこんにちは。検索サービス開発室にて非イケメン枠を担当している大平です。 twitterでは「@just_do_neet」と名乗っていますが、実際はさだまさしと自転車が好きな、ごく普通のサラリーマンエンジニアです。 さて、先日開催されました「第6回 MongoDB 勉強会 in Tokyo」にて、機会をいただき僭越ながら発表をさせていただきました。 7月末にリリースした「NAVER Photo Album」という写真共有アプリにてMongoDBを用いたという事もあり、テクニカルな方面に深掘りした内容よりも実践的なTipsの方が良いかなと思い、事例紹介という文脈で発表をさせていただきました。