サーバーレスと相性のよいベクトルデータベースを意のままに

FlechasDBはサーバーレスと相性のよいベクトルデータベース¹です。

特徴

1. データベースファイルをAmazon S3バケットに保存・読込
2. Amazon Linux 2²で動く

今後の機能向上にもご期待ください!

始め方

コアライブラリのflechasdbとAmazon S3拡張のflechasdb-s3はそれぞれ以下のGitHubレポジトリで入手できます。

• https://github.com/codemonger-io/flechasdb
• https://github.com/codemonger-io/flechasdb-s3

Amazon Linux 2用のカスタムLambdaランタイムに組み込むことで、flechasdbとflechasdb-s3をAWS Lambdaで利用できます。 flechasdbもflechasdb-s3もRustで記述されていますので、cargo-lambdaを使うと便利でしょう。 flechasdbとflechasdb-s3を使うLambda関数をAWS Cloud Development Kit (CDK)でデプロイする例が、以下のGitHubレポジトリにあります。

• https://github.com/codemonger-io/mumble/tree/main/cdk
• https://github.com/codemonger-io/mumble-embedding/tree/main/cdk

FlechasDBの実例

Mumbleは検索機能を実現するのにFlechasDBを使っています。 投稿(ゴニョゴニョ)に対して計算したOpenAIのエンべディングからFlechasDBのデータベースを構築し、Amazon S3バケットにデータベースファイルを格納しています。 KikuoのMumbleプロフィールで試すことができます。

背景

PineconeやMilvusなど、世の中にはもっと優れたプロダクトやサービスがあります。 Faissはベクトルサーチではデファクトのライブラリでflechasdbよりよほど高速で信頼性も高いでしょう。

正直、この「車輪の再発明」は私(Kikuo)の興味本位で行ったものです。

• IVFPQインデクシングの仕組み³
• Rustオプティマイザによる自動ベクトル化を使いこなす方法⁴
• AsyncなRustの書き方

しかし、小規模なプロジェクトにとってFlechasDBは最安のソリューションのひとつではないかと思いますので、 ベクトルデータベースのフィージビリティスタディにFlechasDBを検討してみてはいかがでしょうか?