پردازش داده‌های کلان
داده سازمانی هم به‌صورت جریان و هم به‌صورت دسته پردازش می‌شود. گزارش روی حجم‌های میلیونی و میلیاردی پشت صف انتظار نمی‌ماند، و تیم داده به جای بازتولید دستی گزارش دوره‌ای، روی خود تحلیل وقت می‌گذارد.
دیتانکس
تصمیم‌گیری بر پایهٔ دادهٔ قابل اعتماد
با زبان طبیعی و بر اساس نقش سازمانی، با داده‌های کسب‌وکارتان صحبت کنید.
پیش از سرمایه‌گذاری سنگین روی هوش مصنوعی، سازمان به یک منبع داده تأییدشده و امن نیاز دارد. دیتانکس این شالوده را می‌سازد.
هفت نشانه که گزارش دیگر مبنای تصمیم نیست
این‌ها وضعیت سازمان پیش از یک منبع حقیقت واحد است.
-
۱
داده‌های جزیره‌ای
نسخه‌های متفاوت از اطلاعات کلیدی روی فایل‌های اکسل و سیستم‌های جدا مانده است.
-
۲
گزارش‌گیری دستی و متناقض
جلسه صرف اثبات درستی عدد می‌شود، نه تصمیم‌گیری.
-
۳
تردید در تصمیم
معلوم نیست کدام خروجی منبع حقیقت واحد است.
-
۴
ممیزی و امنیت داده
مشخص نیست چه کسی، چه زمانی، به چه داده‌ای دسترسی داشته است.
-
۵
جدایی عملیات از گزارش
برای گزارش، داده مدام کپی می‌شود و این کپی هزینه جداگانه دارد.
-
۶
زیرساخت پراکنده
فناوری‌های جزیره‌ای روی هم انباشته شده‌اند و نگهداری‌شان گران است.
-
۷
هوش مصنوعی عمومی و بی‌اتصال
ابزار عمومی هوش مصنوعی، بدون داده داخلی، پاسخ کلی و غیرقابل‌اتکا می‌دهد.
سه ستون دیتانکس
پردازش، مکالمه با داده، و حاکمیت. هر سه روی یک پلتفرم و با همان مرز دسترسی.
چت‌بات روی داده سازمان
پرسش به زبان طبیعی فارسی پاسخ می‌گیرد؛ پاسخی که به نتیجه کوئری روی داده واقعی پلتفرم مقید است. چت‌بات فقط داده‌ای را نشان می‌دهد که نقش سازمانی کاربر اجازه دیدنش را دارد.
فروش این هفته نسبت به هفته قبل در شعبه اصفهان چقدر تغییر کرده است؟
حاکمیت و امنیت داده
رد دسترسی و تبار داده ثبت می‌شود. سطح دسترسی تا ردیف و ستون تفکیک می‌شود. همین رد، مبنای پاسخ به ممیزی داخلی و الزام نهادهای ناظر بانکی و بیمه‌ای است.
قبل و بعد از استقرار
| قبل از دیتانکس | بعد از استقرار | اثر |
|---|---|---|
| چند نسخه اکسل موازی و متناقض | یک منبع حقیقت واحد | جلسه تأیید آمار جای خود را به جلسه تصمیم می‌دهد |
| ساعت‌ها و روزها انتظار برای تولید گزارش | اتصال مستقیم ابزار هوش تجاری به داده زنده | تصمیم مدیر به گزارش همان دوره وصل می‌شود |
| نگرانی از نشت داده و دسترسی ثبت‌نشده | کنترل دسترسی نقش‌محور و ممیزی شفاف | پاسخ روشن به ممیزی و امنیت |
| داده عملیاتی جدا از کاربرد هوش مصنوعی | مکالمه با داده‌ای که کاربر مجاز به دیدنش است | هوش مصنوعی روی فرآیند واقعی سازمان می‌نشیند |
ورود با پایلوت محدود
سازمان لازم نیست همه زیرساخت را یک‌باره عوض کند. پایلوت روی یک حوزه مشخص شروع می‌شود.
-
۱
انتخاب محدوده
یک حوزه کسب‌وکار، مثلاً فقط فروش یا صدور.
-
۲
اثبات عملی
راه‌اندازی در محیط سازمان، اتصال گزارش، و آزمایش چت‌بات با دسترسی نقش‌محور.
-
۳
ارزیابی
سنجش کیفیت با معیارهایی که پیش از شروع توافق شده است.
-
۴
تصمیم برای توسعه
نقشه راه گسترش پلتفرم به بقیه سازمان، پس از پذیرش پایلوت.
این پلتفرم برای چه سازمانی است
- بانک‌ها، بیمه‌ها، اپراتورهای تلکام و هلدینگ‌های صنعتی.
- سازمان‌هایی که محرمانگی داده برایشان خط قرمز است.
- سازمان‌هایی که می‌خواهند هوش مصنوعی را، با کنترل دسترسی، روی فرآیند واقعی بنشانند.
اگر نیاز فقط یک داشبورد ساده روی یک منبع است، یا یکپارچه‌سازی داده در اولویت امسال نیست، دیتانکس برای آن محدوده طراحی نشده است.
جلسهٔ ۶۰ دقیقه‌ای نیازسنجی
در این جلسه محدوده پایلوت را روی یک حوزه مشخص می‌کنیم: داده از کجا می‌آید، چه گزارشی باید زنده شود، و دسترسی هر نقش تا کجاست.
درخواست جلسه پایلوت.png){kind=logo}
برای تیم فنی
معماری و مرز محصول
داده از مرز ورودی وارد می‌شود، پردازش و حاکمیت داخل پلتفرم اعمال می‌شود، و از چهار خروجی استاندارد به مصرف‌کننده می‌رسد.
ورودی، بیرون از مرز
جریان زنده
رویداد، لاگ سیستمی و جریان تراکنش از مسیر Apache Kafka.
دسته و فایل
پایگاه رابطه‌ای، فایل CSV و Parquet، و سند ذخیره‌شده.
مرز پلتفرم دیتانکس
-
۱
ورود، ذخیره و پرس‌وجو
Kafka برای جریان، ذخیره‌سازی شیء سازگار با S3 و قالب جدول Apache Iceberg، و موتور Trino برای SQL روی همان داده، بدون جابه‌جایی آن.
-
۲
پردازش
Apache Flink برای جریان بلادرنگ و Apache Spark برای تبدیل دسته‌ای و محاسبه سنگین. هر دو روی Iceberg می‌نویسند.
-
۳
حاکمیت و امنیت
Apache Ranger برای سیاست دسترسی تا سطح ردیف و ستون، به‌همراه کاتالوگ، تبار داده و ثبت رد ممیزی.
حاکمیت روی لایه ذخیره و پردازش اعمال می‌شود. مدل زبانی برای پاسخ، داده را از کنار این سیاست رد نمی‌کند.
خروجی، بیرون از مرز
یکپارچگی داده
پاک‌سازی، سنجش کیفیت و سازگاری داده حاکمیتی.
هوش تجاری
اتصال Metabase، Superset و Power BI به Trino.
گزارش یکپارچه
خروجی سازمانی بر پایه همان منبع حقیقت واحد.
چت‌بات سازمانی
پرس‌وجوی زبان طبیعی، با همان فیلتر دسترسی حاکمیت داده.
استک فناوری
| دسته | فناوری | نقش در دیتانکس |
|---|---|---|
| ورود رویداد |  Apache Kafka |
دریافت جریان با پایداری پیام |
| ذخیره‌سازی |   S3-compatible (MinIO / Ceph) |
ذخیره شیء، با گسترش افقی |
| قالب جدول |  Apache Iceberg |
تراکنش ACID، تکامل اسکما و سفر در زمان |
| موتور پرس‌وجو |  Trino |
اجرای SQL توزیع‌شده روی ذخیره شیء و منبع فدرال |
| پردازش بلادرنگ |  Apache Flink |
پردازش جریان و پنجره‌بندی زمانی |
| پردازش دسته‌ای |  Apache Spark |
تبدیل توزیع‌شده و تحلیل حجم بالا |
| حاکمیت |  Apache Ranger |
دسترسی سطری و ستونی، پوشاندن داده و ممیزی |
| هوش مصنوعی | Enterprise LLM + NLQ |
پرسش و پاسخ متصل به Trino، با احراز نقش |
سه قابلیت در سطح مهندسی
پردازش داده‌های کلان همگرایی جریان و دسته روی Iceberg
- داده جریانی Flink و داده دسته‌ای Spark در یک قالب جدول، Iceberg، به هم می‌رسند.
- تراکنش ACID بدون قفل شدن کل جدول، تکامل اسکما، و پارتیشن پنهان برای کوئری.
- سفر در زمان و بازگشت به نسخه قبلی، برای ممیزی داده.
- Flink رویداد خارج از ترتیب را با watermark مدیریت می‌کند و چک‌پوینت مقاوم به خطا دارد.
- Spark تبدیل‌های سنگین را به‌صورت موازی روی کلاستر اجرا می‌کند.
چت‌بات و پرس‌وجوی زبان طبیعی Text-to-SQL از مسیر Ranger و Trino
- پرسش فارسی دریافت می‌شود. کاتالوگ اسکما و لایه معنایی در اختیار مدل قرار می‌گیرد و SQL حاصل به Trino می‌رود.
- مسیر مدل به داده از Apache Ranger می‌گذرد. اگر کاربر فقط داده استان اصفهان را دارد، فیلتر سطح ردیف داخل کوئری اعمال می‌شود.
- پرامپت، این فیلتر را کنار نمی‌زند. مدل داده استان دیگر را نمی‌بیند چون کوئری از اول آن را شامل نمی‌شود.
- پاسخ به نتیجه قطعی همان کوئری محدود است، نه به حدس آزاد مدل.
- نمونه پرسش: «فروش این هفته نسبت به هفته قبل در شعبه اصفهان چقدر تغییر کرده است؟»
حاکمیت یکپارچه RBAC، پوشاندن داده، تبار و ممیزی
- سیاست دسترسی در Ranger هم بر اساس نقش (RBAC) و هم بر اساس خصوصیت (ABAC) تعریف می‌شود، تا سطح ردیف و ستون.
- پوشاندن پویا برای فیلد حساس، مثل کد ملی، شماره کارت یا حقوق، متناسب با نقش غیرمجاز.
- تبار داده مسیر یک فیلد را از ورود در Kafka یا ذخیره شیء تا داشبورد یا پاسخ چت‌بات نشان می‌دهد.
- لاگ پرس‌وجو، نشست و دسترسی غیرمجاز برای تطبیق با الزام رگولاتور متمرکز می‌شود.