An Efficient Permission Management System for a Data Catalog

Der Datenkatalog wertet alle verfügbaren Datenbestände auf, indem er sich auf zwei Arten von Informationen stützt: zum einen rein technische Informationen, die automatisch aus ihren Quellen synchronisiert werden, und zum anderen geschäftliche Informationen, die aus der Arbeit der Data Stewards stammen. Letztere werden manuell aktualisiert und bergen daher gewisse Risiken für das gesamte Unternehmen.

A permission management system is therefore essential to define and control the access rights of catalog users. In this article, we detail the fundamental characteristics and the possible approaches to building an efficient permission management system, as well as the solution implemented by the Actian Data Intelligence Platform Data Catalog.

Permission Management System: An Essential Tool for the Entire Organization

For data catalog users to trust in the information they are viewing, it is essential that the documentation of cataloged objects is relevant, of high quality, and, above all, reliable. Your users must be able to easily find, understand, and use the data assets at their disposal.

The Origin of Catalog Information and Automation

A data catalog generally integrates two types of information. On the one hand, there is purely technical information that comes directly from the data source. This information is synchronized in a completely automated and continuous way between the data catalog and each data source to guarantee its veracity and freshness. On the other hand, the catalog contains all the business or organizational documentation, which comes from the work of the Data Stewards. This information cannot be automated; it is updated manually by the company’s data management teams.

A Permission Management System is a Prerequisite for Using a Data Catalog

To manage this second category of information, the catalog must include access and input control mechanisms. Indeed, it is not desirable that any user of your organization’s data catalog can create, edit, import, export or even delete information without having been given prior authorization. A user-based permission management system is therefore a prerequisite; it plays the role of a security guard for the access rights of users.

The 3 Fundamental Characteristics of a Data Catalog’s Permission Management System

The implementation of an enterprise-wide permission management system is subject to a number of expectations that must be taken into account in its design. Among them, we have chosen in this article to focus on three fundamental characteristics of a permission management system: its level of granularity and flexibility, its readability and auditability, and its ease of administration.

Granularity and Flexibility

First of all, a permission management system must have the right level of granularity and flexibility. Some actions should be available to the entire catalog for ease of use. Other actions should be restricted to certain parts of the catalog only. Some users will have global rights related to all objects in the catalog, while others will be limited to editing only the perimeter that has been assigned to them. The permission management system must therefore allow for this range of possibilities, from global permission to the fineness of an object in the catalog.

Our clients are of all sizes, with very heterogeneous levels of maturity regarding data governance. Some are start-ups, others are large companies. Some have a data culture that is already well integrated into their processes, while others are only at the beginning of their data acculturation process. The permission management system must therefore be flexible enough to adapt to all types of organizations.

Readability and Auditability

Zweitens muss ein Berechtigungsmanagementsystem übersichtlich und leicht nachvollziehbar. Bei einem Audit oder einer Überprüfung der Systemberechtigungen muss ein Administrator, der ein Objekt untersucht, schnell feststellen können, wer die Berechtigung hat, dieses zu ändern. Umgekehrt muss ein Administrator, wenn er sich die Details des Berechtigungssatzes Nutzeransieht, schnell den diesem Nutzer zugewiesenen Umfang Nutzer dessen zulässige Aktionen darin erkennen können.

Dadurch wird lediglich sichergestellt, dass die richtigen Personen Zugang zu den richtigen Bereichen haben und über die für ihre Rolle im Unternehmen erforderlichen Berechtigungen verfügen.

Haben Sie schon einmal ein Berechtigungssystem erlebt, das so komplex war, dass es unmöglich war zu verstehen, warum ein Nutzer Zugriff auf bestimmte Informationen Nutzer ? Oder im Gegenteil, warum er keinen Zugriff hatte?

Simplicity of Administration

Schließlich muss ein Berechtigungsmanagementsystem in der Lage sein, dem stetig wachsenden Datenvolumen standzuhalten. Wir wissen heute, dass wir in einer Welt der Daten leben: Im Jahr 2020 wurden täglich 2,5 Exabyte an Daten generiert, und Schätzungen zufolge werden es im Jahr 2025 täglich 463 Exabyte sein. Neue Projekte, neue Produkte, neue Anwendungsfälle: Unternehmen müssen sich täglich mit der explosionsartigen Zunahme ihrer Datenbestände auseinandersetzen.

To remain relevant, a data catalog must evolve with the company’s data. The permission management system must therefore be resilient to changes in content or even to the movement of employees within the organization.

Different Approaches to Designing a Data Catalog Permission Management System

There are different approaches to designing a data catalog permission management system, which more or less meet the main characteristics expected and mentioned above. We have chosen to detail three of them in this article.

Crowdsourcing

Erstens der Crowdsourcing-Ansatz – bei dem man darauf vertraut, dass sich die Gemeinschaft selbst korrigiert. Eine Handvoll Administratoren kann die Inhalte moderieren, und alle Nutzer können zur Dokumentation beitragen. Ein Überprüfungssystem vervollständigt das System in der Regel, um sicherzustellen, dass keine Informationen versehentlich oder böswillig verloren gehen. In diesem Fall gibt es keine Kontrolle vor der Dokumentation, sondern eine kollektive Korrektur im Nachhinein. Dies ist typischerweise das System, für das sich Online-Enzyklopädien wie Wikipedia entscheiden. Diese Systeme sind auf die Anzahl der Mitwirkenden und deren Wissen angewiesen, um gut zu funktionieren, da Selbstkorrektur nur durch die Gemeinschaft wirksam sein kann.

This system perfectly meets the need for readability – all users have the same level of rights, so there is no question about the access control of each user. It is also simple to administer – any new user has the same level of rights as everyone else, and any new object in the data catalog is accessible to everyone. On the other hand, there is no way to manage the granularity of rights. Everyone can do and see everything.

Permission Attached to the User

Der zweite Ansatz zur Gestaltung des Berechtigungsmanagementsystems besteht darin, Lösungen zu verwenden, bei denen der Geltungsbereich an das Profil Nutzergekoppelt ist. Wenn ein Nutzer im Datenkatalog angelegt Nutzer , weisen die Administratoren ihm einen Geltungsbereich zu, der die Ressourcen definiert, die er einsehen und bearbeiten darf. In diesem Fall erfolgen alle Kontrollen im Vorfeld, sodass ein Nutzer versehentlich auf eine Ressource zugreifen Nutzer . Diese Art von System wird beispielsweise von einem Betriebssystem wie Windows verwendet.

Dieses System hat den Vorteil, dass es sehr sicher ist; es besteht keine Gefahr, dass eine neue Ressource für Personen sichtbar oder veränderbar ist, die nicht über die entsprechenden Berechtigungen verfügen. Dieser Ansatz erfüllt zudem die Anforderungen an die Übersichtlichkeit: Für jeden Nutzer sind alle zugänglichen Ressourcen leicht zu finden. Auch der erwartete Detaillierungsgrad ist gut, da es möglich ist, das Datensystem Ressource für Ressource zuzuweisen.

Andererseits ist die Verwaltung komplexer – jedes Mal, wenn eine neue Ressource zum Katalog hinzugefügt wird, muss sie den Zugriffsbereichen der betreffenden Benutzer hinzugefügt werden. Diese Einschränkung lässt sich durch die Erstellung dynamischer Zugriffsbereiche umgehen. Dazu können Sie Regeln definieren, die Ressourcen den Benutzern zuweisen, beispielsweise dass alle PDF-Dateien für soundso zugänglich sind. Es können jedoch leicht widersprüchliche Regeln entstehen, was die Übersichtlichkeit des Systems beeinträchtigt.

Permission Attached to the Resource

Der letzte wichtige Ansatz bei der Gestaltung des Berechtigungsmanagementsystems Datenkatalogbesteht darin, Lösungen zu verwenden, bei denen die zulässigen Aktionen der zu bearbeitenden Ressource zugeordnet sind. Für jede Ressource werden die möglichen Berechtigungen Nutzer Nutzer definiert. Somit verfügt die Ressource über einen eigenen Berechtigungssatz. Anhand der Ressource lässt sich dann sofort erkennen, wer sie anzeigen oder bearbeiten darf. Dies ist beispielsweise die Art von System, die in einem UNIX-ähnlichen Betriebssystem zum Einsatz kommt.

The need for readability is perfectly fulfilled – an administrator can immediately see the permissions of different users when viewing the resource. The same goes for the need for granularity – this approach allows permissions to be given at the most macro level through an inheritance system, or at the most micro level directly on the resource. Finally, in terms of ease of administration, it is necessary to attach each new user to the various resources, which is potentially tedious. However, there are group systems that can mitigate this complexity.

Das Datenkatalog : Einfach, übersichtlich und flexibel

Among these approaches, let’s detail the one chosen by the Actian Data Intelligence Platform and how it is applied.

The Resource Approach was Preferred

Let’s summarize the various advantages and disadvantages of each of the approaches discussed above. In both resource and user-level permission management systems, the need for granularity is well addressed – these systems allow for resource-by-resource permission to be assigned. In contrast, in the case of crowdsourcing, the basic philosophy is that anyone can access anything. Readability is clearly better in crowdsourcing systems or in systems where permissions are attached to the resource. It remains adequate in systems where permissions are attached to the user, but often at the expense of simplicity of administration. Finally, the simplicity of administration is very much optimized for the crowdsourcing approach and depends on what you are going to modify the most – the resource or the users.

Since the need for granularity is not met in the crowdsourcing approach, we eliminated it. We were then left with two options: resource-based permission or user-based permission models. Since the readability is a bit better with resource-based permission, and since the content of the catalog will evolve faster than the number of users, the user-based permission option seemed the least relevant.

The option we have chosen at the Actian Data Intelligence Platform was therefore the third one: user permissions are attached to the resource.

How the Data Catalog Permission Management System Works

ImDatenkatalog der Actian Data Intelligence-Plattform kann für jeden Nutzer festgelegt werden, Nutzer er das Recht hat, Objekte des gesamten Katalogs, eine oder mehrere Objektarten oder nur diejenigen innerhalb seines Zuständigkeitsbereichs zu bearbeiten. Dies ermöglicht sowohl eine sehr feine Granularität als auch übergreifendere Rollen. So könnte beispielsweiseDatenverwalterdie Berechtigung haben, auf ganze Teile des Katalogs, wie beispielsweise das Glossar, einzuwirken.

We then associate a list of Curators with each object in the catalog, i.e., those responsible for documenting that object. Thus, simply by exploring the details of the object, one can immediately know who to contact to correct or complete the documentation, or to answer a question about it. The system is therefore readable and easy to understand. The users’ scope of action is precisely determined through a granular system, right down to the object in the catalog.

Wenn ein neuer Nutzer zum Katalog hinzugefügt Nutzer , muss sein Aktionsumfang festgelegt werden. Derzeit erfolgt diese Konfiguration über die Massenbearbeitung von Objekten. Um die Verwaltung noch weiter zu vereinfachen, wird es bald möglich sein, bestimmte Benutzergruppen zu definieren, sodass bei einem neuen Mitarbeiter dieser nicht mehr namentlich zu jedem Objekt in seinem Zuständigkeitsbereich hinzugefügt werden muss. Stattdessen muss er lediglich der Gruppe hinzugefügt werden, und sein Zuständigkeitsbereich wird ihm automatisch zugewiesen.

Schließlich haben wir uns bewusst dafür entschieden, keinen Workflow zur Validierung der Dokumentation im Katalog zu implementieren. Wir sind der Ansicht, dass die Eigenverantwortung des Teams einer der Schlüssel zum Erfolg bei Datenkatalog eines Datenkatalog ist. Aus diesem Grund ist die einzige Kontrolle, die wir eingerichtet haben, diejenige, die die Rechte und den Umfang Nutzerfestlegt. Sobald diese beiden Elemente festgelegt sind, können die für die Dokumentation Verantwortlichen frei handeln. Das System wird durch ein Ereignisprotokoll zu Änderungen ergänzt, das eine lückenlose Nachverfolgbarkeit gewährleistet, sowie durch ein Diskussionssystem zu den Objekten. So kann jeder Änderungen vorschlagen oder Fehler in der Dokumentation melden.

If you would like to learn more about our permission management model, or get more information about our Data Catalog.

Über den Autor

Über Actian Germany GmbH

Actian ermöglicht es Unternehmen, Daten in großem Umfang sicher verwalten zu steuern. Unternehmen vertrauen auf Datenmanagement Data-Intelligence-Lösungen von Actian, um komplexe Datenumgebungen zu optimieren und die Bereitstellung von KI-fähigen Daten zu beschleunigen. Die auf Flexibilität ausgelegten Lösungen von Actian lassen sich nahtlos integrieren und arbeiten zuverlässig in On-Premises, Cloud und Hybridumgebungen. Erfahren Sie mehr über Actian, den Daten- und KI-Geschäftsbereich von HCL Software, unter actian.com.