Blogg
Här finns tekniska artiklar, presentationer och nyheter om arkitektur och systemutveckling. Håll dig uppdaterad, följ oss på LinkedIn
Kafka utan partitioner?
// Andreas Mossljung
När man bygger integrationer med Kafka och ska sätta upp sina topics ställs man alltid inför samma val: Hur många partitioner ska jag välja? Det är relativt enkelt att utöka med fler, svårare att minska antalet och det är vettigt att ha samma som liknande befintliga topics. Resultatet brukar bli en grov uppskattning, och kanske tar man i lite extra för säkerhets skull. 12 kan vara en bra utgångspunkt, då kan lasten fördelas jämnt över 1, 2, 3, 4, 6, eller 12 konsumenter.
Det finns ingen hård gräns för hur många topics man totalt kan ha i ett kluster men antalet växer snabbt när man räknar samman alla replicas, intermediate topics från Kafka Streams och så vidare. I en cloud-plattform kan det beroende på hur man debiteras snabbt bli mycket dyrt.
På konferensen Current 2025 i London presenterade Andrew Schofield från Confluent en ny funktionalitet för Kafka: Köer.
Man ska alltså för specifika ändamål kunna betrakta ett topic som en kö och kan då ha fler konsumenter som delar på lasten än vad det finns partitioner. Antalet partitioner spelar för det fallet ingen roll (det kan vara en enda) men man tappar garantin för att meddelanden inom en partition ska behandlas i ordning.
Meningen är inte att försöka ersätta andra mer lättviktiga plattformar för meddelandeköer eller att helt ersätta modellen med consumer groups som används i Kafka idag, utan att erbjuda ett alternativ för specifika användarfall.
Hur det ska fungera finns beskrivet i KIP-932 och vill man testa själv finns det redan implementerat som early access i Kafka 4.0.
Tack för att du läser Callistas blogg.
Hjälp oss att nå ut med information genom att dela nyheter och artiklar i ditt nätverk.
Hjälp oss att nå ut med information genom att dela nyheter och artiklar i ditt nätverk.