Skip to content

HTTPS clone URL

Subversion checkout URL

You can clone with HTTPS or Subversion.

Download ZIP

Loading…

Segmentation fault under PyPy when performing concurrent queries with Twisted #79

Open
dellis23 opened this Issue · 4 comments

2 participants

@dellis23

The following code reproduces the problem. I've upped the number of connections to make the problem arise quicker, but the default twisted connection pool of 5 also causes the same issue. The issue appears to arise primarily on large number of rows (though I haven't tested a large number of columns with few rows). For this example, I ran it on a table with the following schema:

+-------+-------------+------+-----+---------+----------------+
| Field | Type        | Null | Key | Default | Extra          |
+-------+-------------+------+-----+---------+----------------+
| test  | varchar(32) | YES  |     | NULL    |                |
| RID   | int(11)     | NO   | PRI | NULL    | auto_increment |
+-------+-------------+------+-----+---------+----------------+

I inserted 1000 rows, all consisting of the single character "a". I will also attach the mysql dump of the table for ease of reproduction.

from twisted.enterprise import adbapi
from twisted.internet import reactor

dbpool = adbapi.ConnectionPool(
    "MySQLdb", host='localhost',
    cp_max=10, cp_min=10, db='x', user='x', passwd='x')

def select():
    return dbpool.runQuery("SELECT * FROM test")

num = 0

def print_result(result):
    global num
    print "Done", num
    num += 1

for i in xrange(1, 1000):
    select().addCallback(print_result)

print "Done Adding"

reactor.run()
@dellis23

MySQL dump to recreate conditions:

-- MySQL dump 10.13  Distrib 5.5.35, for Linux (x86_64)
--
-- Host: localhost    Database: x
-- ------------------------------------------------------
-- Server version       5.5.35-33.0-log

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Table structure for table `test`
--

DROP TABLE IF EXISTS `test`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `test` (
  `test` varchar(32) DEFAULT NULL,
  `RID` int(11) NOT NULL AUTO_INCREMENT,
  PRIMARY KEY (`RID`)
) ENGINE=InnoDB AUTO_INCREMENT=1006 DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `test`
--

LOCK TABLES `test` WRITE;
/*!40000 ALTER TABLE `test` DISABLE KEYS */;
INSERT INTO `test` VALUES ('a',1),('a',2),('a',3),('a',4),('a',5),('a',6),('a',7),('a',8),('a',9),('a',10),('a',11),('a',12),('a',13),('a',14),('a',15),('a',16),('a',17),('a',18),('a',19),('a',20),('a',21),('a',22),('a',23),('a',24),('a',25),('a',26),('a',27),('a',28),('a',29),('a',30),('a',31),('a',32),('a',33),('a',34),('a',35),('a',36),('a',37),('a',38),('a',39),('a',40),('a',41),('a',42),('a',43),('a',44),('a',45),('a',46),('a',47),('a',48),('a',49),('a',50),('a',51),('a',52),('a',53),('a',54),('a',55),('a',56),('a',57),('a',58),('a',59),('a',60),('a',61),('a',62),('a',63),('a',64),('a',65),('a',66),('a',67),('a',68),('a',69),('a',70),('a',71),('a',72),('a',73),('a',74),('a',75),('a',76),('a',77),('a',78),('a',79),('a',80),('a',81),('a',82),('a',83),('a',84),('a',85),('a',86),('a',87),('a',88),('a',89),('a',90),('a',91),('a',92),('a',93),('a',94),('a',95),('a',96),('a',97),('a',98),('a',99),('a',100),('a',101),('a',102),('a',103),('a',104),('a',105),('a',106),('a',107),('a',108),('a',109),('a',110),('a',111),('a',112),('a',113),('a',114),('a',115),('a',116),('a',117),('a',118),('a',119),('a',120),('a',121),('a',122),('a',123),('a',124),('a',125),('a',126),('a',127),('a',128),('a',129),('a',130),('a',131),('a',132),('a',133),('a',134),('a',135),('a',136),('a',137),('a',138),('a',139),('a',140),('a',141),('a',142),('a',143),('a',144),('a',145),('a',146),('a',147),('a',148),('a',149),('a',150),('a',151),('a',152),('a',153),('a',154),('a',155),('a',156),('a',157),('a',158),('a',159),('a',160),('a',161),('a',162),('a',163),('a',164),('a',165),('a',166),('a',167),('a',168),('a',169),('a',170),('a',171),('a',172),('a',173),('a',174),('a',175),('a',176),('a',177),('a',178),('a',179),('a',180),('a',181),('a',182),('a',183),('a',184),('a',185),('a',186),('a',187),('a',188),('a',189),('a',190),('a',191),('a',192),('a',193),('a',194),('a',195),('a',196),('a',197),('a',198),('a',199),('a',200),('a',201),('a',202),('a',203),('a',204),('a',205),('a',206),('a',207),('a',208),('a',209),('a',210),('a',211),('a',212),('a',213),('a',214),('a',215),('a',216),('a',217),('a',218),('a',219),('a',220),('a',221),('a',222),('a',223),('a',224),('a',225),('a',226),('a',227),('a',228),('a',229),('a',230),('a',231),('a',232),('a',233),('a',234),('a',235),('a',236),('a',237),('a',238),('a',239),('a',240),('a',241),('a',242),('a',243),('a',244),('a',245),('a',246),('a',247),('a',248),('a',249),('a',250),('a',251),('a',252),('a',253),('a',254),('a',255),('a',256),('a',257),('a',258),('a',259),('a',260),('a',261),('a',262),('a',263),('a',264),('a',265),('a',266),('a',267),('a',268),('a',269),('a',270),('a',271),('a',272),('a',273),('a',274),('a',275),('a',276),('a',277),('a',278),('a',279),('a',280),('a',281),('a',282),('a',283),('a',284),('a',285),('a',286),('a',287),('a',288),('a',289),('a',290),('a',291),('a',292),('a',293),('a',294),('a',295),('a',296),('a',297),('a',298),('a',299),('a',300),('a',301),('a',302),('a',303),('a',304),('a',305),('a',306),('a',307),('a',308),('a',309),('a',310),('a',311),('a',312),('a',313),('a',314),('a',315),('a',316),('a',317),('a',318),('a',319),('a',320),('a',321),('a',322),('a',323),('a',324),('a',325),('a',326),('a',327),('a',328),('a',329),('a',330),('a',331),('a',332),('a',333),('a',334),('a',335),('a',336),('a',337),('a',338),('a',339),('a',340),('a',341),('a',342),('a',343),('a',344),('a',345),('a',346),('a',347),('a',348),('a',349),('a',350),('a',351),('a',352),('a',353),('a',354),('a',355),('a',356),('a',357),('a',358),('a',359),('a',360),('a',361),('a',362),('a',363),('a',364),('a',365),('a',366),('a',367),('a',368),('a',369),('a',370),('a',371),('a',372),('a',373),('a',374),('a',375),('a',376),('a',377),('a',378),('a',379),('a',380),('a',381),('a',382),('a',383),('a',384),('a',385),('a',386),('a',387),('a',388),('a',389),('a',390),('a',391),('a',392),('a',393),('a',394),('a',395),('a',396),('a',397),('a',398),('a',399),('a',400),('a',401),('a',402),('a',403),('a',404),('a',405),('a',406),('a',407),('a',408),('a',409),('a',410),('a',411),('a',412),('a',413),('a',414),('a',415),('a',416),('a',417),('a',418),('a',419),('a',420),('a',421),('a',422),('a',423),('a',424),('a',425),('a',426),('a',427),('a',428),('a',429),('a',430),('a',431),('a',432),('a',433),('a',434),('a',435),('a',436),('a',437),('a',438),('a',439),('a',440),('a',441),('a',442),('a',443),('a',444),('a',445),('a',446),('a',447),('a',448),('a',449),('a',450),('a',451),('a',452),('a',453),('a',454),('a',455),('a',456),('a',457),('a',458),('a',459),('a',460),('a',461),('a',462),('a',463),('a',464),('a',465),('a',466),('a',467),('a',468),('a',469),('a',470),('a',471),('a',472),('a',473),('a',474),('a',475),('a',476),('a',477),('a',478),('a',479),('a',480),('a',481),('a',482),('a',483),('a',484),('a',485),('a',486),('a',487),('a',488),('a',489),('a',490),('a',491),('a',492),('a',493),('a',494),('a',495),('a',496),('a',497),('a',498),('a',499),('a',500),('a',501),('a',502),('a',503),('a',504),('a',505),('a',506),('a',507),('a',508),('a',509),('a',510),('a',511),('a',512),('a',513),('a',514),('a',515),('a',516),('a',517),('a',518),('a',519),('a',520),('a',521),('a',522),('a',523),('a',524),('a',525),('a',526),('a',527),('a',528),('a',529),('a',530),('a',531),('a',532),('a',533),('a',534),('a',535),('a',536),('a',537),('a',538),('a',539),('a',540),('a',541),('a',542),('a',543),('a',544),('a',545),('a',546),('a',547),('a',548),('a',549),('a',550),('a',551),('a',552),('a',553),('a',554),('a',555),('a',556),('a',557),('a',558),('a',559),('a',560),('a',561),('a',562),('a',563),('a',564),('a',565),('a',566),('a',567),('a',568),('a',569),('a',570),('a',571),('a',572),('a',573),('a',574),('a',575),('a',576),('a',577),('a',578),('a',579),('a',580),('a',581),('a',582),('a',583),('a',584),('a',585),('a',586),('a',587),('a',588),('a',589),('a',590),('a',591),('a',592),('a',593),('a',594),('a',595),('a',596),('a',597),('a',598),('a',599),('a',600),('a',601),('a',602),('a',603),('a',604),('a',605),('a',606),('a',607),('a',608),('a',609),('a',610),('a',611),('a',612),('a',613),('a',614),('a',615),('a',616),('a',617),('a',618),('a',619),('a',620),('a',621),('a',622),('a',623),('a',624),('a',625),('a',626),('a',627),('a',628),('a',629),('a',630),('a',631),('a',632),('a',633),('a',634),('a',635),('a',636),('a',637),('a',638),('a',639),('a',640),('a',641),('a',642),('a',643),('a',644),('a',645),('a',646),('a',647),('a',648),('a',649),('a',650),('a',651),('a',652),('a',653),('a',654),('a',655),('a',656),('a',657),('a',658),('a',659),('a',660),('a',661),('a',662),('a',663),('a',664),('a',665),('a',666),('a',667),('a',668),('a',669),('a',670),('a',671),('a',672),('a',673),('a',674),('a',675),('a',676),('a',677),('a',678),('a',679),('a',680),('a',681),('a',682),('a',683),('a',684),('a',685),('a',686),('a',687),('a',688),('a',689),('a',690),('a',691),('a',692),('a',693),('a',694),('a',695),('a',696),('a',697),('a',698),('a',699),('a',700),('a',701),('a',702),('a',703),('a',704),('a',705),('a',706),('a',707),('a',708),('a',709),('a',710),('a',711),('a',712),('a',713),('a',714),('a',715),('a',716),('a',717),('a',718),('a',719),('a',720),('a',721),('a',722),('a',723),('a',724),('a',725),('a',726),('a',727),('a',728),('a',729),('a',730),('a',731),('a',732),('a',733),('a',734),('a',735),('a',736),('a',737),('a',738),('a',739),('a',740),('a',741),('a',742),('a',743),('a',744),('a',745),('a',746),('a',747),('a',748),('a',749),('a',750),('a',751),('a',752),('a',753),('a',754),('a',755),('a',756),('a',757),('a',758),('a',759),('a',760),('a',761),('a',762),('a',763),('a',764),('a',765),('a',766),('a',767),('a',768),('a',769),('a',770),('a',771),('a',772),('a',773),('a',774),('a',775),('a',776),('a',777),('a',778),('a',779),('a',780),('a',781),('a',782),('a',783),('a',784),('a',785),('a',786),('a',787),('a',788),('a',789),('a',790),('a',791),('a',792),('a',793),('a',794),('a',795),('a',796),('a',797),('a',798),('a',799),('a',800),('a',801),('a',802),('a',803),('a',804),('a',805),('a',806),('a',807),('a',808),('a',809),('a',810),('a',811),('a',812),('a',813),('a',814),('a',815),('a',816),('a',817),('a',818),('a',819),('a',820),('a',821),('a',822),('a',823),('a',824),('a',825),('a',826),('a',827),('a',828),('a',829),('a',830),('a',831),('a',832),('a',833),('a',834),('a',835),('a',836),('a',837),('a',838),('a',839),('a',840),('a',841),('a',842),('a',843),('a',844),('a',845),('a',846),('a',847),('a',848),('a',849),('a',850),('a',851),('a',852),('a',853),('a',854),('a',855),('a',856),('a',857),('a',858),('a',859),('a',860),('a',861),('a',862),('a',863),('a',864),('a',865),('a',866),('a',867),('a',868),('a',869),('a',870),('a',871),('a',872),('a',873),('a',874),('a',875),('a',876),('a',877),('a',878),('a',879),('a',880),('a',881),('a',882),('a',883),('a',884),('a',885),('a',886),('a',887),('a',888),('a',889),('a',890),('a',891),('a',892),('a',893),('a',894),('a',895),('a',896),('a',897),('a',898),('a',899),('a',900),('a',901),('a',902),('a',903),('a',904),('a',905),('a',906),('a',907),('a',908),('a',909),('a',910),('a',911),('a',912),('a',913),('a',914),('a',915),('a',916),('a',917),('a',918),('a',919),('a',920),('a',921),('a',922),('a',923),('a',924),('a',925),('a',926),('a',927),('a',928),('a',929),('a',930),('a',931),('a',932),('a',933),('a',934),('a',935),('a',936),('a',937),('a',938),('a',939),('a',940),('a',941),('a',942),('a',943),('a',944),('a',945),('a',946),('a',947),('a',948),('a',949),('a',950),('a',951),('a',952),('a',953),('a',954),('a',955),('a',956),('a',957),('a',958),('a',959),('a',960),('a',961),('a',962),('a',963),('a',964),('a',965),('a',966),('a',967),('a',968),('a',969),('a',970),('a',971),('a',972),('a',973),('a',974),('a',975),('a',976),('a',977),('a',978),('a',979),('a',980),('a',981),('a',982),('a',983),('a',984),('a',985),('a',986),('a',987),('a',988),('a',989),('a',990),('a',991),('a',992),('a',993),('a',994),('a',995),('a',996),('a',997),('a',998),('a',999),('a',1000),('a',1001),('a',1002),('a',1003),('a',1004),('a',1005);
/*!40000 ALTER TABLE `test` ENABLE KEYS */;
UNLOCK TABLES;
/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;

/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;
@dellis23

Also note I'm using 1.2.5.

@methane

MySQLdb1 uses Python/C API.
PyPy doesn't so good at Python/C API. I recommend you to use PyMySQL or MySQL Connector/Python.

@dellis23

@methane Yeah, that's what I ended up going with. Still, this is listed as "compatible".

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Something went wrong with that request. Please try again.